Verschlagwortung mit Hilfe von Deep Learning
Tools:
Python, Google Cloud Platform
Für das Städel Museum in Frankfurt haben wir ein Deep Learning Modell entwickelt, welches zur Vorhersage von Schlagworten für Kunstwerke dient.
THEMA
Computer Vision
BRANCHE
Other
PROJEKTDAUER
2 Monate
Herausforderung
Das Städel Museum gilt als älteste und renommierteste Museumsstiftung in Deutschland. Um seinen Bildungsauftrag auch jenseits der physischen Grenzen zu erfüllen, bietet es verschiedene Formate der digitalen Kunstvermittlung an. Das Herzstück ist die Digitale Sammlung, dessen inhaltliche Kuration und insbesondere kontinuierliche Weiterentwicklung umfangreiche Aufwände erforderlich macht. Einer der notwendigen Schritte ist die bislang manuelle Verschlagwortung von Kunstwerken. Die Schlagworte sind Grundlage für die digitale Suchfunktion und sind Teil der vollumfänglichen Erfassung der Kunstwerke. Die besondere Herausforderung besteht dabei in der sehr hohen Anzahl an potenziellen Schlagworten (>30,000), die für ein Kunstwerk in Betracht kommen, und den notwendigen Fachkenntnissen zur Zuordnung dieser.
Ansatz
Zur Vorhersage von Schlagworten für Kunstwerke wurde von uns ein Deep Learning Modell entwickelt. Da vergleichsweise wenig Bilddaten zur Modellerstellung vorlagen, wurde ein Transfer-Learning-Ansatz verfolgt. Dabei wurde das Modell zunächst auf einen anderen Datensatz mit generischen Bildern vortrainiert und dann im Anschluss auf den eigentlichen Datensatz angepasst. So konnte die notwendige Genauigkeit bei der Vorhersage von Schlagwörtern erreicht werden:
Automatisierte Vorschläge von Schlagwörtern für knapp 25,000 Bilder
Vorhersage von Schlagworten in 7 Kategorien
Kunstwerke von über 2000 Künstler:innen, 38 Genres und über 42 Epochen
Zur Analyse des Modells wurde zusätzlich eine interaktive Applikation entwickelt, mit der die Modellperformance dargestellt sowie Erklärungen für die Vorhersagen ausgegeben werden können (Explainable AI). Für das Modell-Training sowie Bereitstellung der Applikation wurde eine „Serverless“-Architektur in der Google Cloud Plattform verwendet.
Ergebnis
Das entwickelte KI-Modell inklusive der Applikation für die visuelle Darstellung der Ergebnisse kann zukünftig vom Städel Museum als Ansatz für eine Verschlagwortung genutzt werden. Die Expert:innen erhalten vollautomatisiert Vorschläge für passende Schlagworte und können diese bestätigen, ergänzen oder korrigieren. Dies unterstützt die bisherige manuelle Arbeit und wirft spannende Forschungsfragen zur subjektiven versus evozierten Wahrnehmung der Kunst auf.
100%
10.000+
99,9%
ZUFRIEDENHEIT
TRAININGSDATEN
VORHERSAGEGENAUIGKEIT
