top of page

Verschlagwortung mit Hilfe von Deep Learning

Tools:

Python, Google Cloud Platform

Für das Städel Museum in Frankfurt haben wir ein Deep Learning Modell entwickelt, welches zur Vorhersage von Schlagworten für Kunstwerke dient.

shutterstock_1100643188-2048x1365.jpg

THEMA

Computer Vision

BRANCHE

Other

PROJEKTDAUER

2 Monate

Herausforderung

Das Städel Museum gilt als älteste und renommierteste Museumsstiftung in Deutschland. Um seinen Bildungsauftrag auch jenseits der physischen Grenzen zu erfüllen, bietet es verschiedene Formate der digitalen Kunstvermittlung an. Das Herzstück ist die Digitale Sammlung, dessen inhaltliche Kuration und insbesondere kontinuierliche Weiterentwicklung umfangreiche Aufwände erforderlich macht. Einer der notwendigen Schritte ist die bislang manuelle Verschlagwortung von Kunstwerken. Die Schlagworte sind Grundlage für die digitale Suchfunktion und sind Teil der vollumfänglichen Erfassung der Kunstwerke. Die besondere Herausforderung besteht dabei in der sehr hohen Anzahl an potenziellen Schlagworten (>30,000), die für ein Kunstwerk in Betracht kommen, und den notwendigen Fachkenntnissen zur Zuordnung dieser.

Ansatz

Zur Vorhersage von Schlagworten für Kunstwerke wurde von uns ein Deep Learning Modell entwickelt. Da vergleichsweise wenig Bilddaten zur Modellerstellung vorlagen, wurde ein Transfer-Learning-Ansatz verfolgt. Dabei wurde das Modell zunächst auf einen anderen Datensatz mit generischen Bildern vortrainiert und dann im Anschluss auf den eigentlichen Datensatz angepasst. So konnte die notwendige Genauigkeit bei der Vorhersage von Schlagwörtern erreicht werden:

  • Automatisierte Vorschläge von Schlagwörtern für knapp 25,000 Bilder

  • Vorhersage von Schlagworten in 7 Kategorien

  • Kunstwerke von über 2000 Künstler:innen, 38 Genres und über 42 Epochen

Zur Analyse des Modells wurde zusätzlich eine interaktive Applikation entwickelt, mit der die Modellperformance dargestellt sowie Erklärungen für die Vorhersagen ausgegeben werden können (Explainable AI). Für das Modell-Training sowie Bereitstellung der Applikation wurde eine „Serverless“-Architektur in der Google Cloud Plattform verwendet.

Ergebnis

Das entwickelte KI-Modell inklusive der Applikation für die visuelle Darstellung der Ergebnisse kann zukünftig vom Städel Museum als Ansatz für eine Verschlagwortung genutzt werden. Die Expert:innen erhalten vollautomatisiert Vorschläge für passende Schlagworte und können diese bestätigen, ergänzen oder korrigieren. Dies unterstützt die bisherige manuelle Arbeit und wirft spannende Forschungsfragen zur subjektiven versus evozierten Wahrnehmung der Kunst auf.

100%

10.000+

99,9%

ZUFRIEDENHEIT

TRAININGSDATEN

VORHERSAGEGENAUIGKEIT

1632298486336-2_edited.jpg

Sabayn Mirakai

Managing Director

+49 160 779 85 83

  • LinkedIn
  • Xing

Brauchen auch Sie eine ähnliche Lösung?

Sie haben Fragen zu dieser Lösung oder zu Ihrem ganz spezifischen Anwendungsfall?

Unsere Experten beraten Sie gerne!

robot-5232974_1280.png
bottom of page