Multimodale KI: Text, Bild und Ton gemeinsam nutzen

Mehrere Arten von Information

Multimodal bedeutet, dass ein KI-System mit mehreren Arten von Daten arbeitet. Dazu können Text, Bilder, Audio oder Video gehören. Der Begriff sagt zunächst wenig darüber aus, welche Kombinationen eine bestimmte Anwendung tatsächlich unterstützt. Manche Systeme nehmen Bilder und Text entgegen, antworten aber ausschließlich schriftlich. Andere können auch Sprache oder Bilder erzeugen. Eingabe und Ausgabe müssen deshalb getrennt betrachtet werden.

Was dadurch möglich wird

Der Gemini-Forschungsbericht beschreibt Modelle, die Informationen aus Bild, Audio, Video und Text verarbeiten. Googles Dokumentation zur Bilderkennung nennt unter anderem Bildbeschreibungen, Klassifikation und Fragen zu einem Bild. Ein praktisches Beispiel: Ein Foto eines Whiteboards wird gemeinsam mit der Bitte eingereicht, die sichtbaren Aufgaben zu ordnen. Die Frage lenkt die Auswertung auf das gewünschte Ergebnis.

Dabei ist eine saubere Arbeitsanweisung hilfreich: Erst sichtbaren Text erfassen, dann offene Stellen markieren und erst anschließend zusammenfassen. So kann die anfragende Person erkennen, ob das System eine handschriftliche Notiz tatsächlich gelesen oder einen plausiblen Zusammenhang ergänzt hat. Das ist ein vorgeschlagener Arbeitsablauf, kein garantiertes Merkmal jedes Produkts.

Ein Bild ist keine vollständige Beschreibung

Ein Ausschnitt kann entscheidende Informationen ausblenden. Bei einem Diagramm sollten deshalb Titel, Achsen, Einheiten und Legende sichtbar sein. Bei einem Dokument ist eine gut lesbare Datei oft hilfreicher als ein schräg aufgenommenes Foto. Auch die Frage muss zum Material passen: Aus einer Kurve allein lässt sich etwa nicht sicher ableiten, warum sich ein Markt verändert hat.

Die Schlussfolgerung sichtbar machen

Eine nützliche Prüffrage lautet: Welche Aussage stammt direkt aus dem hochgeladenen Material, welche ist eine Schlussfolgerung? Für das Whiteboard könnte die Antwort zwischen sicher gelesenen Namen, unsicheren Wörtern und vorgeschlagenen Zuständigkeiten unterscheiden. Wer das Ergebnis weiterverwendet, prüft die entscheidenden Details am Original. Multimodalität erweitert das Arbeitsmaterial; sie ersetzt nicht die Kontrolle der daraus gezogenen Aussagen.