Kleine Modelle, große Aufgabe?

Die Aufgabe ist der Maßstab

Wer kurze Supportanfragen sortieren möchte, hat andere Anforderungen als jemand, der lange wissenschaftliche Texte miteinander vergleichen will. Deshalb ist die Größe eines Sprachmodells allein kein Einkaufsargument. Zu prüfen ist, wie gut ein konkretes Modell die eigene Aufgabe bewältigt, wie schnell es antwortet und welche Ressourcen die vollständige Anwendung benötigt. Ein kleineres Modell kann für einen eng begrenzten Einsatz ausreichen.

Was kleine Modelle interessant macht

Microsoft zeigte im technischen Bericht zur Phi-3-Familie von 2024, dass ein vergleichsweise kompaktes Sprachmodell auch für die Ausführung auf einem Telefon ausgelegt werden kann. Das ist ein Beispiel für die Entwicklungsrichtung, kein Nachweis, dass jedes kleine Modell auf jedem Gerät gut funktioniert. Trainingsdaten und Spezialisierung spielen neben der Parameterzahl eine wichtige Rolle.

Lokaler Betrieb kann für Anwendungen interessant sein, die auch ohne ständige Verbindung zu einem externen Modellserver arbeiten sollen. Er verlangt jedoch passende Hardware und eine geeignete Softwareumgebung. Ob eine konkrete Anwendung tatsächlich keine Inhalte überträgt, muss anhand ihrer Architektur und Einstellungen geprüft werden. Das Wort lokal auf einer Produktseite beantwortet diese Frage noch nicht vollständig.

Klein, offen und lokal sind verschiedene Dinge

Ein kleines Modell ist nicht automatisch offen. Herunterladbare Modellgewichte bedeuten wiederum nicht automatisch uneingeschränkte Nutzung. Die Open Source Initiative nennt in ihrer Open Source AI Definition unter anderem Freiheiten zur Nutzung, Untersuchung, Änderung und Weitergabe. Dazu gehören auch Anforderungen an Code und Informationen über Trainingsdaten. Wer Modelle vergleichen möchte, sollte deshalb die tatsächlichen Lizenzen und bereitgestellten Bestandteile ansehen.

So wird ein Vergleich aussagekräftig

Für einen ersten Vergleich lässt sich ein Satz repräsentativer Aufgaben zusammenstellen: einfache Standardfälle, schwierige Sonderfälle und Anfragen, die das System ablehnen oder weiterreichen soll. Bewertet werden richtige Ergebnisse, benötigte Nacharbeit und Antwortzeit. Die Messung sollte auf der vorgesehenen Hardware stattfinden. Bei einer Supportklassifikation zählt beispielsweise, wie zuverlässig das Modell eine unklare Anfrage erkennt – nicht, wie elegant es darüber spricht.