Wie kommt ein Sprachmodell auf eine Uhrzeit, die niemand genannt hat?

Was das Modell beim Training lernt

Stellen Sie sich vor, Sie decken das Ende eines Satzes ab und versuchen, ihn zu ergänzen. So ähnlich sieht eine typische Lernaufgabe für ein textgenerierendes großes Sprachmodell aus, auf Englisch Large Language Model oder kurz LLM. Es bekommt einen Textanfang und schätzt, welches Textstück als Nächstes kommt. Im Training ist die tatsächliche Fortsetzung bekannt. Lag das Modell mit seiner Verteilung der Wahrscheinlichkeiten daneben, passt das Trainingsverfahren interne Zahlenwerte an. Dadurch soll das Modell solche Fortsetzungen künftig besser vorhersagen können.

Über viele Texte hinweg lernt es dabei Zusammenhänge. Zu einer Abholung passen Waren, Orte und Zeiten. Nach „ab“ wäre eine Zeitangabe naheliegend, nach „bei“ vielleicht ein Name. Das Modell kann solche Muster auch für einen Satz nutzen, den es in dieser Form noch nie gesehen hat. Weiteres Training mit Anweisungen und Beispielantworten kann es darauf vorbereiten, auf die Bitte um eine Kundenmail mit einem passenden Entwurf zu reagieren.

Wie aus einzelnen Textstücken ein Satz wird

Ein Textstück heißt Token. Das kann ein ganzes Wort sein, ein Teil davon oder ein Satzzeichen. Wie genau ein Wort zerlegt wird, hängt vom verwendeten Modell und seiner Textaufteilung ab. Für unseren Abholschein genügt das Bild einer Satzgabelung. Nach „am Freitag“ könnte ein Punkt den Satz beenden. Ebenso könnte die Formulierung mit „ab“ weitergehen. Welche Fortsetzungen infrage kommen, hängt auch von den vorausgegangenen Sätzen und vom Auftrag ab.

Bei jedem Schritt berechnet das Modell Wahrscheinlichkeiten für das nächste Token. Das Ausgabeverfahren wählt eines aus, und dieses Stück gehört beim nächsten Schritt bereits zum Text. Je nach Einstellung können unterschiedliche Fortsetzungen entstehen. Steht im Entwurf erst einmal „ab“, ist eine anschließende Uhrzeit sprachlich schlüssig. Das erklärt, wie eine Angabe entstehen kann. Aus der fertigen Antwort lässt sich der genaue Grund für die Wahl der Neun nicht ablesen.

Der Vergleich mit der Wortvervollständigung auf dem Handy hilft für diesen einzelnen Schritt. Er greift zu kurz, sobald es um den ganzen Auftrag geht. Ein Sprachmodell kann eine weiter vorn stehende Anweisung aufgreifen und denselben Sachverhalt als freundliche Nachricht, knappe Notiz oder Rückfrage formulieren.

Was der Abholschein an der Antwort ändert

Der Arbeitsbereich für eine Antwort heißt Kontextfenster. Darin können etwa die aktuelle Bitte, Teile des Gesprächs und der von der Anwendung bereitgestellte Abholschein liegen. Ergänzt die Druckerei auf ihrem Schein „Ausgabe ab 11 Uhr“, hat das Modell beim Formulieren einen konkreten Anhaltspunkt. Für diese Änderung der Antwort ist kein neues Training nötig.

Ob ein Assistent frühere Chats speichert, Unterlagen heraussucht oder Öffnungszeiten abfragen kann, hängt von der Anwendung ab. Eine Suche wie RAG kann eine passende Unterlage in den Kontext holen. Selbst korrekt gefundene Ladenöffnungszeiten beantworten aber eine andere Frage als die nach der Freigabe dieses Druckauftrags. Vielleicht öffnet der Laden um neun, während die Plakate erst um elf verpackt sind.

Eine brauchbare Mail darf eine Lücke lassen

Für den ursprünglichen fiktiven Schein wäre „Sie können Ihre Plakate am Freitag abholen“ eine brauchbare Formulierung. Falls der Kunde eigens eine Fahrt plant, kann die Druckerei intern nach der frühesten Abholzeit fragen. „Sie können Ihre Plakate am Freitag ab 9 Uhr abholen“ wäre dagegen eine zusätzliche Zusage. Selbst wenn der Betrieb zufällig um neun fertig wäre, ließe sich diese Zusage aus dem Schein nicht begründen.

Für plausibel klingende, erfundene Angaben ist der Ausdruck Halluzination gebräuchlich. Sprachliche Sicherheit hilft beim Erkennen wenig. Auch die Rückfrage „Bist du sicher?“ kann eine weitere überzeugende Formulierung erzeugen. Mehr bringt ein Blick auf die Stelle, die eine Uhrzeit tatsächlich bestätigen soll. Lässt sich die Angabe dort für diesen Auftrag nachlesen?

Probieren Sie den Unterschied mit zwei Abholscheinen aus

Verwenden Sie nur die fiktiven Notizen aus diesem Beispiel. Beginnen Sie für jede Fassung einen frischen Chat im selben Assistenten ohne zusätzliche Datenquellen. Geben Sie jeweils denselben Auftrag ein. „Formuliere aus dem Abholschein eine kurze Kundenmail. Verwende nur bestätigte Angaben.“

• Fassung A lautet „Die Plakate liegen am Freitag zur Abholung bereit.“ Unterstreichen Sie im Entwurf Tag, Zeit und weitere Zusagen. Welche Formulierung auf dem Schein trägt jede einzelne Aussage?
• Fassung B lautet „Die Plakate liegen am Freitag ab 11 Uhr zur Abholung bereit.“ Prüfen Sie auch das kleine Wort „ab“. Eine Nachricht mit einem festen Termin um elf würde die Vereinbarung verändern.
• Wenn beide Entwürfe passen, hat der Assistent diese beiden Beispiele bewältigt. Ergänzt er eine Zeit oder macht aus dem Zeitfenster einen Termin, haben Sie einen konkreten Prüfpunkt für Ihre nächste Kundenmail. Für eine allgemeine Fehlerquote reichen die beiden Fälle nicht.