Kennst Du das auch? Du arbeitest eine Stunde mit einem KI-Chat. Erst läuft es ganz gut und dann wird es zäh. Das Modell vergisst, was du am Anfang gesagt hast und irgendwann widerspricht es sich dann selbst. Was ist passiert? Das ist meistens nicht das Modell, das Problem ist sein Kontextfenster.
Was das eigentlich ist
Das Kontextfenster ist der Platz, den ein Modell für eine Antwort hat. Da muss alles rein: deine Frage, das ganze Gespräch davor, angehängte Dokumente, die Anweisungen im Hintergrund. Und die Antwort selbst natürlich auch.
Ein richtiges Gedächtnis ist das nicht. Zwischen zwei Fragen behält das Modell gar nichts. Was wie Erinnerung aussieht, ist Fleißarbeit: Der komplette Chat wird bei jeder Frage einfach mitgeschickt. Fünfzig Nachrichten? Dann gehen beim einundfünfzigsten Mal alle fünfzig nochmal raus. Deshalb wird ein langes Gespräch langsamer und teurer.
Gerechnet wird in Token
Nicht in Wörtern, nicht in Zeichen. In Token. Ein Token ist ein Stück Text. Manchmal ein ganzes Wort, oft nur ein Wortteil, manchmal auch bloß ein Komma. Deutsch ist dabei im Nachteil. Unsere deutschen Wortungeheuer werden in viele Stücke zerlegt, wo Englisch mit zwei kurzen Wörtern auskommt. „Kontextfenster“ ist für dich ein Wort. Für das Modell sind es mehrere.
Das bedeutet: Mit deutschen Texten ist dein Fenster schneller voll, als die Zahl vermuten lässt. Nachrechnen hilft da wenig, ausprobieren schon.
Was passiert, wenn es voll ist
Keine Fehlermeldung. Das ist das Tückische.
Die meisten Systeme werfen einfach den Anfang raus oder fassen ihn zusammen. Das Modell antwortet freundlich weiter, nur ohne das, was vorne stand. Genau der Moment, in dem dein Chat plötzlich eine Regel ignoriert, die du vor zwanzig Minuten aufgestellt hast.
Dazu kommt was, das kaum jemand auf dem Schirm hat. Modelle lesen nicht überall gleich genau hin. Was am Anfang und am Ende steht, kommt zuverlässig an. Was mitten in einem langen Text steht, auch gerne mal nicht.
Eine Faustregel: Das Wichtigste nach vorne oder nach hinten. Nie in die Mitte.
Größer ist nicht automatisch besser
Die Fenster sind stark gewachsen. Von ein paar Tausend Token auf Hunderttausende, bei manchen Modellen auf eine Million. Also eine Sorge weniger? Nicht ganz, nur eine andere.
Jedes Token kostet Rechenzeit und Geld. Und zwar bei jeder Frage neu. Ein volles Fenster macht Antworten langsam und teuer.
Oft macht es sie auch schlechter. Wer dreißig Seiten reinwirft, damit nichts fehlt, liefert vor allem Stoff, der mit der Frage nichts zu tun hat. Weniger, aber das Richtige, schlägt viel. Ein mittleres Modell, dem du genau das Passende gibst, ist meistens besser als ein großes Modell, dem du alles gibst.
Wie ich damit umgehe
Ich fang lieber ein neues Gespräch an, als ein langes weiterzuschleppen. Die zwei Sätze, auf die es ankommt, kopiere ich rüber. Der Rest kann weg.
Ich geb dem Modell das, was es für diese eine Aufgabe braucht. Nicht alles, was ich zum Thema habe.
Und die wichtigste Anweisung kommt bei mir ans Ende. Nicht in die Mitte.
Bei vielen Dokumenten hört das Reinstopfen ganz auf. Dann ist RAG dran: nicht das ganze Archiv ins Fenster legen, sondern zu jeder Frage die passenden Stellen raussuchen und nur die mitgeben.
Wer lokal arbeitet, rechnet nochmal anders. Da ist das Fenster kleiner und es frisst Arbeitsspeicher. Ein großes Fenster auf dem eigenen Rechner kann heißen, dass für das Modell selbst nicht genug übrig bleibt.
Ausblick
Die Fenster werden weiter wachsen. Damit verschiebt sich nur die Frage. Sie lautet nicht mehr „passt es rein“, sondern „findet das Modell darin das Richtige“. Genau daran wird gearbeitet. Und es läuft darauf zu, dass gutes Aussortieren wichtiger bleibt als viel Platz.
Fazit
Das Kontextfenster erklärt eine Menge. Es ist kein Gedächtnis. Gerechnet wird in Token. Deutsch braucht mehr davon. Und randvoll ist nicht dasselbe wie gut genutzt. Wenn du das im Kopf hast, weißt du sofort, warum dein Chat nach einer Stunde schlechter wird. Und was du dagegen tun kannst.
Wenn du noch tiefer einsteigen willst: Im KI Glossar findest du alle Grundlagen kompakt erklärt.
Schreibe einen Kommentar