Was Kontextfenster bedeutet
Das Kontextfenster definiert, wie viele Informationen ein LLM in einer einzelnen Anfrage verarbeiten kann. Es umfasst Systemanweisungen, Nutzerprompts, Gesprächsverlauf, abgerufene Dokumente, Tool-Ausgaben und generierte Antwort-Tokens. Alles außerhalb des Fensters kann die nächste Ausgabe nicht direkt beeinflussen.
Warum das wichtig ist
Kontextfenster sind wichtig, weil sie beeinflussen, wie KI-Produkte mit langen Dokumenten, laufenden Chats, RAG und mehrstufigen Arbeitsabläufen umgehen. In ein größeres Fenster können mehr Informationen passen, aber mehr Kontext bedeutet nicht automatisch bessere Antworten.
Häufige Anwendungen
- Lange Dokumentzusammenfassung.
- Chat-Verlaufsverwaltung.
- RAG-Prompt-Konstruktion.
- Umgang mit Tool-Ausgaben.
- Kosten- und Latenzplanung für KI-Anwendungen.
Worauf zu achten ist
Zu viel Kontext in einen Prompt zu stopfen, kann die Kosten erhöhen, die Antworten verlangsamen und das Modell ablenken. Gute Systeme wählen relevanten Kontext aus, teilen Dokumente sorgfältig auf und fassen alte Gesprächsverläufe zusammen oder bereinigen sie.
Kontextfenster lässt sich am besten im Kontext verstehen: welche Daten verwendet werden, welche Aufgabe unterstützt wird und wie die Ausgabe geprüft wird.