Tokenize bezeichnet den Vorgang, einen konkreten Text mithilfe eines Tokenizers in IDs umzuwandeln.
Tokenize ist die praktische Anwendung der Tokenisierung: Ein String wird durch den Tokenizer geschickt und liefert eine Liste numerischer IDs. Die Rückrichtung heißt Detokenize. APIs bieten häufig Hilfsfunktionen, um Texte vor dem Senden zu tokenisieren und somit Kosten oder Limits zu planen.
Gründe
- Validierung: Prüfen, ob Eingaben innerhalb des Kontextfensters bleiben.
- Debugging: Sichtbar machen, welche Subwords ein Modell tatsächlich sieht.
- Optimierung: Prompt-Engineering reduziert Tokenanzahl und damit Gebühren.