Tokens sind die kleinsten Einheiten, in die Texte für Sprachmodelle zerlegt werden.
Ein Token kann ein ganzes Wort, Wortteil oder Sonderzeichen sein. Tokenizer zerlegen Eingaben in diese Einheiten, und Modelle erzeugen wiederum Tokens als Ausgabe. Tokenkosten bestimmen sowohl Rechenaufwand als auch Abrechnungsmodelle vieler API-Anbieter.
Hinweise
- Tokenizer-abhängig: Unterschiedliche Modelle verwenden verschiedene Vokabulare.
- Tokenbudget: Längere Prompts verbrauchen mehr Kontext und erhöhen Kosten.
- Analyse: Tokenzählung hilft, Antwortlängen zu planen und Limits einzuhalten.
