So funktioniert die Abrechnung der LLMBase Inference API

Ablauf einer Anfrage

1. 1Reservieren: Bevor das Modell startet, hält LLMBase den Höchstbetrag zurück, den die Anfrage kosten könnte.
2. 2Ausführen: Das Modell bearbeitet die Anfrage.
3. 3Abrechnen: Nach Abschluss wird in der Regel der tatsächliche Verbrauch berechnet, nie mehr als die Reservierung.
4. 4Rest freigeben: Der nicht genutzte Teil der Reservierung steht sofort wieder zur Verfügung.

Woraus die Reservierung entsteht

• Eingabe: die Größe Ihrer Nachrichten, Tools und weiteren Eingaben zum Eingabepreis des Modells. Sie wird vorsichtig gezählt, etwa ein Token pro Byte, und liegt damit über der echten Token-Zahl; abgerechnet wird nach der echten Zahl.
• Antwortlimit: max_tokens zum Ausgabepreis des Modells. Ohne max_tokens gilt ein Standardlimit von 16.384 Tokens (oder das Maximum des Modells, falls niedriger). Bei Reasoning hängt es vom gewählten Effort ab und liegt typischerweise zwischen 5.120 und 28.672 Tokens.
• n: Mehrere Antwortvarianten vervielfachen die Reservierung.
• Bilder: Ein eingebettetes Bild zählt höchstens 32.768 Tokens. Eine entfernte Bild- oder Datei-URL kann beliebig groß sein und reserviert deshalb bis zum vollen Kontextfenster des Modells.

Warum ein 402 trotz Guthaben möglich ist

Entscheidend ist das verfügbare Guthaben: Ihr Guthaben abzüglich der Reservierungen Ihrer gerade laufenden Anfragen. Ist die Reservierung für eine neue Anfrage höher, lehnen wir sie ab, bevor Kosten entstehen. Die Fehlermeldung nennt beide Beträge und, wo möglich, einen passenden max_tokens-Wert.

Beispiel: Ihr Guthaben beträgt 1,50 $, zehn laufende Anfragen halten zusammen 1,32 $, verfügbar sind also 0,18 $. Eine Anfrage mit etwa 2.000 Byte Eingabe ohne max_tokens an ein Modell mit 10 $ pro Million Eingabe- und 25 $ pro Million Ausgabe-Tokens reserviert 0,41 $ für die Antwort plus 0,02 $ für die Eingabe, zusammen 0,43 $, und wird abgelehnt. Mit max_tokens 1.200 reserviert sie 0,05 $ und läuft.

So vermeiden Sie einen 402

• Setzen Sie max_tokens auf die Antwortlänge, die Sie tatsächlich erwarten. Das senkt die Reservierung oft um mehr als 90 %.
• Begrenzen Sie parallele Anfragen. Jede laufende Anfrage hält ihre eigene Reservierung; ein Konto kann bis zu 20 Anfragen gleichzeitig ausführen.
• Senden Sie Bilder bei Modellen mit Bildeingabe eingebettet statt als entfernte URL, oder setzen Sie max_tokens, wenn Sie URLs verwenden.
• Aktivieren Sie die automatische Aufladung auf der Balance-Seite, damit Ihr Guthaben rechtzeitig aufgefüllt wird.

Was mit unterbrochenen Anfragen passiert

Startet eine Anfrage nicht, wird die Reservierung spätestens nach 10 Minuten freigegeben. Hat das Modell bereits geantwortet und die Verbindung bricht ab, rechnen wir den tatsächlichen Verbrauch ab; ist dieser nicht ermittelbar, höchstens den reservierten Betrag. Eine gestartete Anfrage kann bis zu 3 Stunden aktiv bleiben, bis sie abgerechnet ist.