Eine Queue (Warteschlange) puffert Anfragen oder Jobs, damit Systeme skalierbar und fehlertolerant bleiben.
Eine Queue speichert Aufgaben First-in-First-out. In KI-Plattformen landen dort Prompt-Anfragen, Trainingsjobs oder Feature-Batches, bevor Worker sie verarbeiten. Message-Broker wie Kafka, RabbitMQ oder Cloud-Queues entkoppeln Produzenten von Konsumenten und ermöglichen elastische Skalierung.
Vorteile
- Lastverteilung: Worker können nach Bedarf horizontal wachsen.
- Resilienz: Fehlgeschlagene Jobs werden erneut versucht oder in Dead-Letter-Queues verschoben.
- Transparenz: Monitoring liefert Einblick in Durchsatz, Latenz und Rückstau – wichtige Kennzahlen für SLAs.