Guides

LibreChat mit EU-gehosteten KI-Modellen: DSGVO-konform über die LLMBase API

LibreChat selbst hosten und EU-gehostete Open-Weight-Modelle nutzen: Custom Endpoint in librechat.yaml, API-Key, Modell-ID und Datenschutz – ohne OpenAI-Konto.

Guides

LibreChat ist eine der beliebtesten Open-Source-Oberflächen für KI-Chats: selbst gehostet, mehrbenutzerfähig und mit einer Bedienung, die sich wie ChatGPT anfühlt. Welche Modelle dahinter antworten und wohin Ihre Daten gehen, entscheiden Sie selbst. Genau hier setzt LLMBase an. Über die OpenAI-kompatible LLMBase Inference API binden Sie EU-gehostete Open-Weight-Modelle in LibreChat ein. Dafür brauchen Sie kein OpenAI-Konto und müssen keine Prompts in die USA schicken.

In diesem Artikel richten Sie LLMBase in wenigen Minuten als Custom Endpoint in LibreChat ein. Sie erfahren außerdem, was Sie beim Datenschutz prüfen sollten.

Warum LibreChat mit LLMBase?

LibreChat liefert die Oberfläche, LLMBase die Modelle. Beides lässt sich sauber trennen:

  • Eigene Oberfläche, eigene Regeln: LibreChat läuft auf Ihrem Server. Sie steuern Benutzerkonten, Anmeldung, Speicherung der Chats und die freigegebenen Modelle.
  • EU-Hosting statt US-Cloud: LLMBase betreibt die Inference API in EU-Rechenzentren. Welche Modelle verfügbar sind und wie sie verarbeitet werden, zeigt der Modellkatalog.
  • Datenschutz von Anfang an: Ihre Daten werden nicht für Training genutzt. Einen AVV (Auftragsverarbeitungsvertrag) finden Sie im Dashboard. Ihr Vertragspartner ist ein deutsches Unternehmen.
  • OpenAI-kompatibel: LibreChat spricht das Chat-Completions-Format. LLMBase bietet genau diese Schnittstelle. Sie brauchen weder ein Plugin noch einen Adapter.
  • Pay-per-use: Sie zahlen nur für die Tokens, die Ihre LibreChat-Nutzer tatsächlich verbrauchen. Es gibt keine Gebühr pro Platz.

Voraussetzungen

Bevor Sie LibreChat mit LLMBase verbinden, brauchen Sie:

  1. Eine laufende LibreChat-Installation, zum Beispiel per Docker Compose nach der offiziellen LibreChat-Dokumentation.
  2. Einen LLMBase-Inference-API-Schlüssel mit dem Präfix llmbase_.... Diesen erstellen Sie im Dashboard unter API-Schlüssel.
  3. Mindestens eine Modell-ID aus dem aktuellen Modellkatalog oder aus GET https://api.llmbase.ai/v1/models.

Wichtig: Verwenden Sie einen Inference-Key (llmbase_...) und keinen llmbase_chat_...-Schlüssel. Der Chat-Agent-Key gehört zu einem separaten Endpunkt und funktioniert in LibreChat nicht.

LibreChat Custom Endpoint für LLMBase einrichten

LibreChat bindet OpenAI-kompatible Anbieter über Custom Endpoints in der Datei librechat.yaml ein. Sie brauchen drei Schritte.

Schritt 1: API-Schlüssel in die .env eintragen

Legen Sie den Schlüssel als Umgebungsvariable in der .env Ihrer LibreChat-Installation ab, nicht direkt in der YAML-Datei:

LLMBASE_API_KEY=llmbase_...

Committen Sie die .env nicht in ein Repository und zeigen Sie den Schlüssel nicht in Screenshots. Für LibreChat sollten Sie einen eigenen Schlüssel anlegen. So können Sie ihn jederzeit widerrufen, ohne andere Anwendungen zu beeinträchtigen.

Schritt 2: LLMBase in librechat.yaml hinzufügen

Ergänzen Sie unter endpoints.custom einen Eintrag für LLMBase. Behalten Sie die Angaben version und cache Ihrer bestehenden Datei bei:

endpoints:
  custom:
    - name: "LLMBase"
      apiKey: "${LLMBASE_API_KEY}"
      baseURL: "https://api.llmbase.ai/v1"
      models:
        default:
          - "<modell-id>"
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      modelDisplayLabel: "LLMBase"

Die wichtigsten Felder:

FeldWertHinweis
nameLLMBaseSo erscheint der Anbieter in der Modellauswahl von LibreChat.
apiKey${LLMBASE_API_KEY}Verweist auf die Umgebungsvariable aus Schritt 1.
baseURLhttps://api.llmbase.ai/v1Mit /v1. LibreChat hängt /chat/completions selbst an.
models.defaultIhre Modell-IDsFallback-Liste, falls der Abruf der Modelle fehlschlägt.
models.fetchtrueLibreChat lädt die verfügbaren Modelle über /v1/models.

Die Basis-URL ist die häufigste Fehlerquelle. LibreChat setzt den Endpunkt aus baseURL und /chat/completions zusammen. So entsteht:

POST https://api.llmbase.ai/v1/chat/completions

Tragen Sie deshalb weder nur https://api.llmbase.ai ohne /v1 noch die vollständige Completions-URL ein. Die vollständige URL funktioniert nur, wenn Sie bewusst directEndpoint: true setzen. Für LLMBase ist das nicht nötig.

Schritt 3: LibreChat neu starten

LibreChat liest librechat.yaml und .env beim Start ein. Bei einer Docker-Installation reicht ein Neustart:

docker compose down
docker compose up -d

Je nach LibreChat-Version und Setup müssen Sie librechat.yaml per docker-compose.override.yml in den Container einbinden. Die genaue Anleitung finden Sie in der LibreChat-Dokumentation zur Konfigurationsdatei.

Danach erscheint LLMBase in der Modellauswahl. Wählen Sie ein Modell und starten Sie einen neuen Chat.

Modelle wählen: automatisch abrufen oder feste Liste

Mit fetch: true fragt LibreChat die Modellliste direkt bei LLMBase ab. Das ist die bequemste Variante: Neue Modelle aus dem Katalog erscheinen automatisch, ohne dass Sie die Konfiguration anpassen.

Wenn Sie in Ihrer Organisation nur bestimmte, geprüfte Modelle freigeben wollen, nutzen Sie stattdessen eine feste Liste:

      models:
        default:
          - "<modell-id-1>"
          - "<modell-id-2>"
        fetch: false

Kopieren Sie die Modell-IDs exakt aus dem Modellkatalog oder aus der Antwort von GET /v1/models. Übernehmen Sie keine IDs aus alten Blogartikeln oder von anderen Anbietern. Prüfen Sie im Katalog vor der Freigabe auch Kontextlänge, Eingabearten wie Bilder, Tool-Unterstützung und Preis.

Ein schneller Test mit curl zeigt, ob Schlüssel und Basis-URL stimmen:

curl https://api.llmbase.ai/v1/models \
  -H "Authorization: Bearer $LLMBASE_API_KEY"

Datenschutz: Was LibreChat und LLMBase jeweils abdecken

Für ein datenschutzfreundliches Setup sind zwei Ebenen wichtig:

LibreChat (Ihr Server): Hier liegen Benutzerkonten, Chatverläufe und hochgeladene Dateien. Speicherort, Zugriffsrechte, Backups und Löschfristen legen Sie selbst fest.

LLMBase (Inference): Hier werden Ihre Prompts von den Modellen verarbeitet. LLMBase sagt dazu öffentlich:

  • EU-Hosting: Die Inference läuft in EU-Rechenzentren.
  • Kein Training mit Ihren Daten: Prompts und Antworten werden nicht zum Training von Modellen verwendet.
  • DSGVO und AVV: Den Auftragsverarbeitungsvertrag finden Sie im Dashboard.
  • Deutscher Vertragspartner: LLMBase wird von einem Unternehmen mit Sitz in Deutschland betrieben.

Wenn Ihre Daten ausschließlich in Deutschland verarbeitet werden müssen, gibt es die API mit Standort Deutschland als separates, optionales Angebot auf Anfrage. Sie ist nicht die Standardeinstellung der normalen API. Details finden Sie unter Rechenzentren und Standort.

Dieser Artikel ist keine Rechtsberatung. Stimmen Sie den Einsatz mit Ihrer Datenschutzbeauftragten oder Ihrem Datenschutzbeauftragten ab und dokumentieren Sie die freigegebenen Modelle.

Häufige Fehler und Lösungen

ProblemLösung
Missing API Key oder 401Prüfen Sie, ob LLMBASE_API_KEY in der .env steht, mit llmbase_ beginnt, keine Leerzeichen enthält und der Container neu gestartet wurde.
404 beim SendenDie baseURL muss genau https://api.llmbase.ai/v1 lauten, ohne /chat/completions am Ende.
Keine Modelle in der AuswahlTragen Sie unter models.default mindestens eine gültige Modell-ID ein oder testen Sie /v1/models mit curl.
LLMBase erscheint gar nichtlibrechat.yaml wird nicht geladen. Prüfen Sie die YAML-Einrückung und das Einbinden der Datei in Docker.
400 bei bestimmten FunktionenDas gewählte Modell unterstützt eine Funktion wie Bilder oder Tools nicht. Wählen Sie im Katalog ein passendes Modell.

FAQ: LibreChat mit LLMBase

Was ist der Unterschied zwischen LibreChat und der ChatGPT-Oberfläche?

ChatGPT ist ein gehosteter Dienst von OpenAI mit OpenAI-Modellen. LibreChat ist Open Source, läuft auf Ihrem eigenen Server und verbindet sich mit beliebigen kompatiblen APIs. Mit LLMBase nutzen Sie in LibreChat EU-gehostete Open-Weight-Modelle und bleiben bei Oberfläche und Chatdaten unabhängig.

Kann ich meinen LLMBase-Chat-Abo-Schlüssel in LibreChat verwenden?

Nein. LibreChat braucht einen Inference-API-Schlüssel (llmbase_...), der Ihr Prepaid-Guthaben für die Inference nutzt. Das LLMBase-Chat-Abo und llmbase_chat_...-Schlüssel sind ein separates Produkt.

Funktioniert Streaming in LibreChat mit LLMBase?

Ja. LibreChat streamt Antworten standardmäßig, und die LLMBase Chat Completions API unterstützt Streaming. Sie müssen nichts extra einstellen.

Warum zeigt LibreChat „Missing API Key“?

Meistens erreicht die Umgebungsvariable den Container nicht. Prüfen Sie, ob der Name in .env und librechat.yaml identisch ist (LLMBASE_API_KEY), und starten Sie LibreChat danach vollständig neu.

Ist LibreChat mit LLMBase DSGVO-konform?

LLMBase bietet EU-Hosting, kein Training mit Ihren Daten und einen AVV. Für die DSGVO-Konformität Ihres gesamten Setups sind Sie als Betreiber verantwortlich, zum Beispiel für Hosting, Zugriffe und Löschfristen der LibreChat-Instanz.

Jetzt LibreChat mit LLMBase verbinden

  1. Inference-API-Schlüssel im Dashboard erstellen
  2. Modell im Modellkatalog auswählen
  3. Custom Endpoint wie oben in librechat.yaml eintragen und LibreChat neu starten

Technische Details finden Sie im Leitfaden zur OpenAI-Kompatibilität, in der Chat-Completions-Referenz und im Artikel zur Migration auf eine OpenAI-kompatible API. Aktuelle Preise pro Modell finden Sie auf der Seite zur europäischen KI API.

Alle Guides