Zum Hauptinhalt springen

Open WebUI mit mittwald AI Hosting

Open WebUI lässt sich als ChatGPT-ähnliches Interface mit mittwald AI Hosting betreiben. Sofern dein Projekt in einem Container-fähigen Produkt angesiedelt ist, kann es beim Anlegen des API-Keys automatisch mit installiert und konfiguriert werden. Andernfalls kannst du Open WebUI nach unserer Deployment-Anleitung im Container-Hosting aufsetzen.

Verbindung mit mittwald AI Hosting​

Wenn du das Managed Deployment nutzt, wird dein Open WebUI automatisch mit deinem mittwald AI Hosting-Konto konfiguriert. Ansonsten kannst du eine der hier empfohlenen Methoden verwenden.

Verwendung von Umgebungsvariablen (Empfohlen)​

Die empfohlene Methode ist die Konfiguration der Verbindung während des Container-Deployments mittels Umgebungsvariablen. Siehe die Deployment-Anleitung für detaillierte Anweisungen.

Verwendung des Admin Panels​

Falls nicht automatisch verbunden, kannst du die Verbindung im Admin Panel einrichten:

  1. Gehe zu „Settings" und wähle „Connections"
  2. Im Bereich „OpenAI API" füge eine weitere Verbindung hinzu
  3. Gib die Basis-URL ein: https://llm.aihosting.mittwald.de/v1
  4. Gib deinen API-Key ein

Open WebUI wird automatisch alle verfügbaren Modelle erkennen.

Optimierung der Modell-Parameter​

Für optimale Ergebnisse kann es erforderlich sein, die Standard-Parameter von Open WebUI für jedes Modell anzupassen.

  1. Navigiere zum Bereich „Models" in Open WebUI
  2. Wähle das Modell aus, das du konfigurieren möchtest
  3. Unter „Advanced Params" setze die empfohlenen Parameter, die im Modell-Bereich dokumentiert sind, wie z.B. top_p, top_k und temperature

Verwendung von Retrieval-Augmented Generation (RAG)​

Open WebUI bietet die Funktion an, Wissen in Form von Dokumenten zu hinterlegen, auf die zugegriffen werden kann. Hierbei handelt es sich um sog. Retrieval-Augmented Generation (RAG).

Hochladen von Dokumenten​

  1. Navigiere in der linken Menüleiste zu „Workspace"
  2. Wähle den Reiter „Knowledge" und erstelle eine neue Wissensdatenbank mit dem „New Knowledge"-Button
  3. Lade Dokumente hoch, die du verfügbar machen möchtest
  4. In deinen Chats kannst du über die Option „Attach knowledge" im Chat-Eingabefeld auf diese Dokumente zugreifen

Konfiguration eines Embedding-Modells​

Für performantere Verarbeitung kann ein Embedding-Modell genutzt werden:

  1. In den „Admin Settings" navigiere zum Menüpunkt „Documents"
  2. Im Bereich „Embedding" wähle im Dropdown-Menü „OpenAI" als Embedding Model Engine aus
  3. Gib den Endpunkt ein: https://llm.aihosting.mittwald.de/v1
  4. Gib deinen generierten API-Key ein
  5. Wähle unter „Embedding Model" ein von uns angebotenes Embedding-Modell aus (wie z.B. Qwen3-Embedding-8B)
  6. Im Bereich „Retrieval" kannst du optional die Parameter „Top K" und „RAG Template" für optimale Ergebnisse anpassen

Konfiguration von Speech-to-Text​

Whisper-Large-V3-Turbo kann in Open WebUI für Speech-to-Text (STT) Funktionalität konfiguriert werden. Dieses Modell unterstützt über 99 Sprachen und ist für Audio-Transkription über unsere gehostete API optimiert.

Konfiguration im Admin Panel​

In den Admin Settings unter „Audio" konfiguriere folgende Einstellungen:

  • Speech-to-Text Engine: Wähle „OpenAI"
  • API Base URL: Gib https://llm.aihosting.mittwald.de/v1 ein
  • API Key: Gib deinen API-Key ein
  • STT Model: Gib den Modellnamen whisper-large-v3-turbo ein

Whisper aus Chat-Modellen ausblenden​

Whisper wird nach der Verbindung in der Modellliste erscheinen, sollte aber aus der Chat-Modell-Auswahl ausgeblendet werden, da es für Audio-Transkription entwickelt wurde, nicht für konversationelle KI:

  1. Navigiere zu „Admin settings" > „Models"
  2. Wähle whisper-large-v3-turbo aus
  3. Wähle „Hide model", um zu verhindern, dass es als Chat-Option erscheint

Benutzereinstellungen​

Du kannst weiter spezifizieren, wie Open WebUI mit dem Whisper-Modell interagiert in den Benutzereinstellungen (nicht im Administrator-Panel) unter „Audio":

  • Language: Setze den Sprachcode explizit (z.B. „de" für Deutsch, „en" für Englisch)
  • Instant Auto-Send After Voice Transcription: Aktiviere, um Transkriptionen direkt ohne Bestätigung zu senden

Empfohlene Parameter​

Für optimale Transkriptionsqualität konfiguriere diese Parameter im Admin Panel oder in den Chat-Einstellungen:

  • Additional Parameters: Setze temperature=1.0, top_p=1.0

Testen von Speech-to-Text​

Um die Speech-to-Text-Funktionalität zu testen:

  1. Klicke auf das Mikrofon-Symbol in einer Chat-Oberfläche
  2. Sprich in der konfigurierten Sprache
  3. Die Transkription verwendet unseren /v1/audio/transcriptions-Endpunkt mit Unterstützung für MP3-, OGG-, WAV- und FLAC-Formate (maximale Dateigröße 25 MB)

Du kannst Whisper nun in jedem Chat verwenden! Chatte mit deinem Lieblings-LLM, indem du deine Frage diktierst und absendest.