Zum Hauptinhalt springen

CLI Agents

CLI-Coding-Agenten laufen im Terminal statt in einem Editor. Sie lesen und schreiben Dateien, führen Befehle aus und rufen Tools selbstständig auf, gesteuert von einem Modell deiner Wahl. Weil mittwald AI Hosting die OpenAI-API spricht, funktioniert jeder Agent, der einen eigenen OpenAI-kompatiblen Endpoint akzeptiert, damit zusammen, und dein Code samt Prompts bleibt dabei auf Infrastruktur in Deutschland.

Für Agenten, die stattdessen in einem Editor laufen, siehe IDE Integration‍.

Was ein Agent vom Endpoint braucht​

Ein Coding-Agent braucht drei Dinge über reinen Chat hinaus, und mittwald AI Hosting bietet alle drei:

  • Einen OpenAI-kompatiblen /v1/chat/completions-Endpoint. Darauf zeigt in jedem Agenten die Einstellung baseURL oder base_url.
  • Streaming-Antworten, damit die Ausgabe entsteht, während sie generiert wird, statt am Ende in einem Block anzukommen.
  • Tool Calling. Das ist der wichtigste Punkt und der, an dem es gegen Nicht-OpenAI-Endpoints am häufigsten scheitert. Ein Agent ohne Tool Calling kann keine Datei lesen und keinen Befehl ausführen, er kann nur reden. Geprüft und funktionsfähig auf Qwen3.5-122B-A10B-FP8, Qwen3.8-27B-NVFP4, Qwen3.6-35B-A3B-FP8 und gpt-oss-120b.

Beispiele für unterstützte Agenten​

Diese drei sind hier dokumentiert, weil sie vollständig gegen mittwald AI Hosting getestet wurden. Jeder Agent, den du auf einen eigenen OpenAI-kompatiblen Endpoint zeigen lassen kannst, funktioniert genauso.

AgentKonfigurationsdateiMCP-UnterstützungSkills
Hermes Agent‍~/.hermes/config.yamlEingebaut (hermes mcp add)Eingebaut, plus Registries
Pi‍~/.pi/agent/models.jsonEingebaut (pi mcp add), seit 0.99.0Verzeichnis-Discovery oder --skill
opencode‍~/.config/opencode/opencode.jsonEingebaut (mcp-Konfigurationsblock)~/.config/opencode/skills/

Modellwahl​

Alle Modelle stehen in der Dokumentation zu KI-Modellen‍. Für agentische Arbeit:

EinsatzzweckModellKontext
HauptmodellQwen3.8-27B-NVFP4256.000
Subagenten, günstige TurnsQwen3.6-35B-A3B-FP8256.000
Reasoning-lastige Arbeitgpt-oss-120b131.072
Routing, KlassifikationQwen3.5-0.8B262.144
Dokumente und BilderGLM-OCRsiehe Modellseite

Bilder verstehen nicht nur die Modelle aus der Zeile „Dokumente und Bilder“: Qwen3.8-27B-NVFP4 und Qwen3.6-35B-A3B-FP8 nehmen ebenfalls Bilder an, als Base64-kodierte Data-URLs. Qwen3.8-27B-NVFP4 verarbeitet höchstens 5 Bilder pro Anfrage.

Als Hauptmodell nimmst du Qwen3.8-27B-NVFP4 mit eingeschaltetem Thinking, so ist es ohnehin voreingestellt. Schaltest du Thinking ab, kann sich der Agent festfahren und denselben Tool-Call immer wieder ausführen, siehe Agent-Schleifen im Non-Thinking-Modus‍.

Kann dein Agent Subagenten ein eigenes Modell zuweisen, nimm für sie Qwen3.6-35B-A3B-FP8. Subagenten suchen und fassen vor allem zusammen, und mit dem schnelleren Modell bleiben auch lange Sessions flott.

Qwen3.5-122B-A10B-FP8 wird am 28.12.2026 abgeschaltet. Stell Agenten, die es noch nutzen, bis dahin auf Qwen3.8-27B-NVFP4 um.

Schnellstart​

  1. AI-Hosting-API-Key holen im Bereich AI-Hosting deines mStudio-Projekts — siehe API-Key einrichten‍.
  2. Agenten wählen aus der Tabelle oben und dessen Seite folgen.
  3. Endpoint konfigurieren als https://llm.aihosting.mittwald.de/v1.
  4. Tool Calling prüfen, bevor die eigentliche Arbeit beginnt. Jede Anleitung enthält dafür einen Verifikationsschritt.

Kontext unter Kontrolle halten​

Ein großes Kontextfenster ist kein Grund, mehr zu senden. Agenten verbrauchen Kontext am schnellsten durch Dateiinhalte und Befehlsausgaben.

  • Verweise gezielt auf einzelne Dateien und Funktionen statt auf ganze Repositories.
  • Halte dich an die Sampling-Parameter, die auf der Seite des jeweiligen Modells stehen. Setz temperature nicht auf 0, sonst fangen die Modelle an, sich zu wiederholen.
  • Hat dein Agent ein Schrittlimit, nutze es. Gerät ein Lauf in eine Schleife, bricht er dann früh ab, statt unbemerkt dein Token-Kontingent aufzufressen.
  • Erhöhe max_tokens erst, wenn eine Antwort tatsächlich abgeschnitten wird.
  • Unterstützt der Agent Compaction oder Zusammenfassung, lass sie in langen Sessions aktiviert.

Disclaimer​

Drittanbieter-Tools, MCP-Server und externe Links werden zur Vereinfachung bereitgestellt, ohne Gewährleistung oder Empfehlung. Nutze sie auf eigenes Risiko, prüfe Lizenzen und Datenschutzrichtlinien und vergib nur die nötigen Berechtigungen (Least Privilege). Sende keine sensiblen Daten an externe Services, sofern nicht nötig und erlaubt.

Auf dieser Seite