LLM-Konfiguration

cleankoda setzt im Hintergrund auf LiteLLM als Abstraktionsschicht. Dadurch haben Sie die maximale Flexibilität bei der Wahl Ihrer KI-Modelle: Sie können grundsätzlich jeden Provider und jedes Modell nutzen, das von LiteLLM unterstützt wird (z. B. Anthropic, OpenAI, Mistral, Google Gemini, Groq, Bedrock oder lokale Instanzen via Ollama).

Darüber hinaus lassen sich beliebige OpenAI-kompatible Provider (wie llama.cpp, vLLM, LM Studio oder eigene API-Endpunkte) nahtlos einbinden.

Die Konfiguration erfolgt interaktiv direkt in der cleankoda-TUI über Slash-Befehle:

1. Provider festlegen (/provider)

Geben Sie in der Befehlszeile von cleankoda den Befehl /provider ein, um den gewünschten LLM-Anbieter auszuwählen:

/provider

Bei der Auswahl werden Sie aufgefordert, den entsprechenden API-Key für diesen Anbieter zu hinterlegen.

2. Modell auswählen (/model)

Nachdem der Provider aktiv ist, wählen Sie das gewünschte Sprachmodell mit /model aus:

/model

Speicherort der Konfiguration (config.json)

Der aktuell ausgewählte Provider, das aktive Modell sowie grundlegende Einstellungen werden in Ihrem Benutzerverzeichnis persistiert:

~/.config/cleankoda/config.json

Beispielhafter Aufbau:

{
  "provider": "mistral",
  "model": "mistral-small-latest",
  "temperature": 0.2,
  "max_tokens": 4096,
}

Eigene OpenAI-kompatible Provider (custom.json)

Möchten Sie einen eigenen Endpunkt oder einen Dienst nutzen, der eine OpenAI-kompatible Schnittstelle anbietet (z. B. lokales Serving via vLLM/Ollama oder ein unternehmensinternes Gateway), hinterlegen Sie diesen in der Datei:

~/.config/cleankoda/custom.json

{
  "<custom-provider-name>": {
    "name": "Custom LLM",
    "api_base": "https://.../v1",
    "models": [
      "gemma4-12b",
      "qwen-3.5"
    ],
    "requires_api_key": true
  },

Sobald diese Einträge in custom.json vorhanden sind, tauchen Ihr benutzerdefinierter Provider und seine Modelle automatisch in den Auswahldialogen von /provider und /model auf.