Skip to main content

LM Studio

ℹ️Note

Dies ist ein Dokument auf Basis von Careti. Es bezieht sich auf den Careti v3.38.1 Merge-Stand. Falls es Careti-spezifische Richtlinien gibt (unterstützte lokale Runtimes, Authentifizierung/Routing, Modellbeschränkungen), werden diese im Text durch ein <Note> gekennzeichnet.

LM Studio mit Careti einrichten​

Führen Sie KI-Modelle lokal mit LM Studio und Careti aus.

Voraussetzungen​

  • Windows, macOS oder Linux Computer mit AVX2-Unterstützung
  • In VS Code installiertes Careti

Einrichtungsschritte​

1. LM Studio installieren​

  • Besuchen Sie lmstudio.ai
  • Für Ihr Betriebssystem herunterladen und installieren
LM Studio download page

2. LM Studio starten​

  • Öffnen Sie die installierte Anwendung
  • Sie sehen links vier Tabs: Chat, Developer (wo Sie den Server starten), My Models (wo Ihre heruntergeladenen Modelle gespeichert sind), Discover (neue Modelle hinzufügen)
LM Studio interface overview

3. Ein Modell herunterladen​

  • Durchsuchen Sie die „Discover“-Seite
  • Wählen Sie Ihr bevorzugtes Modell aus und laden Sie es herunter
  • Warten Sie, bis der Download abgeschlossen ist
Downloading a model in LM Studio

4. Den Server starten​

  • Navigieren Sie zum „Developer“-Tab
  • Schalten Sie den Server-Schalter auf „Running“
  • Hinweis: Der Server wird unter http://localhost:1234 laufen
Starting the LM Studio server

5. Careti konfigurieren​

  1. Öffnen Sie VS Code
  2. Klicken Sie auf das Careti-Einstellungen-Symbol
  3. Wählen Sie „LM Studio“ als API provider aus
  4. Wählen Sie Ihr Modell aus den verfügbaren Optionen aus
Configuring Careti with LM Studio

Empfohlenes Modell und Einstellungen​

Für die beste Erfahrung mit Careti verwenden Sie Qwen3 Coder 30B A3B Instruct. Dieses Modell bietet eine starke Coding-Performance und eine zuverlässige Tool-Nutzung.

Kritische Einstellungen​

Nachdem Sie Ihr Modell im Developer-Tab geladen haben, konfigurieren Sie diese Einstellungen:

  1. Context Length: Auf 262.144 setzen (das Maximum des Modells)
  2. KV Cache Quantization: Nicht auswählen (entscheidend für eine konstante Performance)
  3. Flash Attention: Falls verfügbar aktivieren (verbessert die Performance)

Leitfaden zur Quantisierung​

Wählen Sie die Quantisierung basierend auf Ihrem RAM:

  • 32GB RAM: 4-Bit-Quantisierung verwenden (~17GB Download)
  • 64GB RAM: 8-Bit-Quantisierung verwenden (~32GB Download) für bessere Qualität
  • 128GB+ RAM: Ziehen Sie volle Präzision oder größere Modelle in Betracht

Modell-Format​

  • Mac (Apple Silicon): MLX-Format für optimierte Performance verwenden
  • Windows/Linux: GGUF-Format verwenden

Compact Prompts aktivieren​

Für eine optimale Performance mit lokalen Modellen aktivieren Sie Compact Prompts in den Careti-Einstellungen. Dies reduziert die Prompt-Größe um 90 %, während die Kernfunktionalität erhalten bleibt.

Navigieren Sie zu Careti Settings → Features → Use Compact Prompt und schalten Sie es ein.

Wichtige Hinweise​

  • Starten Sie LM Studio, bevor Sie es mit Careti verwenden
  • Lassen Sie LM Studio im Hintergrund laufen
  • Der erste Modell-Download kann je nach Größe einige Minuten dauern
  • Modelle werden nach dem Download lokal gespeichert

Fehlerbehebung​

  1. Wenn Careti keine Verbindung zu LM Studio herstellen kann:
  2. Überprüfen Sie, ob der LM Studio Server läuft (Developer-Tab prüfen)
  3. Stellen Sie sicher, dass ein Modell geladen ist
  4. Überprüfen Sie, ob Ihr System die Hardwareanforderungen erfüllt