Lokale LLM-Setups mit LM Studio

LM Studio ist meine Standardempfehlung für alle, die lokale Inferenz brauchen: Es kapselt die Komplexität der GPU-Treiber, bietet eine OpenAI-kompatible API und läuft auf einem Laptop mit 32 GB RAM. Ich habe es inzwischen für über zehn Personen eingerichtet — meine Aufgabe ist jedes Mal, die Lücke zwischen „läuft in der GUI“ und „läuft im Alltag“ zu schließen.

Typische Setups umfassen: das passende quantisierte Modell für den Anwendungsfall wählen, einen Agent-Harness mit Tools aufsetzen, eine schlanke RAG-Schicht um lokale Dokumente bauen und die LM-Studio-API in bestehende Workflows einbinden. Das Ergebnis ist immer dasselbe — leistungsfähige KI ohne jede Cloud-Abhängigkeit.