RAG über eigene Daten — ohne dass etwas nach außen geht

Cloud-Chatbots sind einfach — bis jemand fragt: „Und wo landen unsere Mandantendaten?" Für Kanzleien, Praxen und den regulierten Mittelstand ist genau das die Wand, an der die meisten KI-Projekte sterben.

Dieser Guide zeigt den Weg, der ohne diesen Bruch auskommt: ein LLM, das deine eigenen Dokumente beantwortet, komplett im Haus — Architektur, die Stolperfallen, die mich Wochen gekostet haben, und ein ehrlicher Kostenrahmen.

Was RAG eigentlich ist (in einem Satz)

Retrieval-Augmented Generation heißt: Das Modell erfindet die Antwort nicht, es bekommt die passenden Stellen aus deinen Dokumenten vorgelegt und fasst nur diese zusammen — mit Quellenangabe. Kein Training, kein Datenabfluss.

Die Architektur, die im Haus bleibt

• Dokumente → Chunks → lokale Embeddings (kein externer API-Call).
• Vektor-Index auf deinem Server (z. B. pgvector / Qdrant).
• Lokales LLM (Ollama / LM Studio) als Antwort-Generator.
• Strikte Trennung: nur die gefundenen Stellen gehen ins Prompt — nichts anderes.

[Vollständiger Abschnitt folgt — Diagramm, Stolperfallen, Kostenrechnung.]