- Published on
RAG mit LangChain: Python-Guide für den deutschen Mittelstand
- Authors

- Name
- Phillip Pham
- @ddppham
RAG: Retrieval-Augmented Generation für den Mittelstand
RAG verbindet Ihre Dokumente mit einem LLM — das Ergebnis: KI-Antworten, die auf Ihren firmeneigenen Daten basieren.
Full Stack Setup
# requirements.txt
# langchain, langchain-community, qdrant-client,
# sentence-transformers, pypdf, python-dotenv
Schritt 1: Dokumente einlesen
from langchain_community.document_loaders import PyPDFLoader
loader = PyPDFLoader("technische_dokumentation.pdf")
docs = loader.load()
# ~50 pages → 200 chunks (500 tokens each)
Schritt 2: Vektoren erstellen
from langchain_community.embeddings import OllamaEmbeddings
embeddings = OllamaEmbeddings(model="nomic-embed-text")
vectors = embeddings.embed_documents(chunk_texts)
Schritt 3: In Qdrant speichern
from qdrant_client import QdrantClient
client = QdrantClient(path="./qdrant_db") # Lokal!
client.create_collection(
collection_name="firma_wissen",
vectors_config={"size": 768}
)
client.upsert(collection_name="firma_wissen", documents=chunks)
Schritt 4: Abfrage mit LLM
from langchain_community.llms import Ollama
from langchain.chains import RetrievalQA
llm = Ollama(model="llama3.3:70b", temperature=0)
qa_chain = RetrievalQA.from_chain_type(
llm=llm,
chain_type="stuff",
retriever=client.as_retriever()
)
# Anfrage
result = qa_chain.invoke(
"Was sagt die technische Dokumentation über Wartungsintervalle?"
)
print(result["result"])
Performance
|| Aufgabe | Zeit | Hardware | ||---|---|---| || 100 PDFs einlesen + vektorisieren | ~5 min | RTX 4090 | || RAG-Abfrage (1 Antwort) | ~2-3s | RTX 4090 | || RAG-Abfrage (1 Antwort) | ~3-5s | RTX 4060 Ti |
Fazit
RAG mit LangChain ist der Schlüssel für KI in Unternehmen. Die komplette Pipeline läuft on-premise auf einem €5.800-Server — keine Cloud, keine Datenweitergabe.
📖 Verwandte Artikel
Weitere interessante Beiträge zu ähnlichen Themen
RAG Pipeline SAP: Materialstamm durchsuchbar
RAG Pipeline mit SAP-Anbindung: Materialstamm, BANF und Bestelldaten per Python RFC durchsuchbar machen. Praxis für IT-Leiter.
LangChain RAG-Chatbot: Python-Guide in 90 Minuten
LangChain RAG-Chatbot mit Python in 90 Min. bauen: Firmendokumente durchsuchen, €0 mit Ollama oder €15/Monat Azure OpenAI.
RAG ChromaDB lokal: 85% weniger Halluzinationen
RAG-Pipeline mit ChromaDB lokal: Firmenwissen durchsuchbar ohne Cloud. Unter €2.000 Hardware, 85% weniger Halluzinationen.
Bereit für KI im Mittelstand?
Nutzen Sie unsere 10 kostenlosen KI-Tools und Praxis-Guides – oder sprechen Sie direkt mit unseren Experten.
Pexon Consulting – KI-Beratung für den Mittelstand | Scaly Academy – Geförderte KI-Weiterbildung (KI-Spezialist, KI-Experte, Workflow-Automatisierung)