Published on

RAG mit LangChain: Python-Guide für den deutschen Mittelstand

Authors

RAG: Retrieval-Augmented Generation für den Mittelstand

RAG verbindet Ihre Dokumente mit einem LLM — das Ergebnis: KI-Antworten, die auf Ihren firmeneigenen Daten basieren.

Full Stack Setup

# requirements.txt
# langchain, langchain-community, qdrant-client,
# sentence-transformers, pypdf, python-dotenv

Schritt 1: Dokumente einlesen

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("technische_dokumentation.pdf")
docs = loader.load()
# ~50 pages → 200 chunks (500 tokens each)

Schritt 2: Vektoren erstellen

from langchain_community.embeddings import OllamaEmbeddings

embeddings = OllamaEmbeddings(model="nomic-embed-text")
vectors = embeddings.embed_documents(chunk_texts)

Schritt 3: In Qdrant speichern

from qdrant_client import QdrantClient

client = QdrantClient(path="./qdrant_db")  # Lokal!
client.create_collection(
    collection_name="firma_wissen",
    vectors_config={"size": 768}
)
client.upsert(collection_name="firma_wissen", documents=chunks)

Schritt 4: Abfrage mit LLM

from langchain_community.llms import Ollama
from langchain.chains import RetrievalQA

llm = Ollama(model="llama3.3:70b", temperature=0)
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=client.as_retriever()
)

# Anfrage
result = qa_chain.invoke(
    "Was sagt die technische Dokumentation über Wartungsintervalle?"
)
print(result["result"])

Performance

|| Aufgabe | Zeit | Hardware | ||---|---|---| || 100 PDFs einlesen + vektorisieren | ~5 min | RTX 4090 | || RAG-Abfrage (1 Antwort) | ~2-3s | RTX 4090 | || RAG-Abfrage (1 Antwort) | ~3-5s | RTX 4060 Ti |

Fazit

RAG mit LangChain ist der Schlüssel für KI in Unternehmen. Die komplette Pipeline läuft on-premise auf einem €5.800-Server — keine Cloud, keine Datenweitergabe.

👉 KI-Server ab €5.800 👉 Private AI: Pexon Consulting

📖 Verwandte Artikel

Weitere interessante Beiträge zu ähnlichen Themen

Bereit für KI im Mittelstand?

Nutzen Sie unsere 10 kostenlosen KI-Tools und Praxis-Guides – oder sprechen Sie direkt mit unseren Experten.

Pexon Consulting – KI-Beratung für den Mittelstand | Scaly Academy – Geförderte KI-Weiterbildung (KI-Spezialist, KI-Experte, Workflow-Automatisierung)