TabbyML VS Code Setup: GPU-Server verbinden

TL;DR

TabbyML VS Code Setup ist die Verbindung der offiziellen Extension TabbyML.vscode-tabby mit einem selbst gehosteten Tabby-Server. Die VS-Code-Doku installiert per ext install TabbyML.vscode-tabby und verbindet über Tabby: Connect to Server... mit Endpoint und Account-Token. Der Docker-Start aus der Tabby-Doku lauscht auf Port 8080 (http://localhost:8080), GPU über --device cuda und NVIDIA Container Toolkit. Beispielmodell der Doku: --model StarCoder-1B, --chat-model Qwen2-1.5B-Instruct. Gelesen in der Tabby-Doku am 2026-10-15. Kein Ranking, kein Kaufguide.

Extension und Server sind zwei Schichten

IT-Leiter suchen „tabbyml vs code setup“, wenn VS Code den bereits laufenden Tabby-Server erreichen soll — nicht, wenn sie Tabby nur allgemein einordnen. Die Produktübersicht bleibt Tabby ML für Entwicklerteams. Cursor plus Ollama ist ein anderer Editor-Pfad: Cursor mit Ollama. Die GPU-Klasse für den Server bleibt KI-Server kaufen. Container-Betrieb allgemein: Ollama Docker.

Tabby ist laut eigener Doku ein Open-Source-, self-hosted Coding-Assistent. Die Welcome-Seite nennt IDE-Extensions und Model Serving als einen Stack, nicht nur ein Modell hinter einer API.

Server: Docker auf Port 8080

Vor CUDA im Container verlangt die Tabby-Docker-Seite das NVIDIA Container Toolkit. Danach startet der Server so (Doku run.sh):

docker run -d \
  --name tabby \
  --gpus all \
  -p 8080:8080 \
  -v $HOME/.tabby:/data \
  registry.tabbyml.com/tabbyml/tabby \
    serve \
    --model StarCoder-1B \
    --chat-model Qwen2-1.5B-Instruct \
    --device cuda

Nach dem Start öffnet die Doku http://localhost:8080. Logs: docker logs -f tabby. Unter SELinux hängt die Doku :Z an das Volume ($HOME/.tabby:/data:Z).

Dasselbe Image und dieselben Flags stehen in der Compose-Variante (registry.tabbyml.com/tabbyml/tabby, Port 8080:8080, eine reservierte NVIDIA-GPU, --device cuda). Compose ist der Dauerbetrieb, docker run der schnelle Test. Image-Namen und Flags nur aus der aktuellen Doku übernehmen, nicht aus älteren Blog-Beispielen.

Ohne laufenden Server bleibt die Extension ohne Endpoint. Erst die Web-Oberfläche öffnen, Konto anlegen, Endpoint und Token von der Startseite notieren — so beschreibt es die IDE-Connect-Seite.

VS Code: Extension und Connect

Quick Open in VS Code oder VSCodium (Ctrl/Cmd+P), dann laut Extension-Doku:

ext install TabbyML.vscode-tabby

Die Doku nennt Visual Studio Marketplace und Open VSX. Danach Command Palette: Tabby: Connect to Server... — Endpoint-URL und Account-Token eintragen. Die IDE-Connect-Seite beschreibt denselben Weg über die Extension-Settings: Endpoint von der Tabby-Startseite, Hinweis auf Token, Schaltfläche Set Credentials, Token von der Startseite. Verbunden zeigt die Statusleiste ein Connected-Icon.

Alternative für mehrere IDEs: Config-Datei ~/.tabby-client/agent/config.toml. Die Datei legt der Agent beim ersten Start an und lädt Änderungen neu. Doku-Beispiel:

[server]
endpoint = "http://localhost:8080"
token = "your-token-here"

Ist das Token gesetzt, sendet der Agent den Header Authorization = Bearer $token. IDE-Settings überschreiben die Datei; für die Datei müssen die IDE-Felder leer bleiben. In der Browser-Variante von VS Code fehlt die Datei — dort nur die Settings-Seite.

Erster Rundgang in der Extension: Befehl Tabby: Quick Start.

Was die Extension danach kann

Laut VS-Code-Doku, nicht als Qualitätsversprechen:

• Autocomplete: mehrzeilige Vorschläge und ganze Funktionen beim Tippen.
• Chat: Sitzung in der Activity Bar.
• Markierten Code mit Tabby: Explain This befragen.
• Inline-Edits mit Tabby: Start Inline Editing (Ctrl/Cmd+I).

Die Welcome-Seite spricht von Streaming, Abbruch und einem adaptiven Cache in der Extension. Das ist Produktbeschreibung, kein Benchmark.

Welches Modell die Registry nennt

Die Tabby-Model-Registry trennt --model (Completion) und --chat-model (Chat). Das Docker-Beispiel der Install-Seite bleibt StarCoder-1B plus Qwen2-1.5B-Instruct. Weitere Completion-IDs auf der Registry-Seite (Stand dieses Laufs) unter anderem StarCoder-3B/7B, StarCoder2-3B/7B, CodeLlama-7B/13B, DeepSeekCoder-1.3B/6.7B, CodeGemma-2B/7B, Qwen2.5-Coder von 0.5B bis 14B. Chat-IDs unter anderem Qwen2-1.5B-Instruct, Qwen2.5-Coder-Instruct, Qwen3 von 0.6B bis 32B. Lizenzen stehen in derselben Tabelle; vor dem produktiven Zug die aktuelle Zeile lesen.

GPU-Klassen laut Registry, keine selbst gerechneten GB-Werte:

• Completion 1B bis 3B: mindestens NVIDIA T4, 10er- oder 20er-Serie oder Apple Silicon M1.
• Completion 7B bis 13B: NVIDIA V100, A100, 30er- oder 40er-Serie.

Die 16-GB-gegen-24-GB-Einordnung für andere Stacks bleibt Lokale KI: GPU-Wahl. Tabby nennt in der Registry keine VRAM-Gigabyte; wer GB braucht, misst auf der eigenen Karte oder liest die Modellkarte, nicht diese Seite.

Firma: Endpoint im Netz, nicht localhost

http://localhost:8080 gilt auf derselben Maschine. Entwickler-PCs brauchen die interne URL des GPU-Servers, zum Beispiel http://ki-server.intern:8080 oder HTTPS hinter dem Firmen-Proxy. Token nicht in ein öffentliches Repo. Zusätzliche Header stehen in [server.requestHeaders] der Config-Doku.

Anonyme Nutzungsstatistik der Extension: System- und Versionsinfo, Completion-Zähler, angenommene Completions, HTTP-Latenz. Stand der Config-Doku (6. November 2023): kein Code, keine Completions, keine Identität. Abschalten:

[anonymousUsageTracking]
disable = true

Debug-Logs: [logs] level = "debug", Dateien unter ~/.tabby-client/agent/logs/.

Häufige Fragen

Reicht die Extension ohne GPU-Server?

Nein. Die VS-Code-Doku verlangt zuerst den self-hosted Server und ein Konto. Ohne Endpoint und Token bleibt Connect offen.

Ist das dasselbe wie Cursor plus Ollama?

Nein. Cursor spricht die Ollama-API. Tabby hat eigenen Server, eigene Extension, Port 8080 statt 11434. Der Cursor-Pfad bleibt Cursor mit Ollama.

Welches Image?

Die aktuelle Docker-Seite nutzt registry.tabbyml.com/tabbyml/tabby. Das GitHub-README zeigt zusätzlich tabbyml/tabby. Vor dem Rollout das Image der Install-Seite nehmen, die Sie befolgen.

Warum verbindet VS Code nicht?

Häufig: Server nicht auf 8080, Endpoint zeigt auf localhost statt auf den GPU-Server, Token fehlt, oder IDE-Settings überdecken config.toml. Statusleiste und docker logs -f tabby zuerst prüfen.

Fazit

TabbyML in VS Code ist Extension plus Server: ext install, Connect oder config.toml, Docker auf 8080 mit --device cuda. Modelle und GPU-Klassen stehen in der Tabby-Registry. Kein zweiter Hardware-Kaufguide und kein Copilot-Preisvergleich.