Lokale LLMs im Unternehmen: was eine RTX 4090 kann - und was nicht

1. Die Ausgangsfrage

Die Frage kommt in fast jedem Gespräch über KI im eigenen Unternehmen: Kann man sein eigenes ChatGPT im Haus betreiben? Auf der eigenen Hardware, ohne dass Daten an einen amerikanischen Cloud-Anbieter fließen. Die kurze Antwort lautet: Ja, ein eigenes Sprachmodell im Haus ist heute mit überschaubarem Aufwand möglich.

Die ehrliche Antwort ist etwas länger. Denn „ein LLM im Haus" ist nicht dasselbe wie „Claude oder ChatGPT im Haus". Was eine einzelne Grafikkarte wie eine RTX 4090 mit 24 GB Videospeicher leistet, ist beträchtlich - aber es hat klare Grenzen. Wer diese Grenzen kennt, trifft bessere Entscheidungen als jemand, der entweder alles oder nichts von lokaler KI erwartet.

Sie brauchen für diesen Text keine GPU-Kenntnisse. Es geht um ein realistisches Bild davon, was mit eigener Hardware geht und was nicht, keine Anleitung.

2. Was eine einzelne 4090 realistisch leistet

Der entscheidende Engpass bei einer einzelnen Grafikkarte ist der Videospeicher (VRAM). Ein Sprachmodell muss zum Arbeiten weitgehend in diesen Speicher passen. Bei einer RTX 4090 sind das 24 GB - und das setzt den Rahmen dafür, wie groß das Modell sein darf.

Modelle werden nach ihrer Parameterzahl unterschieden, grob ein Maß für ihre Größe und Fähigkeit. Damit ein größeres Modell in 24 GB passt, wird es quantisiert: eine Kompression, die den Speicherbedarf deutlich senkt und dabei nur einen kleinen Teil der Qualität kostet. Als grobe Orientierung:

Modelle mit rund 7 bis 14 Milliarden Parametern

Laufen quantisiert flüssig und mit gutem Tempo. Das ist der Bereich, in dem eine 4090 im Alltag ihre Stärke ausspielt.

Modelle um die 32 Milliarden Parameter

Laufen quantisiert noch, aber mit Abstrichen bei Tempo und verfügbarer Kontextlänge. Machbar, wenn Qualität wichtiger ist als Geschwindigkeit.

Die Werkzeuge dafür sind ausgereift und größtenteils quelloffen. Für den unkomplizierten Einstieg hat sich Ollama etabliert, technisch anspruchsvoller sind llama.cpp und - für höheren Durchsatz - vLLM. An offenen Modellfamilien stehen unter anderem Llama, Qwen und Mistral zur Verfügung.

Wie niedrig die Einstiegshürde ist, zeigt sich am besten praktisch: Ein einziger Befehl lädt ein offenes Modell herunter und startet es lokal.

Terminal

ollama run qwen2.5:14b

Konkrete Zahlen sind modell- und aufgabenabhängig. Wie schnell ein Modell wirklich antwortet, hängt von Quantisierung, Kontextlänge und Aufgabe ab. Deshalb gilt hier bewusst eine qualitative Einordnung - ein kurzer Test mit Ihren echten Daten sagt mehr als jede Tabelle.

3. Die Capability-Map

Die Frage ist selten „lokal oder Cloud", sondern: Welcher Prozessschritt gehört wohin? Manches läuft hervorragend auf der eigenen 4090, anderes braucht heute noch ein Frontier-Modell aus der Cloud.

Läuft gut lokal (4090)

Klassifikation & Vorsortierung
Extraktion strukturierter Daten
Zusammenfassungen & Entwürfe
RAG über interne Dokumente

Dafür brauchen Sie (noch) die Cloud

Hochwertiges Reasoning über viele Schritte
Anspruchsvolle Software-Entwicklung
Sehr große Kontextfenster
Frontier-Qualität für heikle Außenkommunikation

Diese Grenze ist nicht in Stein gemeißelt. Offene Modelle werden von Monat zu Monat besser. Was heute noch die Cloud braucht, kann in einem Jahr lokal laufen. Die Struktur der Entscheidung bleibt aber dieselbe.

4. Wofür lokale Modelle stark sind

Lokale Modelle spielen ihre Stärke aus, wenn eine klar umrissene Aufgabe in großer Menge zuverlässig erledigt werden muss, besonders wenn die Daten das Haus nicht verlassen dürfen oder das Volumen die API-Kosten in die Höhe treiben würde.

Klassifikation & Routing

E-Mails, Tickets oder Dokumente in Kategorien einsortieren und an die richtige Stelle vorsortieren, zuverlässig und in großer Menge.

Extraktion aus Dokumenten

Rechnungen, Verträge, Formulare: strukturierte Felder aus unstrukturiertem Text ziehen. Ein Kernanwendungsfall lokaler Modelle.

Zusammenfassung

Lange Protokolle, Berichte oder Mailverläufe auf das Wesentliche eindampfen. Ein Entwurf, den ein Mensch prüft.

RAG über interne Dokumente

Fragen an Ihre eigene Wissensbasis stellen: Handbücher, Richtlinien, Angebote. Die Daten bleiben dabei im Haus.

Das Modell schlägt vor, der Mensch entscheidet. In all diesen Fällen liefert das lokale Modell einen Entwurf, eine Einordnung oder eine Vorsortierung. Die Verantwortung bleibt beim Mitarbeiter. Dieser Zuschnitt macht lokale Modelle auch bei bescheidenerer Rohleistung produktiv.

5. Die Kostenfrage

Neben der Datenhoheit ist die Wirtschaftlichkeit das zweite starke Argument, aber sie kippt je nach Nutzung in die eine oder andere Richtung:

Eigene Hardware

Eine einmalige Investition in die Grafikkarte, danach im Wesentlichen Strom und Wartung. Jede weitere Anfrage kostet praktisch nichts extra.

Rechnet sich, wenn viel und dauerhaft verarbeitet wird und die Auslastung hoch genug ist.

Cloud-API

Keine Anschaffung, dafür laufende Kosten pro verarbeiteter Texteinheit (Token). Sie zahlen genau für das, was Sie nutzen.

Rechnet sich bei schwankendem oder geringem Volumen und immer dann, wenn Sie die höchste Qualität brauchen.

Die Faustregel: Hohes, gleichmäßiges Volumen bei einer klar umrissenen Aufgabe spricht für eigene Hardware. Schwankendes Volumen, seltene Nutzung oder der Bedarf an Spitzenqualität sprechen für die Cloud. In der Praxis ist die wirtschaftlichste Lösung oft eine Kombination - das Massengeschäft lokal, die anspruchsvollen Fälle in der Cloud.

Hardware ist nicht die einzige Kostenposition. Zur GPU kommen Betrieb, Aktualisierung der Modelle, Monitoring und der Aufwand, das Ganze sauber in Ihre Prozesse zu integrieren. Eine ehrliche Rechnung schließt diese laufenden Posten mit ein.

6. Die ehrliche Grenze

Ein lokales Modell auf einer 4090 ist kein Ersatz eins zu eins für die besten Cloud-Modelle. Beim anspruchsvollen Schlussfolgern über viele Schritte, bei komplexer Software-Entwicklung oder bei sehr großen Kontextfenstern liegen Frontier-Modelle wie Claude weiterhin deutlich vorne.

Das spricht nicht gegen den lokalen Ansatz; es ist schlicht ein anderes Werkzeug für einen anderen Zweck. Enttäuscht wird vor allem, wer es an Aufgaben misst, für die es nicht gedacht ist.

Ein lokales LLM ist ein Werkzeug für passende Prozessschritte, kein Ersatz für die besten Cloud-Modelle. Entscheidend ist, jeden Schritt dorthin zu legen, wo er am besten aufgehoben ist.

7. Datenhoheit als echter Vorteil

Es gibt einen Vorteil, den kein Cloud-Modell aufwiegen kann: Bei einem lokal betriebenen Modell verlassen Ihre Daten das Haus nicht. Personenbezogene Daten, Verträge, interne Kalkulationen, Konstruktionsunterlagen - all das wird verarbeitet, ohne je an einen externen Anbieter übertragen zu werden.

Für viele mittelständische Unternehmen ist das kein Komfort-Argument, sondern die Voraussetzung überhaupt: mit Blick auf den Datenschutz, auf vertragliche Verpflichtungen gegenüber Kunden oder auf schlichte Vorsicht bei sensiblem Know-how. Datenhoheit ist damit weniger eine technische Frage als ein Baustein digitaler Souveränität - der Fähigkeit, KI zu nutzen, ohne sich in vollständige Abhängigkeit von einem einzelnen Anbieter zu begeben.

Souveränität heißt Wahlfreiheit, nicht Verzicht. Sie müssen sich nicht zwischen Datenhoheit und Spitzenqualität entscheiden. Der sensible Teil eines Prozesses läuft lokal, der anspruchsvolle Teil bei Bedarf in der Cloud - die Architektur bestimmen Sie.

8. Wo wir ansetzen

An dieser Grenze setzen wir an. Lokale LLMs übernehmen in Ihren Prozessen die Schritte, die sie tragen können: Klassifikation, Extraktion, Zusammenfassung, RAG über interne Dokumente. Für die anspruchsvollen Fälle kombinieren wir sie mit Frontier-Modellen aus der Cloud.

Ehrliche Einordnung zuerst

Wir prüfen, welche Ihrer Aufgaben ein lokales Modell wirklich trägt, und benennen klar, wo es die Cloud braucht.

Lokal, wo es passt

Massenhafte, sensible oder wiederkehrende Aufgaben laufen auf eigener Hardware, die Daten bleiben im Haus.

Cloud, wo es zählt

Für die anspruchsvollen Fälle binden wir Frontier-Modelle gezielt dort ein, wo ihre Qualität den Ausschlag gibt.

Mit Blick auf die Wirtschaftlichkeit

Wir rechnen Hardware gegen laufende Kosten durch, damit die Lösung sich auch trägt.

Mehr dazu, wie wir KI mit Bodenhaftung in den Mittelstand bringen, finden Sie auf unserer Seite zur KI-Integration - oder wir sprechen direkt über Ihren konkreten Anwendungsfall.

Ihr eigenes LLM im Haus - was eine RTX 4090 kann und was nicht.