Open-Source-KI-Modelle im Mittelstand: Was Self-Hosting wirklich kostet

„Open Source” ist bei KI-Modellen kein einzelner Schalter, sondern drei getrennte Entscheidungen: welches Modell Sie einsetzen, wo es läuft und wer es betreibt. Ob sich das gegenüber einer API lohnt, hängt fast ausschließlich an der dritten Frage und am Volumen – nicht daran, ob Sie ein offenes Modell grundsätzlich gut finden.

Die Diskussion um „Open Source” bei KI-Modellen läuft in den meisten Gesprächen mit Mittelständlern auf eine einzige Frage hinaus: lohnt sich das? Die ehrliche Antwort ist eine Rechnung, keine Meinung – und die Rechnung sieht für die meisten Unternehmen anders aus, als das Marketing der Hosting-Anbieter suggeriert.

Drei Entscheidungen, die gerne als eine verkauft werden

Wer „Open-Source-Modell” sagt, meint oft nur die erste von drei Fragen:

• Das Modell: Welche trainierten Gewichte setzen Sie ein – ein Modell wie Qwen (Alibaba), Llama 4 (Meta), die offenen Varianten von Mistral AI (Small 4, Medium 3.5), DeepSeek oder GLM (Zhipu)? Der Hersteller veröffentlicht hier die Parameter selbst zum Download; Sie sind nicht an dessen eigene API gebunden.
• Der Betriebsort: Läuft das Modell auf eigener Hardware im eigenen Haus, auf einem gemieteten GPU-Server bei einem deutschen oder europäischen Anbieter, oder nutzen Sie es über einen Dienst, der das offene Modell selbst als API anbietet?
• Der Betrieb: Wer aktualisiert das Modell, wer prüft, ob die Ausgabequalität noch stimmt, wer ist erreichbar, wenn der Dienst nachts ausfällt?

Diese drei Fragen hängen zusammen, aber sie sind nicht dieselbe Frage. Ein Unternehmen kann ein offenes Modell über eine fremde API nutzen, ohne einen einzigen eigenen Server zu betreiben – dann trifft es die erste Entscheidung, aber nicht die zweite und dritte. Wer nur die erste trifft und die anderen beiden ignoriert, bekommt die Kosten der dritten meist erst nach der Kaufentscheidung präsentiert.

Die zweite Entscheidung: wo das Modell läuft

Für den Betriebsort gibt es im Kern drei Wege:

Ein gemieteter GPU-Server bei einem deutschen Anbieter ist der pragmatischste Einstieg. Hetzner vermietet zum Beispiel den GEX131 mit einer RTX PRO 6000 Blackwell Max-Q und 96 GB VRAM für 889 Euro im Monat (1,4247 Euro je Stunde), ohne Einrichtungsgebühr bei kurzfristiger Nutzung. Für kleinere Modelle reicht der GEX44 mit RTX 4000 SFF Ada und 20 GB VRAM, den heise im eigenen Test mit 278 Euro im Monat beziffert. Beide Varianten geben Ihnen volle Kontrolle über die Instanz – Sie installieren das Modell selbst, etwa über gängige Open-Source-Werkzeuge zum lokalen Betrieb.

Eine EU-Plattform, die offene Modelle als Dienst anbietet, ist der Mittelweg: Sie betreiben keinen eigenen Server, zahlen aber pro Anfrage statt einer Monatspauschale. Mistral AI etwa betreibt mit La Plateforme eine solche Plattform unter EU-Jurisdiktion; das eigene Flaggschiffmodell Large 3 kostet dort 0,50 US-Dollar je Million Input-Token und 1,50 US-Dollar je Million Output-Token. Der Datenschutzvorteil gegenüber einem außereuropäischen Anbieter besteht unabhängig davon, ob das konkret genutzte Modell offene Gewichte hat oder nicht – das ist eine Frage des Vertragspartners, nicht der Modelllizenz.

Eigene Hardware im eigenen Haus ist der dritte Weg, aber nur für einen kleinen Teil der Mittelstandsprojekte der richtige: Die Kapitalbindung, die Wartung und die Notwendigkeit, Ausfälle selbst zu beheben, lohnen sich – eine verbreitete Faustregel bei Investitionsentscheidungen für Hardware – meist erst bei Dauerlast, die eine gemietete Instanz ohnehin permanent auslasten würde. In den Projekten, die wir umsetzen, ist die Miete deshalb der realistischere Einstieg – sie lässt sich stunden- oder monatsweise wieder abbestellen, ein eigener Server nicht.

Die dritte Entscheidung: wer das Modell betreibt

Der Betriebsaufwand ist der Teil, der beim Kostenvergleich am häufigsten fehlt. Ein gemieteter GPU-Server ist keine fertige Lösung, sondern eine leere Maschine: Sie brauchen jemanden, der das Modell installiert, Updates einspielt, die Ausgabequalität stichprobenartig prüft und im Fehlerfall reagiert – dieselbe Betriebsdisziplin, die wir für die Überwachung von n8n-Workflows beschrieben haben, gilt für ein selbst gehostetes Modell genauso. Wer diese Rolle nicht im Haus besetzen kann oder will, zahlt den Preis dafür später als Ausfallzeit, nicht als Rechnung.

Die Kostenrechnung: wann sich Self-Hosting rechnet

Hetzner nennt für den GEX131 sowohl 889 Euro als auch 989 US-Dollar im Monat für dieselbe Maschine – daraus ergibt sich ein Umrechnungskurs von rund 0,90 Euro je Dollar, den wir für die folgende Rechnung übernehmen, um US-Dollar-Preise und Euro-Fixkosten vergleichbar zu machen.

Auf der API-Seite hat DeepSeek im August 2026 ein Peak-/Off-Peak-Preismodell eingeführt: Außerhalb der Peak-Stunden (01:00–04:00 und 06:00–10:00 UTC, an Werktagen) kostet DeepSeek-V4-Pro rund 0,66 US-Dollar je Million Input-Token und 1,98 US-Dollar je Million Output-Token, innerhalb der Peak-Stunden das Doppelte. Da die Peak-Fenster nur 7 von 24 Stunden abdecken, lässt sich ein Großteil einer n8n-Automatisierung über den Schedule-Trigger in die günstigeren Off-Peak-Stunden legen. Ein aktuelles Spitzenmodell wie GPT-5.6 im Tarif „Sol” kostet dagegen 4 US-Dollar je Million Input-Token und 20 US-Dollar je Million Output-Token – nach der Preissenkung von OpenAI vom 21. August 2026, befristet bis 21. November 2026.

In unseren eigenen n8n-Automatisierungen liegt das Verhältnis von Input- zu Output-Token meist bei etwa 3:1. Auf dieser Basis ergibt sich ein Mischpreis von rund 0,99 US-Dollar je Million Token für das offene Modell in der Off-Peak-Zeit (1,98 US-Dollar in der Peak-Zeit) und rund 8,00 US-Dollar je Million Token für das Spitzenmodell.

Damit lässt sich der Kipp-Punkt für den GEX131 (889 Euro / 989 US-Dollar im Monat) grob rechnen – alle Preise Stand September 2026:

• Gegenüber der offenen API (0,99 $/Mio. Token, Off-Peak): Sie müssten rund 1 Milliarde Token im Monat verarbeiten, bevor der eigene Server günstiger wird als der Einkauf über die API desselben Modelltyps – in der Peak-Zeit (1,98 $/Mio. Token) halbiert sich dieser Wert auf rund 500 Millionen Token. Für ein einzelnes Mittelstandsunternehmen ist das ein Volumen, das praktisch nie zusammenkommt – gegen eine gleich leistungsfähige offene API rechnet sich Self-Hosting fast nie über den reinen Token-Preis.
• Gegenüber dem Spitzenmodell (8,00 $/Mio. Token): Der Kipp-Punkt liegt bei rund 124 Millionen Token im Monat. Das ist für ein Unternehmen mit vielen dokumentenlastigen n8n-Workflows – etwa durchgängiger Beleg-, Vertrags- oder E-Mail-Verarbeitung über mehrere Abteilungen – erreichbar, aber immer noch ein hohes Volumen.

Die Zahlen sind eine Rechnung mit den oben genannten, aktuellen Einzelpreisen, keine feste Grenze – ändert sich ein Einzelpreis, verschiebt sich der Kipp-Punkt mit. Wer die eigene Rechnung machen will, braucht dafür nur die monatliche Token-Zahl aus der eigenen n8n- oder API-Nutzung und die beiden Vergleichspreise von oben. Offen bleibt dabei die reine Hardware-Frage: Welche Kartengröße und Quantisierung ein konkretes Modell tatsächlich braucht, hängt an dessen Parameterzahl – das prüfen Sie vor der Anschaffung gegen die technischen Angaben des jeweiligen Modells, nicht gegen einen pauschalen Wert aus diesem Artikel.

Wo offene Modelle 2026 mithalten – und wo nicht

Der Qualitätsabstand zwischen offenen und proprietären Modellen ist laut Artificial Analysis kleiner geworden, aber nicht verschwunden – die folgenden Zahlen sind eine Momentaufnahme vom 30. April 2026, dem Datum der zugrunde liegenden Analyse, und verschieben sich mit praktisch jedem neuen Modell-Release. Zu diesem Zeitpunkt lag GPT-5.5 im Intelligence Index bei 60 Punkten, Gemini 3.1 Pro Preview und Claude Opus 4.7 bei jeweils 57 – während die stärksten offenen Modelle, Kimi K2.6 von Moonshot AI und MiMo V2.5 Pro von Xiaomi, mit einem Indexwert von 54 nur 3 bis 6 Punkte dahinter lagen.

Auf den schwierigsten Aufgaben war der Abstand zu diesem Zeitpunkt größer: Bei Humanity’s Last Exam, einem Testsatz für sehr anspruchsvolle Fachfragen, erreichten die besten offenen Modelle 34 bis 36 Prozent gegenüber 44 bis 45 Prozent bei den führenden proprietären Modellen. Für Aufgaben wie Textextraktion, Klassifikation oder Übersetzung – nach unserer Projekterfahrung die häufigsten Bausteine in n8n-Automatisierungen – ist der verbleibende Abstand meist nicht der entscheidende Faktor. Für lange, mehrstufige Agenten-Ketten mit komplexer Fachlogik bleibt er das.

Wann Self-Hosting die falsche Wahl ist

Ein eigenes oder gemietetes Modell lohnt sich nicht automatisch, nur weil es möglich ist. Drei Situationen, in denen eine API die bessere Wahl bleibt:

• Das Volumen trägt die Fixkosten nicht. Liegt Ihr monatlicher Token-Verbrauch weit unter den Kipp-Punkten aus der Rechnung oben, zahlen Sie für einen Server, der die meiste Zeit ungenutzt läuft.
• Niemand im Haus kann den Betrieb übernehmen. Ohne die Betriebsdisziplin aus dem Abschnitt oben wird ein günstiger Server schnell zum teuren Ausfallrisiko.
• Sparen ist der einzige Grund. Die beiden zulässigen Gründe für Self-Hosting sind, dass Daten das Haus aus Compliance- oder Vertragsgründen nicht verlassen dürfen, oder dass ein sehr hohes, dauerhaftes Volumen die Fixkosten trägt. Reine Kostenoptimierung ohne einen dieser beiden Gründe geht nach unserer Erfahrung zulasten der Ausgabequalität oder der Betriebssicherheit.

Für den Mittelstand heißt das

Aus unserer Sicht ist die Modellwahl die am wenigsten wichtige der drei Entscheidungen. In den n8n-Automatisierungen, die wir im Mittelstand umsetzen, ist ein Modell mit offenen Gewichten austauschbar konfiguriert – n8n selbst ist modellagnostisch, ein Wechsel ist ein Konfigurationsschritt, kein Umbau des Workflows. Die eigentliche Entscheidung liegt beim Betriebsort und beim Betrieb: Wer das nicht leisten kann oder will, sollte bei einer API bleiben, offen oder proprietär, und die Modellfrage getrennt von der Infrastrukturfrage klären.

Prüfen Sie deshalb zuerst zwei Dinge, bevor Sie über ein eigenes Modell nachdenken: Wie hoch ist Ihr tatsächliches monatliches Token-Volumen, und gibt es einen Compliance- oder Vertragsgrund, der Daten im Haus hält? Beantwortet keine der beiden Fragen mit einer klaren Zahl oder einem klaren Ja, bleibt die API die wirtschaftlichere Wahl.

Unsicher, wo Ihr eigenes Vorhaben in dieser Rechnung steht? Unser KI-Quick-Check hilft bei der ersten Einordnung, welches Volumen und welche Daten ein konkretes Projekt tatsächlich bewegt.

FAQ

Ist ein Modell mit offenen Gewichten automatisch DSGVO-konform? Die Datenschutzfrage ordnen wir getrennt ein: im Beitrag zu n8n und Self-Hosting.

Was heißt „offene Gewichte” genau? Der Hersteller veröffentlicht die trainierten Parameter des Modells zum Download, sodass Sie es auf eigener oder gemieteter Hardware ausführen können. Das ist etwas anderes als klassische Open-Source-Software: Wie Sie das Modell nutzen, verändern und weitergeben dürfen, regelt die jeweilige Lizenz des Herstellers – die prüfen Sie vor dem produktiven Einsatz selbst.

Ist ein offenes Modell genauso gut wie ein aktuelles Spitzenmodell? Bei Alltagsaufgaben wie Extraktion, Klassifikation und Übersetzung lag der Abstand laut einer Artificial-Analysis-Analyse vom 30. April 2026 bei 3 bis 6 Punkten im Intelligence Index – eine Momentaufnahme, die sich mit jedem neuen Modell-Release verschiebt. Bei sehr langen, mehrstufigen Agenten-Ketten und anspruchsvoller Fachlogik blieb die Lücke zu den Spitzenmodellen deutlich größer.

Ab wann lohnt sich ein eigener GPU-Server gegenüber einer API? Das hängt vom Modell und vom Volumen ab, nicht von einer pauschalen Grenze. Gegenüber einer günstigen offenen API liegt der Kipp-Punkt bei rund 1 Milliarde Token pro Monat, gegenüber einem teuren Spitzenmodell schon im niedrigen dreistelligen Millionenbereich – die Rechnung dazu steht weiter oben im Artikel.

Brauchen wir für ein eigenes Modell ein eigenes Rechenzentrum? Nein. Gemietete GPU-Server bei einem deutschen oder europäischen Anbieter sind der übliche Einstieg – Sie zahlen einen festen Monatspreis statt Kapitalbindung für eigene Hardware. Ob sich das rechnet, entscheidet die Kostenrechnung, nicht der Standort allein.