Open-Source-KI-Modelle auf gemietetem GPU-Server: was passt, was es kostet

Ein gemieteter GPU-Server mit 96 GB Grafikspeicher, auf dem ein Open-Weight-Modell wie gpt-oss-120b läuft, kostet bei Hetzner 1.199 Euro Miete im Monat ohne Umsatzsteuer, mit Einrichtung und einem angenommenen Personentag Betrieb rund 1.849 Euro (Stand 28. September 2026). Günstiger als eine API wird das in unserer Beispielrechnung erst ab rund 527 Millionen Token im Monat gegenüber dem proprietären GPT-6 Sol und ab rund 7 Milliarden Token gegenüber demselben Open-Weight-Modell bei einem EU-API-Anbieter.

Dahinter stehen drei getrennte Entscheidungen: welches Modell Sie einsetzen, wo es läuft und wer es betreibt. Dieser Beitrag geht sie der Reihe nach durch und rechnet am Ende vor, ab welchem Volumen sich ein gemieteter Server lohnt. Für gekaufte Hardware stellen Sie dieselbe Rechnung analog auf: Abschreibung statt Miete, dazu Strom und Betrieb.

Drei Entscheidungen, die gerne als eine verkauft werden

Wer „Open-Source-Modell” sagt, meint oft nur die erste von drei Fragen:

• Das Modell: Welche trainierten Gewichte setzen Sie ein, etwa gpt-oss von OpenAI, Mistral Small 4 von Mistral AI oder DeepSeek-V4-Pro? Der Hersteller veröffentlicht die Parameter zum Download; Sie sind nicht an dessen eigene API gebunden.
• Der Betriebsort: Läuft das Modell auf eigener Hardware im eigenen Haus, auf einem gemieteten GPU-Server, oder nutzen Sie es über einen Dienst, der das Open-Weight-Modell als API anbietet?
• Der Betrieb: Wer aktualisiert das Modell, wer prüft, ob die Ausgabequalität noch stimmt, wer ist erreichbar, wenn der Dienst nachts ausfällt?

Diese drei Fragen hängen zusammen, aber sie sind nicht dieselbe Frage. Ein Unternehmen kann ein Open-Weight-Modell über eine fremde API nutzen, ohne einen einzigen eigenen Server zu betreiben. Dann trifft es die erste Entscheidung und überlässt die Technik am Betriebsort und den Betrieb dem Anbieter. Wer dagegen selbst betreibt und nur die erste Entscheidung bewusst trifft, sieht die Kosten der dritten womöglich erst nach der Kaufentscheidung.

Die erste Entscheidung: welches Modell auf welchen Server passt

Ob ein Modell auf eine Grafikkarte passt, hängt an seiner Parameterzahl und an der Quantisierung, also daran, mit wie vielen Bit jeder Parameter gespeichert wird. Die folgende Tabelle gleicht die Speicherangaben aus den Modellkarten mit zwei Servern von Hetzner ab: dem GEX45 mit 24 GB und dem GEX131 mit 96 GB Grafikspeicher.

Modell	Parameter (davon aktiv je Token)	Quantisierung	Speicherangabe der Modellkarte	GEX45 (24 GB)	GEX131 (96 GB)	Lizenz
gpt-oss-20b	21 Mrd. (3,6 Mrd.)	MXFP4 (MoE-Gewichte)	läuft mit 16 GB Speicher	passt	passt	Apache 2.0
gpt-oss-120b	117 Mrd. (5,1 Mrd.)	MXFP4 (MoE-Gewichte)	läuft auf einer einzelnen 80-GB-GPU	passt nicht	passt	Apache 2.0
Mistral Small 4	119 Mrd. (6,5 Mrd.)	NVFP4	Startbeispiel der Modellkarte mit zwei GPUs; die Gewichtsdateien des NVFP4-Checkpoints umfassen rund 71 GB	passt nicht	vor dem Einsatz testen	Apache 2.0
DeepSeek-V4-Pro	1,6 Billionen (49 Mrd.)	FP4 und FP8 gemischt	1,6 Billionen Parameter belegen schon in 4 Bit rechnerisch rund 800 GB	passt nicht	passt nicht	MIT

Die Zuordnung „passt” bezieht sich nur auf den Speicher für die Gewichte. Der restliche Grafikspeicher bleibt für den Kontext der laufenden Anfragen; wie viele Anfragen der Server gleichzeitig beantwortet und wie schnell, sagt die Modellkarte nicht. Beide gpt-oss-Varianten stehen in der Modellbibliothek von Ollama, einem Werkzeug zum lokalen Betrieb von Sprachmodellen, für das n8n einen eigenen Node mitbringt.

Die Lizenzangaben in der Tabelle stammen von den Modellkarten. Was eine Lizenz im Einzelnen erlaubt, prüfen Sie vor dem produktiven Einsatz im Lizenztext selbst.

Die zweite Entscheidung: wo das Modell läuft

Für den Betriebsort gibt es im Kern drei Wege.

Ein gemieteter GPU-Server ist der Einstieg ohne Kapitalbindung. Hetzner vermietet den GEX131 mit einer RTX PRO 6000 Blackwell Max-Q und 96 GB Grafikspeicher für 1.199 Euro im Monat zuzüglich 599 Euro Einrichtungsgebühr, jeweils ohne Umsatzsteuer, an den Standorten FSN 1 in Deutschland und HEL 1 in Finnland. Den GEX45 mit RTX PRO 4000 Blackwell SFF und 24 GB bietet Hetzner für 214 Euro im Monat zuzüglich 209 Euro Einrichtung an, ebenfalls ohne Umsatzsteuer und nur am Standort HEL 1 (alle Angaben Stand 28. September 2026). Eine Mindestvertragslaufzeit gibt es laut Hetzner bei beiden Servern nicht (Kündigungsfrist: sofort). Einen gesonderten Posten für Strom weist die Produktseite neben Monatspreis, Stundenpreis und Einrichtung nicht aus. Sie installieren das Modell selbst, etwa über Ollama oder über vLLM, das Mistral in der Modellkarte zu Small 4 für den Produktivbetrieb empfiehlt.

Eine Plattform, die Open-Weight-Modelle als API anbietet, ist der Mittelweg: kein eigener Server, dafür ein Preis je verarbeitetem Token statt einer Monatspauschale. Der Cloud-Anbieter Scaleway bietet in der Region Paris zum Beispiel gpt-oss-120b für 0,15 Euro je Million Input-Token und 0,60 Euro je Million Output-Token an, ohne Steuern; Anfragen über die Batches API kosten die Hälfte (Stand 28. September 2026). Wo Ihre Daten dann verarbeitet werden, hängt von Region und Vertragsbedingungen des Anbieters ab, nicht von der Lizenz des Modells.

Eigene Hardware im eigenen Haus ist der dritte Weg: Kapitalbindung, Strom (zumindest im Leerlauf), Wartung und die Notwendigkeit, Ausfälle selbst zu beheben, fallen an, egal wie stark die Maschine ausgelastet ist. Prüfen Sie deshalb, ob Ihre Last den Server dauerhaft auslastet. Die Miete hat beim Einstieg einen Vorteil: Sie lässt sich wieder kündigen, ein gekaufter Server nicht.

Die dritte Entscheidung: wer das Modell betreibt

Ein gemieteter GPU-Server ist keine fertige Lösung, sondern eine leere Maschine. Sie brauchen jemanden, der Betriebssystem, Treiber und Modell installiert, Updates einspielt, die Ausgabequalität stichprobenartig prüft und im Fehlerfall reagiert. Das ist dieselbe Betriebsdisziplin, die wir für die Überwachung von n8n-Workflows beschrieben haben. Wer diese Rolle nicht im Haus besetzen kann oder will, riskiert Ausfallzeiten.

Wie viel Zeit das kostet, hängt an Ihrem Aufbau, an der Zahl der angebundenen Prozesse und daran, wie oft Sie das Modell wechseln. Die Rechnung unten setzt deshalb eine offen benannte Annahme an: einen Personentag (8 Stunden) im Monat zu einem internen Kostensatz von 75 Euro je Stunde, also 600 Euro im Monat. Setzen Sie Ihre eigenen Werte ein; die Rechnung zeigt, wie stark dieser Posten das Ergebnis bewegt.

Die Kostenrechnung: ab welchem Volumen Self-Hosting günstiger ist

Die Rechnung vergleicht die Monatskosten eines Servers mit den Token-Kosten einer API. Alle Beträge in Euro, ohne Umsatzsteuer, Preise Stand 28. September 2026.

Annahmen, offengelegt:

• Server: Monatsmiete laut Hetzner, die Einrichtungsgebühr auf zwölf Monate verteilt.
• Betrieb: 8 Stunden im Monat zu 75 Euro, also 600 Euro (siehe oben).
• Token-Verhältnis: drei Input-Token auf ein Output-Token. Ihr eigenes Verhältnis lesen Sie aus der Nutzungsübersicht Ihres API-Anbieters ab.
• Dollarpreise rechnen wir mit dem Euro-Referenzkurs der EZB vom 25. September 2026 um: 1 Euro = 1,1403 US-Dollar.

Monatskosten der Server:

Posten	GEX131 (96 GB)	GEX45 (24 GB)
Miete	1.199,00 €	214,00 €
Einrichtung, auf 12 Monate verteilt	49,92 €	17,42 €
Betrieb (Annahme)	600,00 €	600,00 €
Summe je Monat	1.848,92 €	831,42 €

Beim GEX45 macht der Betrieb rund 72 Prozent der Monatskosten aus, beim GEX131 rund 32 Prozent. Beim kleinen Server entscheidet also nicht die Miete, sondern die Arbeitszeit.

Mischpreise der APIs je Million Token (drei Teile Input, ein Teil Output):

• gpt-oss-120b bei Scaleway: (3 × 0,15 € + 0,60 €) ÷ 4 = 0,2625 € je Million Token.
• GPT-6 Sol bei OpenAI (Standardtarif, kurzer Kontext, 2 $ Input und 10 $ Output): (3 × 2 $ + 10 $) ÷ 4 = 4,00 $, umgerechnet rund 3,51 € je Million Token.

Kipp-Punkte (Monatskosten des Servers geteilt durch den Mischpreis; die Token pro Sekunde rechnen mit 30,4 Tagen à 24 Stunden, setzen also gleichmäßige Last rund um die Uhr voraus; fällt die Last nur in der Bürozeit an, liegt der Spitzenbedarf entsprechend höher):

Vergleich	Kipp-Punkt je Monat	entspricht im Dauerbetrieb (Input und Output zusammen)
GEX131 mit gpt-oss-120b gegen dasselbe Modell bei Scaleway	rund 7,0 Milliarden Token	rund 2.700 Token pro Sekunde
GEX131 mit gpt-oss-120b gegen GPT-6 Sol	rund 527 Millionen Token	rund 200 Token pro Sekunde
GEX45 mit gpt-oss-20b gegen gpt-oss-120b bei Scaleway	rund 3,2 Milliarden Token	rund 1.200 Token pro Sekunde

Was die Tabelle zeigt:

• Gegen dasselbe Open-Weight-Modell per API lohnt sich der eigene Server kaum. Rund 7 Milliarden Token im Monat sind ein sehr hohes Volumen, und über die Batches API zum halben Preis verdoppelt sich der Kipp-Punkt auf rund 14 Milliarden. Selbst ohne jeden Betriebsaufwand läge er bei rund 4,8 Milliarden Token. Beim GEX45 vergleicht die Rechnung zudem ein kleineres Modell mit einem größeren; unterhalb des Kipp-Punkts liefert die API also das größere Modell zum niedrigeren Preis.
• Gegen ein proprietäres Modell wie GPT-6 Sol liegt der Kipp-Punkt deutlich niedriger. 527 Millionen Token entsprechen bei angenommenen 4.000 Token je Vorgang (3.000 Input, 1.000 Output) rund 130.000 Vorgängen im Monat, etwa ausgelesenen Belegen oder beantworteten E-Mails. Wer die Verarbeitung bei OpenAI auf EU-Endpunkte legt, zahlt laut Preisliste 10 Prozent Aufschlag auf Modelle, die ab dem 5. März 2026 erschienen sind und diese Option unterstützen; der Kipp-Punkt sinkt dann auf rund 480 Millionen Token.
• Die 527 Millionen gelten nur, wenn gpt-oss-120b Ihre Aufgabe genauso gut löst wie GPT-6 Sol. Das ist die eigentliche Prüffrage. Gegenüber dem günstigeren GPT-6 Luna (0,10 $ Input, 0,50 $ Output je Million Token, Standardtarif, kurzer Kontext; Mischpreis 0,20 $, rund 0,18 €) kippt der GEX131 erst bei rund 10,5 Milliarden Token im Monat. Ob gpt-oss-120b für Ihre Aufgabe mit Sol oder mit Luna vergleichbar ist, zeigt nur Ihr eigener Test.
• So testen Sie vor der Entscheidung: Hetzner nennt für den GEX131 neben dem Monatspreis einen Stundenpreis von 1,92 Euro ohne Umsatzsteuer; die Einrichtungsgebühr von 599 Euro weist die Produktseite zusätzlich als einmaligen Posten aus (Stand 28. September 2026). Testen Sie zuerst die Qualität ohne eigenen Server: Lassen Sie gpt-oss-120b über die Scaleway-API und Ihr bisheriges API-Modell dieselben 50 bis 100 echten Vorgänge aus Ihrem Prozess bearbeiten. Reicht die Qualität, fahren Sie auf dem Mietserver einen Lasttest mit parallelen Anfragen und messen, wie viele Token pro Sekunde er dauerhaft verarbeitet, bevor Sie sich festlegen.

Vier Grenzen der Rechnung: Sie setzt voraus, dass ein einzelner Server das Volumen verarbeitet; die Kipp-Punkte gelten also nur, wenn der Server den Durchsatz aus der Tabelle schafft. Ob die Karten mit dem jeweiligen Modell den Durchsatz aus der Tabelle über den ganzen Tag schaffen, etwa eine RTX PRO 6000 mit gpt-oss-120b 200 oder gar 2.700 Token pro Sekunde, belegt diese Rechnung nicht; die Modellkarten von gpt-oss nennen dafür keinen Wert, und eine Herstellerangabe für diese Kombinationen aus Karte und Modell liegt uns nicht vor. Das messen Sie vor der Entscheidung in einem Test auf der Zielhardware. Sie rechnet ohne Rabatte für gecachte Eingaben, die OpenAI anbietet und die den API-Preis bei wiederholten Eingaben senken können. Sie rechnet GPT-6 Sol im Standardtarif; im Batch- und im Flex-Tarif kostet das Modell laut Preisliste die Hälfte, der Kipp-Punkt steigt dann auf rund 1,05 Milliarden Token im Monat, allerdings gibt es die EU-Datenresidenz für GPT-6 Sol nur im Standardtarif. Und sie setzt den Betrieb mit einem Personentag an; sind es zwei, steigen die Kipp-Punkte beim GEX131 um rund ein Drittel. Ändert sich ein Einzelpreis, verschiebt sich der Kipp-Punkt mit. Für die eigene Rechnung brauchen Sie nur Ihre monatliche Token-Zahl aus der n8n- oder API-Nutzung, Ihren Betriebsaufwand in Stunden und die beiden Vergleichspreise.

Wo Open-Weight-Modelle im Frühjahr 2026 mithielten, und wo nicht

Der Qualitätsabstand zwischen Open-Weight- und proprietären Modellen ist laut Artificial Analysis kleiner geworden, aber nicht verschwunden. Die folgenden Zahlen sind eine Momentaufnahme vom 30. April 2026, dem Datum der zugrunde liegenden Analyse; seitdem sind neue Modelle erschienen, bei OpenAI etwa die GPT-6-Reihe. Zu diesem Zeitpunkt lag GPT-5.5 im Intelligence Index bei 60 Punkten, Gemini 3.1 Pro Preview und Claude Opus 4.7 bei jeweils 57. Die stärksten Open-Weight-Modelle, Kimi K2.6 von Moonshot AI und MiMo V2.5 Pro von Xiaomi, lagen mit einem Indexwert von 54 nur 3 bis 6 Punkte dahinter.

Für die Kostenfrage wichtig: Die drei stärksten Open-Weight-Modelle dieser Auswertung haben laut Artificial Analysis jeweils rund eine Billion Parameter oder mehr. Auf die beiden oben gerechneten Server passen sie nicht. Wer ein Modell auf einer einzelnen Karte betreibt, arbeitet mit einer kleineren Klasse, und der Abstand zum Spitzenfeld ist für diese Klasse nicht aus den Indexwerten oben abzulesen.

Auf den schwierigsten Aufgaben war der Abstand zu diesem Zeitpunkt größer: Bei Humanity’s Last Exam, einem Testsatz für sehr anspruchsvolle Fachfragen, erreichten die besten Open-Weight-Modelle 34 bis 36 Prozent gegenüber 44 bis 45 Prozent bei den führenden proprietären Modellen. Der Intelligence Index bündelte in der damals gültigen Version 4.0.4 Reasoning, Wissen, Coding und Agenten-Aufgaben; einen eigenen Test für einfache Textextraktion, Klassifikation oder Übersetzung enthielt er nicht. Testen Sie ein Open-Weight-Modell für solche Aufgaben deshalb mit Ihren eigenen Dokumenten, bevor Sie entscheiden. Seit September 2026 rechnet Artificial Analysis mit einer neuen Indexversion; die Werte oben gelten für die Version vom April.

Wann Self-Hosting die falsche Wahl ist

Ein eigenes oder gemietetes Modell lohnt sich nicht automatisch, nur weil es möglich ist. Drei Situationen, in denen eine API die bessere Wahl bleibt:

• Das Volumen deckt die Fixkosten nicht. Liegt Ihr monatlicher Token-Verbrauch weit unter den Kipp-Punkten aus der Rechnung oben, zahlen Sie für einen Server, der die meiste Zeit ungenutzt läuft.
• Niemand im Haus kann den Betrieb übernehmen. Ohne die Betriebsdisziplin aus dem Abschnitt oben riskieren Sie auch mit einem günstigen Server Ausfallzeiten.
• Sparen ist der einzige Grund. Zwei gute Gründe für Self-Hosting sind, dass Daten das Haus aus Compliance- oder Vertragsgründen nicht verlassen dürfen, oder dass ein sehr hohes, dauerhaftes Volumen die Fixkosten deckt. Geht es nur um Kosten, zeigt die Rechnung oben: Dasselbe Open-Weight-Modell per API ist bis in den Milliardenbereich günstiger als der eigene Server.

Für den Mittelstand heißt das

Die Rechnung verschiebt die Frage: Nicht „Open Weight oder proprietär” entscheidet über die Kosten, sondern Betriebsort und Betrieb. Wer ein Open-Weight-Modell nutzen will, aber kein sehr hohes Volumen hat, bezieht es günstiger über eine API als über einen eigenen Server. Der eigene Server rechnet sich vor allem dort, wo er ein teures proprietäres Modell ersetzt und das kleinere Modell die Aufgabe nachweislich genauso gut erledigt.

In einer n8n-Automatisierung lässt sich das Modell austauschbar konfigurieren: n8n bringt Nodes für Sprachmodelle verschiedener Anbieter mit, darunter einen für lokal betriebene Modelle über Ollama. Ein Wechsel ist technisch ein Konfigurationsschritt; Prompts und Ausgabequalität müssen danach neu geprüft werden. Ob das in Ihrer bestehenden Automatisierung so einfach geht, prüft der Resilienz-Check zur Modellunabhängigkeit.

Prüfen Sie deshalb zuerst zwei Dinge, bevor Sie über ein eigenes Modell nachdenken: Wie hoch ist Ihr tatsächliches monatliches Token-Volumen, und gibt es einen Compliance- oder Vertragsgrund, der Daten im Haus hält? Können Sie keine der beiden Fragen mit einer Zahl oberhalb der Kipp-Punkte oder einem klaren Ja beantworten, bleibt die API die wirtschaftlichere Wahl.

FAQ

Ist ein Open-Weight-Modell automatisch DSGVO-konform? Die Lizenz eines Modells sagt nichts darüber, wo Ihre Daten verarbeitet werden. Das bestimmt der Betriebsort: Beim selbst betriebenen Modell ist es Ihr gemieteter oder eigener Server, bei einer API das Rechenzentrum des Anbieters. Wie sich Self-Hosting und Cloud-Betrieb datenschutzrechtlich unterscheiden, zeigt unser Beitrag am Beispiel von n8n.

Welches Open-Weight-Modell passt auf einen Server mit 24 oder 96 GB Grafikspeicher? Nach den Modellkarten auf Hugging Face läuft gpt-oss-20b (21 Milliarden Parameter, MoE-Gewichte MXFP4-quantisiert) mit 16 GB Speicher und passt damit auf eine 24-GB-Karte. gpt-oss-120b (117 Milliarden Parameter, ebenfalls MXFP4) läuft auf einer einzelnen 80-GB-GPU und passt damit auf eine 96-GB-Karte. Beide stehen unter der Apache-2.0-Lizenz. Die stärksten Open-Weight-Modelle laut Artificial Analysis (Stand April 2026) haben rund eine Billion Parameter und mehr und passen auf keine der beiden Karten.

Was heißt „Open Weight“ genau? Der Hersteller veröffentlicht die trainierten Parameter des Modells zum Download, sodass Sie es auf eigener oder gemieteter Hardware ausführen können. Das ist etwas anderes als klassische Open-Source-Software: Wie Sie das Modell nutzen, verändern und weitergeben dürfen, regelt die jeweilige Lizenz des Herstellers. Die prüfen Sie vor dem produktiven Einsatz selbst.

Ist ein Open-Weight-Modell genauso gut wie ein aktuelles Spitzenmodell? Im Gesamtindex von Artificial Analysis, der in der Version vom April 2026 Reasoning, Wissen, Coding und Agenten-Aufgaben bündelte, lagen die stärksten Open-Weight-Modelle am 30. April 2026 3 bis 6 Punkte hinter den Spitzenmodellen. Das ist eine Momentaufnahme, die sich mit jedem neuen Modell-Release verschiebt. Bei sehr schweren Fachfragen (Humanity’s Last Exam) war der Abstand mit 34 bis 36 Prozent gegenüber 44 bis 45 Prozent größer. Einen eigenen Test für einfache Extraktion oder Klassifikation enthielt der Index in dieser Version nicht; testen Sie das mit Ihren eigenen Dokumenten.

Ab wann lohnt sich ein eigener GPU-Server gegenüber einer API? Das hängt davon ab, welche API Sie sonst nutzen würden. In unserer Beispielrechnung mit Preisen vom 28. September 2026 und einem angenommenen Personentag Betrieb im Monat kostet ein gemieteter 96-GB-Server rund 1.849 Euro im Monat. Gegenüber GPT-6 Sol von OpenAI wird er ab rund 527 Millionen Token im Monat günstiger, gegenüber demselben Open-Weight-Modell gpt-oss-120b bei einem EU-API-Anbieter erst ab rund 7 Milliarden Token. Die 527 Millionen gelten nur, wenn das kleinere Modell für Ihre Aufgabe reicht und der Server Ihr Volumen verarbeitet.