LLM-Kosten realistisch kalkulieren

Die Preisliste eines Modellanbieters wirkt harmlos, solange man sie mit einer einzelnen Anfrage multipliziert. Im Produktivbetrieb entstehen die Kosten aber woanders: im Kontext, den man bei jeder Anfrage mitschickt, in den Wiederholungen, wenn das Ergebnis nicht passt, und in den Hintergrundprozessen, die niemand zählt.

Die vier Kostentreiber

1. 1Eingabelänge: Wer bei jeder Anfrage ein komplettes Handbuch mitschickt, zahlt das Handbuch bei jeder Anfrage.
2. 2Ausgabelänge: Ausgaben sind in der Regel deutlich teurer als Eingaben. Kurze, strukturierte Antworten sind auch ökonomisch die bessere Wahl.
3. 3Wiederholungen: Jeder Fehlversuch, jede Validierungsschleife und jeder automatische Neuversuch zählt voll.
4. 4Unsichtbarer Verbrauch: Testläufe, Hintergrundjobs und Entwicklungsumgebungen laufen oft ungezählt mit.

Eine Beispielrechnung

Nehmen wir eine Dokumentenverarbeitung: 500 Dokumente pro Tag, je etwa 3.000 Zeichen Eingabe zuzüglich 2.000 Zeichen Anweisung und Beispielen, dazu rund 400 Zeichen strukturierte Ausgabe. Mit einer Fehlversuchsquote von zehn Prozent ergeben sich rund 550 Aufrufe täglich. Entscheidend ist nicht der genaue Betrag, sondern das Verhältnis: Die mitgeschickten Beispiele machen hier vierzig Prozent der Eingabemenge aus – und sind der erste Hebel.

Budgetgrenzen gehören ins System

Jede Anwendung, die Modelle aufruft, braucht harte Grenzen: pro Nutzer, pro Mandant und pro Tag. Ohne diese Grenzen ist eine Endlosschleife in einem Hintergrundjob kein Bug, sondern eine Rechnung. Dazu gehört eine Protokollierung, die pro Aufruf Zweck, Modell und Verbrauch festhält – sonst lässt sich hinterher nicht sagen, welcher Anwendungsfall das Budget verbraucht hat.

Als Faustregel gilt: Wer die Kosten pro erfolgreich abgeschlossenem Vorgang nicht beziffern kann, betreibt keine Automatisierung, sondern ein Experiment. Diese eine Kennzahl – Kosten je fertigem Vorgang – gehört von Beginn an auf das Dashboard.