Stopp das Token-Zählen – Zähle, was ausgeliefert wird

Steigende Kosten für KI-Agenten in der Softwareentwicklung machen einen Paradigmenwechsel bei der Kostenmessung notwendig.

KI-Agenten, die komplexe Aufgaben wie Planung, Code-Generierung, Testläufe und Fehlerkorrektur übernehmen, verbrauchen deutlich mehr Tokens als einfache Prompts. Dies treibt die Ausgaben bei token-basierten Preismodellen erheblich in die Höhe.

Unternehmen wie Uber berichten von stark gestiegenen monatlichen KI-Kosten pro Ingenieur. GitHub Copilot hat sein Preismodell auf verbrauchsbasierte AI Credits umgestellt.

Traditionelle Kontrollmechanismen wie Nutzungsbeschränkungen oder Sitzplatzlimits erweisen sich als unzureichend. Sie behindern wertschöpfende Workflows und optimieren die falsche Metrik – den Token-Verbrauch statt des tatsächlichen Ergebnisses.

Neue ergebnisorientierte Metriken

Eine aussagekräftigere Kennzahl ist die Kosten pro zusammengeführtem Pull Request. Sie setzt die gesamten KI-gestützten Entwicklungskosten in Relation zu den erfolgreich geprüften und integrierten Änderungen und berücksichtigt dabei auch Nacharbeiten.

Intelligente Modellzuordnung

Nicht jede Aufgabe benötigt das leistungsstärkste Frontier-Modell. Komplexe Planungsaufgaben können leistungsstarke Modelle erfordern, während Routineaufgaben wie Code-Generierung oder Refactoring an kostengünstigere Open-Weight-Modelle weitergeleitet werden sollten.

Ein intelligentes Gateway kann Anfragen nach Komplexität, Datensensitivität, Kosten und Latenz routen.

Hybride Infrastruktur und Owned Capacity

Der Wechsel zu eigener Rechenkapazität verändert die Kostenstruktur grundlegend. Während gemietete Inferenz bei jeder Nutzung teurer wird, sind bei eigener Kapazität die meisten Kosten im Voraus gebunden. Zusätzliche Nutzung wird damit wirtschaftlicher.

Dies bietet neben Kostenvorteilen auch bessere Kontrolle über sensible Daten und proprietären Code.

Praxisbeispiel HPE

HPE setzt eine hybride KI-Plattform ein, die Routine-Workloads auf Open-Weight-Modelle in der eigenen Private Cloud AI umleitet. Interne Analysen zeigen signifikante Einsparungen bei Token-Kosten für Routineaufgaben.

HPE empfiehlt die Verfolgung der Kosten pro aktivem Entwickler und der Kosten pro zusammengeführtem Pull Request.

Quelle: MIT Tech AI

FAQ

Warum ist das reine Zählen von Tokens problematisch?
Token-Kosten messen Verbrauch, nicht Wert. Sie unterscheiden nicht zwischen produktiver Arbeit und ineffizienten Schleifen oder Wiederholungen.

Was ist die empfohlene primäre Kennzahl?
Die Kosten pro zusammengeführtem Pull Request. Sie verbindet KI-Ausgaben direkt mit der tatsächlich ausgelieferten Softwarequalität.

Welchen Vorteil bietet der Einsatz von Open-Weight-Modellen auf eigener Hardware?
Neben niedrigeren variablen Kosten bei hoher Nutzung ermöglicht er die sichere Verarbeitung sensibler Daten innerhalb der Unternehmensgrenzen.