Es gibt zwei Arten, die Kosten einer KI-Belegschaft falsch einzuschätzen. Die erste besteht darin, alles über das leistungsfähigste verfügbare Modell zu leiten – nach der Logik, dass man Intelligenz einkauft und diese von höchster Qualität sein sollte. Die zweite besteht darin, auf ein günstigeres Modell herunterzustufen, sobald die Rechnung unangenehm wird, ein paar Beispielanrufe anzuhören, zu befinden, dass es gut klingt, und zur Tagesordnung überzugehen.
Beides ist Rätselraten. Im ersten Fall zahlt man zu viel für Arbeit, die nie echtes Frontier-Reasoning benötigt hat, im zweiten gibt man stillschweigend Umsatz auf, den niemand gemessen hat – im Tausch gegen Einsparungen, die leichter sichtbar sind. Kein Team weiß, was ein einzelnes Gespräch kostet oder welchen zusätzlichen Wert der nächste in ein Modell investierte Dollar tatsächlich bringt.
Die nützliche Frage lautet nicht „wie geben wir weniger für Modelle aus“, sondern „was ist die günstigste Konfiguration, die weiterhin die Ergebnisse liefert, an denen wir gemessen werden“.
In diesem Beitrag gehen wir die drei wichtigsten Hebel der HappyRobot-Plattform durch, mit denen Sie eine messbare Antwort auf diese Frage erhalten. Erstens: Eine deterministische Schicht nimmt das Modell überall dort vollständig aus der Schleife, wo die Arbeit eindeutig ist. Zweitens: Die Modellauswahl erfolgt pro Node und hilft Ihnen, die Intelligenzverteilung zu optimieren. Und drittens: A/B-Testing-Experimente helfen Ihnen, anhand echter Produktionsdaten zu entscheiden, welches Modell wohin gehört. Gehen wir die Hebel einzeln durch.
Die Modularität von Workflows ist ein Vorteil
Auf der HappyRobot-Plattform sind workflows eine Mischung aus agentischer KI und deterministischer Logik. Der agentische Teil ist das Reasoning: ein Sprach- oder Text-agent, der das Gespräch führt, sowie KI-Nodes, die klassifizieren, extrahieren oder generieren. Der deterministische Teil ist alles, was jedes Mal identisch und zuverlässig ablaufen muss: Aufrufe in Ihre Systems of Record, Datenvalidierung, bedingte Verzweigungen, Schleifen, Wiederholungen, Eskalationsregeln usw. – ausgedrückt als Nodes im workflow statt als Anweisungen in einem Prompt. Agenten entscheiden, was gesagt wird. Die Workflow-Logik definiert die Schritte, Bedingungen und Grenzen, innerhalb derer sie agieren, unabhängig davon, wie sich das Gespräch entwickelt.
Nehmen wir als Beispiel einen workflow für das Forderungsmanagement – ein agent ruft einen Kunden wegen einer überfälligen Rechnung an. Als Geschäftsprozess klingt das nach einer einzigen Aufgabe. Als Ausführungsgraph sind es rund sechs Nodes:
- [Deterministisch] Konto abrufen: Ein Action-Node holt Rechnungshistorie und bisheriges Zahlungsverhalten aus der Kundendatenbank.
- [Agentisch] Situation klassifizieren: Ein AI-Classify-Node liest den bisherigen E-Mail-Verlauf und ordnet das Konto ein: echter Streitfall, Liquiditätsverzögerung, Abrechnungsfehler, keine Reaktion.
- [Agentisch] Das Gespräch führen: Ein Voice-agent ruft an, behandelt den Einwand, beurteilt, ob der Kunde hinhält oder tatsächlich in Schwierigkeiten steckt, und verhandelt eine Zahlungszusage.
- [Deterministisch] Gegen Richtlinien prüfen: Ein Condition-Node überprüft, ob der zugesagte Betrag und die Konditionen innerhalb der Finanzrichtlinien des Unternehmens liegen.
- [Agentisch] Die Zusage extrahieren: Ein AI-Extract-Node entnimmt dem Transkript das zugesagte Datum, den Betrag und die Zahlungsart.
- [Deterministisch] Zurückschreiben: Ein Action-Node aktualisiert die Kundendatenbank und plant die Nachverfolgung.
Nur einer dieser Schritte (Schritt 3) ist offene Arbeit, bei der besseres Urteilsvermögen sich in Geld übersetzt und ein leistungsfähigeres Modell seinen Aufpreis verdient: bessere Einschätzung des Zögerns, besser getimtes Angebot, höhere Zusagequote. Die Schritte 2 und 5 sind begrenzt und wiederholbar – die richtige Antwort ist die richtige Antwort, und ein Frontier-Modell bringt hier nur geringere Latenz und höhere Kosten. Die Schritte 1, 4 und 6 benötigen überhaupt kein Modell.
Rein Prompt-basierte Agenten reduzieren solche Ausführungs-workflows auf ein einziges Modell, das alles erledigt – was bedeutet, Frontier-Preise für Aufgaben wie das Extrahieren eines Datums aus einem Transkript zu zahlen. Ein Anweisungssatz, ein Modell, ein Preis, unterschiedslos angewendet auf Schritte, deren Ökonomie nichts gemeinsam hat. Die Zerlegung des Prozesses in Nodes macht jeden Schritt einzeln konfigurierbar, bepreisbar und messbar – und genau dann können Sie die folgenden Hebel nutzen.
Erstens: das Modell gar nicht erst aufrufen
Die Schritte 1, 4 und 6 im obigen workflow zum Forderungsmanagement sind rein deterministisch – Abruf, Validierung, Rückschreiben – und in den meisten realen workflows überwiegen sie gegenüber den Reasoning-Schritten. Für deterministische Logikschritte rufen Sie überhaupt kein Modell auf. Ein Condition-Node ruft kein Modell auf. Eine vorlagenbasierte Nachricht in einer Textsitzung wird unverändert zugestellt und umgeht das LLM vollständig. Ein Loop-Node, der zehntausend Konten durchläuft, erzeugt zehntausend deterministische Ausführungen, nicht zehntausend Modellaufrufe. All das geschieht nicht aus Sparsamkeit; deterministische Logik ist schlicht besser für Vorhersagbarkeit und Zuverlässigkeit, sodass Reasoning wirklich nur für Arbeit eingesetzt wird, die tatsächlich mehrdeutig ist. Determinismus ist zugleich günstiger und zuverlässiger.
Zweitens: die aufgerufenen Modelle passend dimensionieren
Bleiben die Schritte 2, 3 und 5, die KI beinhalten – und nur Schritt 3 erfordert echtes Urteilsvermögen. Auf der HappyRobot-Plattform wird die Modellauswahl pro KI-Node konfiguriert. Jeder KI-Node hat sein eigenes Modellfeld, ebenso jeder Prompt-Node, der einen Sprach- oder Text-agent steuert – aus einem gemeinsamen Katalog mit OpenAI, Anthropic, Google, Mistral, xAI und OpenRouter. Die Standardauswahl pro Node entspricht stets dem kosteneffizientesten Modell mit niedriger Latenz für diesen konkreten Workflow-Schritt. So kann Schritt 3 auf einem Frontier-Modell laufen, während die Schritte 2 und 5 auf etwas laufen, das einen Bruchteil kostet – innerhalb eines workflows, im selben Anruf.
Dasselbe Prinzip gilt auch für komplexe Prozesse mit einem zentralen Orchestrator-agent und vielen Sub-Agenten oder Sub-workflows wie Identitätsprüfung, Zahlungsabwicklung oder Eskalation – jeweils vom übergeordneten Prozess aufgerufen und unabhängig konfiguriert. Der workflow, der die Verifizierung ausführt, muss nicht auf demselben Modell laufen wie das Gespräch. Anish von A16Z nennt das ‚allocation by upside‘. Als Beispiel führt er HappyRobot an: ‚Frontier- und proprietäre Modelle treiben Vertrieb und Forderungsmanagement an; Open-Weight-Modelle treiben Operations und Support an.‘ Das Ziel ist keine kleinere Modellrechnung. Es geht darum, nur dort in Urteilsvermögen zu investieren, wo Urteilsvermögen sich in Geld übersetzt.
Experimente durchführen und das Ergebnis entscheiden lassen
Je komplexer und nuancierter workflows werden, desto mehr bleibt die Entscheidung, ob ein agentischer Schritt wirklich ein Frontier-Modell braucht, ein reiner „Vibe-Check“ – bis sie tatsächlich an der Geschäftskennzahl getestet wird. Die HappyRobot-Plattform bietet A/B-Testing-Experimente, mit denen Nutzende die Workflow-Version fixieren und Konfigurations-Overrides auf ausgewählte Nodes anwenden können. Zurück zu unserem Beispiel aus dem Forderungsmanagement: Sie können die Wirkung eines LLM-Wechsels allein in Schritt 3 testen, während alles andere identisch bleibt. Der Traffic wird auf Ebene des einzelnen Gesprächs aufgeteilt, die Zuordnung bleibt für dessen Dauer bestehen, und zurückgeschrieben wird das geschäftliche Ergebnis: Zahlung zugesagt, Ladung gebucht, Termin vereinbart. Die Resultate werden als relativer Uplift mit Konfidenzintervallen und p-Werten je Variante ausgegeben.
Sie können außerdem die Kosten des Laufs selbst messen, wobei der Credit-Verbrauch nach Ereignistyp aufgeschlüsselt wird: Speech-to-Text (STT), Text-to-Speech (TTS) und LLM. Die LLM-Zeile zeigt eine Aufschlüsselung pro Node und die Kosten je einzelnem Modell, sodass Sie Ausgaben pro Gespräch zuordnen können. Zusammen mit den relativen Uplifts aus den Experimenten erhalten Sie einen gemessenen Uplift gegenüber gemessenen Kosten – auf demselben Produktions-Traffic, für die eine vorgenommene Node-Änderung. Manchmal ist das günstigere Modell im Ergebnis statistisch nicht unterscheidbar und die Einsparung ist geschenkt. Manchmal verdient das Frontier-Modell seinen Aufpreis um ein Vielfaches, und der richtige Schritt ist, mehr für diesen Node auszugeben – eine Erkenntnis, auf die Sie nur reagieren können, wenn Sie wissen, um welchen Node es geht. All das lässt sich nicht wissen, ohne es auszuführen, und Sie können es nicht ausführen, wenn Ihre Plattform Sie an einen einzigen Anbieter bindet.
Warum sich das summiert
Deterministische Logik nimmt das Modell überall dort vollständig aus dem Spiel, wo die Arbeit eindeutig ist. Die Modellauswahl pro Knoten platziert anschließend das richtige Maß an Intelligenz auf jedem verbleibenden Schritt: Schritte, die echtes Urteilsvermögen erfordern, erhalten Frontier-Modelle, während die übrigen Knoten problemlos mit Modellen auskommen, die nur einen Bruchteil kosten. Experimente machen aus beidem statt Meinungen Messwerte. Der dritte Hebel ist das, was die ersten beiden erst sicher entscheidbar macht. Ohne eine Möglichkeit, das Ergebnis zu messen, ist jeder Schritt hin zu einem günstigeren Modell oder einem deterministischen Zweig ein kleiner Vertrauensakt – vorsichtige Teams hören deshalb früh auf und verschenken einen Großteil der möglichen Einsparungen. Mit Messung können Sie offensiv vorgehen, denn eine Konfiguration, die Sie unbemerkt Conversions kostet, zeigt sich innerhalb weniger Wochen als Zahl statt nie. Und jede Konfiguration, die einen Test übersteht, wird zur Kontrollgröße für den nächsten – so summieren sich die Gewinne schnell.
Damit sind wir wieder bei der Frage, mit der dieser Beitrag begann – jetzt mit Antworten. Nicht „wie hoch ist unsere Modellrechnung“, sondern „was kostet uns eine eingezogene Rechnung“ – pro gebuchter Ladung, pro gelöstem Ticket, pro dem, wofür das Unternehmen bezahlt wird. Führen Sie die Experimentierschleife aus, und diese Kostenzahl sinkt, während die Qualität steigt. Beides gleichzeitig – und mit Absicht.
