Wie sich der Nutzen eines KI-Piloten messen lässt

Den ganzen Ablauf messen

Ich beginne beim gewünschten Ergebnis. Bei einer Offerte ist das ein geprüftes Dokument, das beim Kunden ankommt. Dazwischen liegen das Sammeln der Angaben, die Vorbereitung der Positionen, Rückfragen, Prüfung und Freigabe. Jeder dieser Schritte kann Zeit beanspruchen.

Auf das Abnahmeblatt kommen wenige konkrete Kriterien. Zum Beispiel: Wie lange dauert es vom vollständigen Eingang bis zum Versand? Wie viel Arbeitszeit braucht das Team dafür? Welche Korrekturen fallen an? Für jedes Kriterium haltet ihr fest, wer misst und welche Fälle in den Vergleich eingehen.

Vergleicht ähnliche Aufgaben. Eine einfache Folgeofferte und ein Projekt mit vielen Sonderpositionen brauchen unterschiedliche Arbeit. Solche Unterschiede gehören in die Aufzeichnung, damit ihr eine Veränderung später nachvollziehen könnt.

Beispiel: Von der Anfrage zur Offerte

Beispiel: Ein System übernimmt Kundendaten, sucht mögliche Positionen aus früheren Offerten und bereitet das Dokument vor. Die zuständige Person prüft Quellen, Preise und Sonderfälle. Danach gibt sie die Offerte frei.

Für diesen Pilot würdet ihr die bisherige und die neue Bearbeitung über vergleichbare Fälle protokollieren. Die Aufzeichnung beginnt beim Eingang der benötigten Angaben und endet beim Versand. Erfasst auch, wie oft ein Vorschlag geändert wird und wie viel Zeit die Kontrolle beansprucht.

Zusätzlich lässt sich beobachten, was aus der gewonnenen Zeit wird. Bearbeitet das Team liegen gebliebene Anfragen? Kommen Rückrufe früher? Entfällt bezahlte Zusatzarbeit? Diese Folgen zeigen, wie die Veränderung im restlichen Betrieb ankommt. Sie sind zunächst Messfragen; ein Ergebnis steht erst nach der Beobachtung fest.

Wann zählt ein Fall als erledigt?

Ein gespeicherter Entwurf zeigt, dass die Vorbereitung funktioniert hat. Für das Team ist die Offerte erst fertig, wenn sie geprüft und versandt wurde. Haltet deshalb fest, welches Ereignis ihr als Abschluss zählt. Schweigen nach einer Antwort oder ein grüner Status allein belegen noch kein brauchbares Ergebnis.

Neben der Zeit könnt ihr diese Punkte auf dem Abnahmeblatt erfassen:

• Nacharbeit: Welche Vorschläge werden korrigiert, wie viel Zeit braucht das pro Fall? Die Kontrolle gehört zur neuen Bearbeitungszeit.
• Fehler: Legt fest, was als Fehler zählt, etwa eine falsche Menge oder eine fehlende Position. Notiert vor und nach dem Pilot die fehlerhaften Fälle und die Zahl aller geprüften Fälle. Nur eine Fehlerzahl ohne diese Bezugsgrösse ist schwer vergleichbar.
• Ausnahmen: Welche Fälle brauchen zusätzliche Klärung? Haltet den Grund, die zuständige Person und den Ausgang fest.
• Nutzung: Welche passenden Vorgänge bearbeitet das Team mit der Anwendung? Wo arbeitet es weiterhin daran vorbei, und weshalb?

Eine geplante Freigabe durch einen Menschen ist Teil des Ablaufs. Erfasst ungeplante Eingriffe und zusätzliche Korrekturen getrennt davon. So bleibt erkennbar, ob die vereinbarte Arbeitsteilung funktioniert.

Wirkung in Franken und vollständige Kosten

Für eine vereinfachte Projektrechnung legen wir zuerst einen gemeinsamen Zeitraum für Nutzen und Kosten fest. Dann gilt: ROI in Prozent = (bewerteter Nutzen minus vollständige Projektkosten) geteilt durch vollständige Projektkosten, mal 100.

Zu den Kosten zählen Bau, Einführung, Betrieb und die interne Zeit für Prüfung und Betreuung. Auch Datenaufbereitung und Schulung können Aufwand verursachen. IBM beschreibt diese Betrachtung als Gesamtkosten über die Nutzungsdauer, einschliesslich direkter und indirekter Kosten.

Gewonnene Kapazität erhält ihren finanziellen Wert durch die konkrete Verwendung. Das können vermiedene Ausgaben oder zusätzlicher Deckungsbeitrag sein. Rechnet jede Wirkung genau einmal an. Verwendet ihr eine freie Stunde für einen zusätzlichen Auftrag, bewertet ihr den dadurch entstehenden Deckungsbeitrag. Diese Stunde zählt dann nicht nochmals als eingesparte Lohnzahlung. Haltet jede Annahme neben der Zahl fest.

Eine klare Entscheidung nach dem Pilot

Meine Entscheidungsregel: Vor dem Start müssen Ergebnis, Messung, Kosten und Verantwortliche benannt sein. Nach dem Pilot vergleicht ihr die Beobachtungen mit den vereinbarten Abnahmekriterien. Damit lässt sich konkret entscheiden, welcher Teil bereit für den Alltag ist und wo weitere Arbeit nötig ist.

Ein kurzer Pilot zeigt nur die Fälle, die tatsächlich vorkamen. Seltene Ausnahmen, saisonale Spitzen oder eine spätere Veränderung der Auslastung können offenbleiben. Auch die vereinfachte ROI-Rechnung bildet den Zeitpunkt einzelner Zahlungen nicht ab. Bei längeren Investitionen gehört das in eine genauere Rechnung.

Zum Mitnehmen: Schreibt neben jede erwartete Zeitersparnis, was ihr mit dieser Zeit erreichen wollt. Dann lässt sich später beides prüfen: die Veränderung im Ablauf und ihre Wirkung für den Betrieb.