KI-Produktentwicklung: Von der Demo zum zuverlässigen System

Eine KI-Funktion kann in einer kontrollierten Demo überzeugen und im echten Kundenalltag trotzdem scheitern. Nutzer machen unvollständige Angaben, unterbrechen Gespräche, laden unerwartete Dateien hoch oder stellen Anfragen außerhalb ihrer Berechtigungen. Modelle liefern gelegentlich plausible, aber falsche Antworten, verändern sich nach Updates oder fallen zeitweise aus.

KI-Produktentwicklung bedeutet, unsichere Modellkomponenten in eine zuverlässige Softwarearchitektur einzubinden. Das Ziel ist ein Produkt, das eine reale Aufgabe sicher, messbar und wirtschaftlich erfüllt – nicht nur eine überzeugend klingende Modellantwort.

Dieser Leitfaden richtet sich an CTOs, Produktverantwortliche und Engineering-Teams, die KI-gestützte SaaS-Produkte, Sprachdialoge oder spezialisierte Workflows entwickeln.

Mit der Nutzeraufgabe und den Fehlerfolgen beginnen

Bevor Sie ein Modell auswählen, definieren Sie, was Anwender erreichen sollen und woran ein erfolgreiches Ergebnis erkennbar ist.

Ein interner Wissensassistent muss möglicherweise relevante Informationen mit Quellenbezug finden. Eine Dokumentenverarbeitung muss bestimmte Felder korrekt extrahieren. Ein Sprachassistent soll eine begrenzte Aufgabe trotz Unterbrechungen zuverlässig abschließen.

Die Folgen von Fehlern unterscheiden sich. Ein Vorschlag, den ein Mensch prüft, ist etwas anderes als eine automatische Aktion, die Kundendaten ändert, Nachrichten versendet oder eine Personaleinschätzung beeinflusst.

Dokumentieren Sie Eingaben, zulässige Ergebnisse, mögliche Seiteneffekte, akzeptable Unsicherheit und Eskalationswege. Ist der eigentliche Kundennutzen noch unklar, kann ein gezieltes MVP-Experiment sinnvoller sein als eine große KI-Plattform.

Modell und Anwendungsberechtigung strikt trennen

Ein Sprachmodell sollte nicht selbstständig entscheiden können, welche Daten ein Nutzer sehen oder welchen Zustand es verändern darf.

Die Anwendung kontrolliert Identitäten, Berechtigungen, Geschäftsregeln, Werkzeuge, Datenhaltung und Transaktionen. Ein Modell kann eine strukturierte Aktion vorschlagen; der Server muss sie aber anhand der angemeldeten Person und des tatsächlichen Geschäftszustands prüfen.

Ein Interviewassistent könnte beispielsweise eine Einladung vorschlagen. Die Anwendung muss dann prüfen, wer die Stelle verwaltet, ob die Kontaktaufnahme erlaubt ist, ob eine Einwilligung oder andere Berechtigung vorliegt und ob die Einladung bereits verschickt wurde.

Verwenden Sie begrenzte Tools mit definierten Schemata, Eingabevalidierung und einer Liste ausdrücklich erlaubter Aktionen. Ein Werkzeug zum Erstellen zulässiger Entwürfe ist sicherer zu kontrollieren als unbeschränkter Datenbank- oder Netzwerkzugriff.

Ein sorgfältiger Systemprompt hilft bei der Steuerung, ersetzt aber keine serverseitigen Berechtigungen.

Abgerufene Inhalte als nicht vertrauenswürdig behandeln

Prompt Injection ist ein Sicherheitsproblem des Produkts und nicht nur eine Frage guter Formulierungen.

Eine Webseite, ein Dokument, ein Lebenslauf oder eine Tool-Antwort kann Anweisungen enthalten, nach denen das Modell Sicherheitsregeln ignorieren, geheime Daten ausgeben oder Aktionen ausführen soll. Solche Inhalte sind Aufgabendaten und keine neue Instanz mit Befehlsgewalt.

Trennen Sie vertrauenswürdige Anwendungsanweisungen von externen Quellen. Begrenzen Sie Werkzeuge, prüfen Sie Berechtigungen vor dem Datenabruf und erneut vor Aktionen mit Auswirkungen, und reduzieren Sie sensible Daten im Modellkontext.

Testen Sie absichtliche und versehentliche Anweisungstexte in typischen Dokumenten. Änderungen an Datensätzen, Nachrichtenausgaben und sensible Abrufe sollten nachvollziehbar protokolliert werden.

Das gilt auch für Retrieval-Augmented Generation: Ein gefundener Abschnitt kann eine Antwort unterstützen, beweist aber weder die Richtigkeit der Quelle noch die Leseberechtigung des aktuellen Nutzers.

Strukturierte Ergebnisse prüfen und Fehler behandeln

Viele Anwendungen benötigen verlässliche Objekte statt frei formulierter Texte: Rechnungsfelder, Supportkategorien, Interviewfeedback oder vorgeschlagene Bearbeitungsschritte.

Definieren Sie ein Schema, Pflichtfelder, erlaubte Werte und die Bedeutung fehlender Angaben. Validieren Sie die Modellantwort im Anwendungscode. Ungültige Antworten müssen kontrolliert abgewiesen oder mit begrenzten Wiederholungen behandelt werden.

Ein gültiges JSON-Objekt kann dennoch eine erfundene Rechnungsnummer, unberechtigte Qualifikationsbehauptung oder ein falsches Datum enthalten. Prüfen Sie deshalb auch den Inhalt anhand der Quelle und der Geschäftsregeln.

Bei finanziellen, arbeitsrechtlichen oder anderen folgenreichen Aktionen sind je nach Risiko eine ausdrückliche Bestätigung oder qualifizierte menschliche Prüfung erforderlich.

Unsichere Modelltexte dürfen nicht unbemerkt in verbindliche Geschäftsdaten umgewandelt werden. Bewahren Sie den Ursprung wichtiger Aussagen auf.

Vor der Skalierung ein Evaluationssystem aufbauen

Einige gelungene Prompts beweisen keine Produktionsqualität.

Erstellen Sie repräsentative Testfälle mit normalen Aufgaben, mehrdeutigen Eingaben, fehlenden Daten, bösartigen Inhalten und ausgefallenen Abhängigkeiten. Dazu gehören Fälle, in denen die richtige Reaktion eine Rückfrage oder das Verweigern einer unzulässigen Aktion ist.

Bewerten Sie verschiedene Dimensionen: inhaltliche Richtigkeit, Aufgabenerfüllung, Quellenbezug, Schemaeinhaltung, Latenz, Kosten, Sicherheit und Verständlichkeit. Bei fachlich anspruchsvollen Aufgaben ist unabhängige Domänenprüfung wichtig.

Versionieren Sie Prompts, Modellauswahl, Evaluationsdaten und relevante Retrieval-Einstellungen. Vergleichen Sie Änderungen mit einer stabilen Ausgangslage, bevor mehr Nutzer betroffen sind.

Untersuchen Sie Fehlerklassen, statt schwierige Fälle in einem einzigen Durchschnittswert zu verstecken. Eine „Genauigkeit“ ohne klar definierte Aufgabe und transparente Messmethode ist wenig aussagekräftig.

Modellunsicherheit und Rückfallverhalten gestalten

Sprachmodelle können Fragen missverstehen, wichtige Details auslassen oder nicht belegte Inhalte überzeugend formulieren.

Machen Sie Unsicherheit sichtbar, wo sie Entscheidungen beeinflusst. Eine Oberfläche kann Quellen, fehlende Angaben, Einschränkungen oder den Bedarf menschlicher Prüfung anzeigen. Vermeiden Sie dekorative Prozentwerte, die nicht mit einer geeigneten Evaluation kalibriert wurden.

Definieren Sie das Verhalten bei Timeouts, Anbieterfehlern, ungültigen Ausgaben und widersprüchlichen Ergebnissen. Die Anwendung kann einen Teilstatus speichern, die Arbeit später wiederaufnehmen oder an einen Menschen übergeben.

Unterscheiden Sie „angenommen“, „in Bearbeitung“, „Prüfung nötig“, „abgeschlossen“ und „fehlgeschlagen“. Eine zurückgegebene Modellantwort ist noch kein Nachweis, dass die Geschäftsaufgabe erfolgreich erledigt wurde.

Kontrolliertes Fehlverhalten ist eine bewusste Produktentscheidung und sollte nicht erst nach Kundenbeschwerden entwickelt werden.

Sprachdialoge haben besondere technische Anforderungen

Echtzeit-Sprachsysteme verbinden Mikrofonberechtigungen, Audiotransport, Spracherkennung, Gesprächswechsel, Modellverarbeitung, Sprachausgabe und Wiedergabe.

Eine Demo findet möglicherweise bei ruhiger Umgebung und stabiler Verbindung statt. Im Alltag kommen Hintergrundgeräusche, Unterbrechungen, stummgeschaltete Geräte, Browserunterschiede, erneute Verbindungen und unvollständige Transkripte hinzu.

Messen Sie die Zeit bis zu einer nützlichen Antwort, den Umgang mit Unterbrechungen, Transkriptionsfehler, überlappende Sprache und Recovery nach Verbindungsverlust. Eine schnelle Modellantwort hilft wenig, wenn die Audioübertragung langsam oder die Sprachwiedergabe unnatürlich verzögert ist.

Wenn eine mündliche Antwort in eine Bewertung eingeht, müssen Aufnahme, Transkript und Interpretation unterscheidbar bleiben. Technische Probleme dürfen nicht unbemerkt zu negativen Urteilen über Nutzer oder Kandidaten werden.

Bieten Sie geeignete Alternativen, wo dies möglich oder für Barrierefreiheit notwendig ist.

Datenschutz und Datenlebenszyklus bewusst planen

KI-Dienste können Dokumente, Unterhaltungen, Aufnahmen und vertrauliche Kundendaten verarbeiten. Legen Sie fest, was für die konkrete Aufgabe wirklich benötigt wird und welche Informationen die eigene Systemgrenze verlassen.

Dokumentieren Sie Datenflüsse zwischen Frontend, Backend, Modellanbieter, Speicher, Monitoring und gegebenenfalls Sprach- oder Retrievaldiensten. Prüfen Sie Rechtsgrundlagen, Einwilligungen, Aufbewahrung, Löschung, Auftragsverarbeitung, Berechtigungen und internationale Datenübermittlungen.

Trennen Sie Entwicklungs- und Produktivdaten. Schreiben Sie vollständige Prompts, Aufnahmen oder personenbezogene Informationen nicht unkontrolliert in Logs. Schützen Sie Speicher und privilegierte Zugriffe und stellen Sie sicher, dass Nutzer nur berechtigte Daten erhalten.

Bei einem Anbieterwechsel müssen technische und vertragliche Annahmen erneut geprüft werden. Der Zugang zu einer Modell-API erlaubt nicht automatisch jede spätere Wiederverwendung von Kundendaten.

KI-Kosten sind eine Architekturentscheidung

Ein KI-Produkt verursacht möglicherweise Tokenverbrauch, Sprachminuten, Retrieval-Abfragen, Tool-Aufrufe, Speicherung, Datentransfer, Wiederholungen, Monitoring und Kosten menschlicher Prüfung.

Ordnen Sie Kosten dem abgeschlossenen, nützlichen Workflow zu: beispielsweise einer korrekten Analyse, einem abgeschlossenen Interview, einem bearbeiteten Dokument oder einer gelösten Supportanfrage. Auch Fehler und abgebrochene Sitzungen verbrauchen Ressourcen.

Setzen Sie angemessene Grenzen für Eingabe- und Ausgabelänge, Parallelität, Laufzeit und Wiederholungen. Aktionen, die nicht doppelt stattfinden dürfen, brauchen Idempotenz. Zwischenspeicherung kann sinnvoll sein, wenn Aktualität und Datentrennung berücksichtigt werden.

Ein günstigeres Modell kann für Extraktion ausreichen und bei komplexen Entscheidungen versagen. Prüfen Sie Qualität und Fehler anhand repräsentativer Aufgaben, statt ausschließlich Tokenpreise zu vergleichen.

Eine umfassendere Betrachtung bietet unser Leitfaden zu SaaS-Entwicklungskosten.

Komplexe Abläufe als überprüfbare Zustände organisieren

Wenn mehrere Modelle oder Tools zusammenarbeiten, sollte der Geschäftsprozess nicht allein darauf beruhen, dass das Sprachmodell sämtliche Schritte aus dem Gesprächskontext erinnert.

Speichern Sie Fortschritt in der Anwendung: Aufgaben, Berechtigungen, Eingabeversionen, abgeschlossene Schritte, Wiederholungsversuche und ausstehende menschliche Freigaben.

Ein Interviewfeedback könnte beispielsweise von der genehmigten Aufnahme über die Transkription und Fragenzuordnung zur Analyse, Prüfung und Freigabe führen. Jede Stufe benötigt definierte Eingaben, Ergebnisse und Fehlerregeln.

Asynchrone Queues können längere Verarbeitung unterstützen, benötigen aber Monitoring, Timeouts, Wiederholungsgrenzen und Behandlung dauerhaft fehlschlagender Jobs. Doppelte Nachrichten dürfen keine doppelten externen Aktionen auslösen.

Zustandsmaschinen und Audit-Protokolle wirken weniger spektakulär als „autonome Agenten“, sind aber wichtige Grundlagen für berechenbare Geschäftsanwendungen.

Beispiel: Überzeugende Dialogdemo, fehlerhafte Bewertung

Ein sprachbasierter KI-Assistent stellt in einer Demo interessante Fragen. In einer echten Sitzung unterbricht der Kandidat, die Verbindung fällt kurz aus und ein Teil der Antwort wird im Transkript der falschen Frage zugeordnet.

Das Modell erzeugt trotzdem eine sprachlich überzeugende, aber nicht ausreichend belegte Zusammenfassung. Speichert das Produkt sie ohne Originalbezug oder Prüfung, erscheinen Verarbeitungsfehler als Tatsachen.

Ein robusterer Prozess erhält Zeitmarken, erfasst Unterbrechungen und Verbindungsereignisse, trennt Transkriptionssicherheit von fachlicher Bewertung und ermöglicht qualifizierten Reviewern den Zugriff auf Originalnachweise. Eine unvollständige Sitzung kann für eine erneute Prüfung markiert werden.

Das Beispiel ist hypothetisch und behauptet keine Erfahrungen eines bestimmten Kunden.

Was ScaleTwice über Produktgrenzen zeigt

Die Arbeit von Onectus an ScaleTwice bietet einen konkreten Engineering-Kontext für rollenspezifische Fragenplanung, Sprachinteraktion, Transkription, strukturiertes Feedback und kandidatenseitige Abläufe.

Dabei treffen verschiedene Bedingungen aufeinander: vergleichbare Fragen, Dialoglatenz, Browserverhalten, nachvollziehbare Nachweise, Datenschutz, Modellkosten und die Wiederherstellung von Sitzungszustand.

Diese Erfahrung belegt nicht automatisch allgemein gültige Bewertungsgenauigkeit, diskriminierungsfreie Ergebnisse oder einen garantierten Vorteil für jeden Arbeitgeber. Funktionsumfang und Produktionsreife müssen für den jeweiligen Einsatz geprüft werden.

Die übertragbare Erkenntnis lautet: Das Modell ist eine Komponente innerhalb einer verantworteten Anwendungsarchitektur – nicht das gesamte Produkt.

Vom Prototyp zu einer belastbaren Anwendung

Phase eins – Aufgabe definieren: Nutzer, gewünschtes Ergebnis, Entscheidungsgrenzen, Fehlerfolgen und Erfolgskriterien beschreiben.

Phase zwei – schwierige Annahmen testen: Modellverhalten, Retrieval-Qualität, Sprachtiming oder kritische Schnittstellen anhand geeigneter Beispiele prüfen.

Phase drei – kontrollierten Workflow entwickeln: Berechtigungen, validierte Ergebnisse, Zustandswechsel, Recovery, Auditierbarkeit und angemessene menschliche Kontrolle umsetzen.

Phase vier – evaluieren: Regressionen und Angriffsszenarien testen; Qualität, Antwortzeit und Kosten unter realistischen Bedingungen untersuchen.

Phase fünf – schrittweise einführen: Nutzerergebnisse und Fehlerarten beobachten, Eingriffe ermöglichen und erst bei ausreichender Evidenz ausweiten.

Die Phasen sind technische Entscheidungspunkte und keine Zusage eines festen Zeitplans.

Häufig gestellte Fragen

Kann eine funktionierende KI-Demo direkt veröffentlicht werden?

Meist braucht es vorher weitere Prüfungen. Produktionsanwendungen benötigen verlässliche Berechtigungen, Fehlerbehandlung, Monitoring, Evaluation, Datenschutz und Wiederherstellungsverfahren.

Dürfen KI-Agenten selbstständig Aktionen ausführen?

Nur innerhalb ausdrücklich definierter und technisch erzwungener Berechtigungs- und Risikogrenzen. Sensible oder irreversible Aktionen können menschliche Kontrolle oder ausdrückliche Bestätigung erfordern. Ein Prompt reicht als Schutz nicht aus.

Wie misst man die Qualität einer KI-Funktion?

An der tatsächlichen Aufgabe: korrekte Ergebnisse, Quellenbezug, Verständlichkeit, Sicherheitsvorfälle, Latenz und Kosten. Kontrollierte Evaluation sollte durch reales Feedback und gegebenenfalls fachliche menschliche Prüfung ergänzt werden.

Erst Engineering macht aus KI ein Produkt

Erfolgreiche KI-Produktentwicklung schafft sichere Schnittstellen, nachvollziehbare Nachweise, beherrschbare Abläufe und wartbaren Betrieb rund um unsichere Modellantworten.

Onectus unterstützt dies durch Softwareentwicklung und gezielte IT-Personalverstärkung. Für folgenreiche Anwendungen lesen Sie auch unseren Leitfaden zu KI im Recruiting und zur Qualitätssicherung.