Human in the Loop: Prozessdesign für KI-gestützte SaMD

KI-Coding-Assistenten und agentische Entwicklungswerkzeuge sind in der Softwareentwicklung angekommen. Das gilt auch für Hersteller von Software as a Medical Device, kurz SaMD. Die Erwartung schneller Effizienzgewinne trifft jedoch auf eine differenzierte Datenlage. McKinsey berichtet, dass fast 30 Prozent der Unternehmen nach Einführung agentischer KI-Werkzeuge einen Produktivitätsrückgang verzeichneten [1]. Zugleich realisiert eine kleine Gruppe deutliche Qualitäts- und Geschwindigkeitsgewinne. Ihr Hebel ist eine konsequente Neugestaltung der Prozesse [2].

Für SaMD-Hersteller ergibt sich daraus eine klare Botschaft: Das regulatorische Risiko liegt nicht im KI-generierten Code an sich. Es liegt in einem Entwicklungsprozess, der für menschliche Autorenschaft entworfen wurde und KI lediglich aufsetzt. Human in the Loop muss als definierte Entscheidungsarchitektur im Qualitätsmanagementsystem verankert werden.

Executive Summary

1. Das Produktivitätsparadox: mehr Code, nicht mehr Software

Die Diskrepanz zwischen Aktivität und Ergebnis ist inzwischen gut belegt. McKinsey verweist auf eine Studie, in der KI-Werkzeuge die Coding-Aktivität um 180 Prozent steigerten, die ausgelieferten Releases jedoch nur um 30 Prozent zunahmen [1]. Auch die Akzeptanz bei Entwicklern bleibt begrenzt. 46 Prozent der Entwickler weltweit misstrauen der Genauigkeit von KI-Werkzeugen, 33 Prozent vertrauen ihnen und nur 3 Prozent haben hohes Vertrauen in die Ergebnisse [1].

Diese Skepsis ist fachlich begründet. Eine Analyse von CodeRabbit auf Basis von 470 Open-Source-Pull-Requests, davon 320 KI-koautoriert und 150 rein menschlich erstellt, kommt zu folgenden Befunden [3]:

Die Autorenschaft wurde in der Studie nicht direkt bestätigt. Die KI-Beteiligung wurde anhand von Signalen im Pull Request identifiziert. Für die übrigen Pull Requests wurde menschliche Autorenschaft angenommen [3]. Die Richtung des Befunds bleibt relevant. Fehlende Null-Prüfungen, Guardrails und vollständige Ausnahmebehandlung sind in sicherheitsrelevanter Medizinproduktesoftware kritisch.

2. Was sich regulatorisch nicht ändert

Hersteller benötigen keinen neuen Rechtsrahmen. Sie benötigen die konsequente Anwendung des bestehenden. IEC 62304 definiert Lebenszyklusanforderungen für Medizinproduktesoftware. Die Norm bewertet nicht, wer eine Zeile Code geschrieben hat. Entscheidend ist, ob Anforderungen, Architektur, Verifikation und Freigabe nachvollziehbar beherrscht sind [14]. Das Johner Institut hat dies auch für klassische Code-Generatoren festgehalten: Generierter Code kann denselben Qualitätssicherungsmaßnahmen unterworfen werden wie handgeschriebener Code [4].

Hinzu kommt die Werkzeugebene. LLM-basierte Systeme zählen als computerisierte Systeme. Setzen Hersteller sie in QM-Prozessen ein, fallen sie unter die Anforderungen der ISO 13485 [5]. Zu validieren ist nicht das Modell als abstrakte Technologie. Zu validieren ist das computerisierte System in seinem konkreten Einsatzzweck, Kontext und Datenfluss. Der Validierungsaufwand wird risikobasiert festgelegt.

Die Nutzung eines Coding-Assistenten macht eine SaMD nicht automatisch zum KI-System im Sinne der Verordnung (EU) 2024/1689. Maßgeblich bleibt, ob das Produkt selbst KI-Funktionalität enthält. Für KI-basierte Medizinprodukte ergänzen sich MDR beziehungsweise IVDR und AI Act. Die gemeinsame AIB- und MDCG-Leitlinie empfiehlt, notwendige Test-, Berichts- und Dokumentationsprozesse soweit passend in die bestehenden MDR- oder IVDR-Verfahren zu integrieren [13].

Auch von der Normung ist kurzfristig keine Entlastung zu erwarten. Nach Einschätzung des Johner Instituts erscheint zunächst nicht die zweite Ausgabe der IEC 62304, sondern ein zweiter Committee Draft. Ein FDIS ist erst 2028 zu erwarten, eine Publikation damit frühestens 2029 [6]. Der Entwurf enthält zum Thema KI einen informativen Anhang zu AI-enabled Health Software [7]. Hersteller sollten ihre Antworten deshalb jetzt im QMS verankern.

3. Human in the Loop konkret: Wo der Mensch entscheidet

Human in the Loop wird oft als pauschales „ein Entwickler schaut drüber“ verstanden. Regulatorisch belastbar wird der Ansatz erst, wenn festgelegt ist, an welchen Stellen des Lebenszyklus welche qualifizierte Person welche Entscheidung trifft und wie diese Entscheidung dokumentiert wird. Die Europäische Kommission nennt menschliche Aufsicht ausdrücklich als Anforderung für Hochrisiko-KI im Gesundheitsbereich [12].

Diese Sicht deckt sich mit der Beobachtung von McKinsey, dass sich Rollen verschieben. Entwickler brauchen Urteilsvermögen, Code-Review- und Supervisionskompetenzen für die Steuerung von Agenten. Der Schwerpunkt verlagert sich zu Architekturkohärenz, Domänenmodellierung und KI-Supervision [8].

4. Prozessdesign: fünf Bausteine

Die Unternehmen, die tatsächlich profitieren, unterscheiden sich weniger in der Werkzeugwahl als im Operating Model. Das oberste Quintil erzielt 16 bis 30 Prozent Verbesserungen bei Produktivität, Time to Market und Kundenerlebnis sowie 31 bis 45 Prozent Qualitätsgewinne. Die bloße Bereitstellung von KI-Werkzeugen verändert dagegen wenig [2]. Führende Organisationen bauen Verifikations-, Kontroll- und Messsysteme auf, die mit den schnelleren Arbeitsweisen Schritt halten [9]. Für SaMD ergeben sich daraus fünf Bausteine:

Der fünfte Baustein wird häufig unterschätzt. Der gemeinsam mit TÜV SÜD entwickelte KI-Leitfaden des Johner Instituts fordert, dass Hersteller die Kompetenzanforderungen für jede Rolle im Geltungsbereich des QM-Systems ermitteln und dokumentieren, die direkt oder indirekt mit KI zu tun hat [10].

5. Einsatzmatrix nach Sicherheitsklasse

Nicht jede Softwarekomponente verlangt dieselbe Zurückhaltung. Die folgende Matrix dient als Orientierung für die eigene Verfahrensanweisung. Mit Blick auf die kommende Ausgabe der IEC 62304 ist zu berücksichtigen, dass der Entwurf die Klassen A, B und C durch die Level I und II ersetzt [11].

Fazit

KI-generierter Code ist für SaMD-Hersteller weder Tabu noch Abkürzung. Die Normen sind technologieneutral genug, um ihn zu tragen. Sie verlangen jedoch spezifizierte Absicht, nachvollziehbare Entscheidungen und belastbare Verifikation. McKinsey warnt, dass agentische Softwareentwicklung ohne systematischen Ansatz zu unbeabsichtigten Ergebnissen führen kann [1]. Im regulierten Umfeld entstehen daraus Findings im Audit, Nacharbeit in der Technischen Dokumentation und vermeidbare Risiken für Patientinnen und Patienten.

Hersteller sollten drei Schritte priorisieren:

Wer diese Grundlagen schafft, nutzt KI mithilfe des Qualitätsmanagementsystems. Genau darin liegt der Wettbewerbsvorteil.