„Der KI-Agent hat uns nie gesagt, dass es erforderlich war" — der erste FDA Warning Letter wegen KI-Missbrauchs

„The AI agent never told us it was required."

Das ist eine reale, dokumentierte Verteidigung gegenüber FDA-Inspektoren. Am 2. April 2026 erhielt Purolea Cosmetics Lab den Warning Letter 320-26-58 — der erste FDA Warning Letter überhaupt, der KI-Missbrauch im Drug CGMP zitiert. Er sollte ab sofort Pflichtlektüre für jede Pharma Quality Unit sein.

Das Unternehmen hatte KI-Agenten genutzt, um Drug-Product-Spezifikationen, SOPs und Master Production Records zu erzeugen — und die Quality Unit hatte versäumt, die Outputs angemessen auf Korrektheit oder CGMP-Konformität zu prüfen. Als die fehlende Prozessvalidierung auffiel, lautete die Antwort der Firma, der KI-Agent habe ihnen nie gesagt, dass dies erforderlich sei.

Die Enforcement-Botschaft der FDA ist unmissverständlich (Originalzitat aus dem Warning Letter):

"If you use AI as an aid in document creation, you must review the AI-generated documents to ensure they were accurate and actually compliant with CGMP. Your failure to do so is a violation of 21 CFR 211.22(c)."

Diese Klarstellung der FDA bedeutet: KI kann das schwere Heben übernehmen — Dokumente entwerfen, SOPs prüfen, Dokumente strukturieren, erforderliche Inhalte identifizieren, Validierungsdokumente über RAG einbinden. Aber ein menschlicher Verantwortlicher muss immer das Final Sign-off geben.

Wer ein KI-gestütztes GxP-Validierungssystem entwirft, sollte daher diese kritischen Prinzipien einhalten:

1. Friction by Design — verpflichtende Checkpoints einbauen: Bevor irgendein Dokument freigegeben werden kann, muss es von einem Menschen geprüft und unterschrieben sein.
2. Immutable Auditing — jede Signatur muss kryptografisch an den geprüften Datensatz gebunden sein, sodass nachvollziehbar bleibt, wer was wann freigegeben hat.
3. Explainability Over Magic — KI darf niemals als Black Box behandelt werden. Klare Quellendokumentation ist essentiell. Die KI muss die Quellen aller Aussagen im Dokument benennen. Und vielleicht noch wichtiger: warum eine bestimmte Prozedur weggelassen wurde.

Kurz: Die Ära KI-gestützter Qualitätsarchitektur hat offiziell begonnen. Wann die Vollautomatisierung kommt, ist unklar — aber KI wird rasend schnell dazu fähig, nicht nur Tests und Dokumentation, sondern auch komplette Systemanforderungen und Architektur zu definieren. Dann könnte es Pflicht werden, dass eine KI ein von Menschen entworfenes Dokument gegenzeichnet.

Könnten Sie diesen Workflow heute einem Inspektor verteidigen?

Quellen

• FDA Warning Letter 320-26-58 — Purolea Cosmetics Lab (2. April 2026)
• 21 CFR 211.22(c) — Responsibilities of the Quality Control Unit