·
9 min
Audit-Trail im Software-Testing: revisionssichere Dokumentation
Roman Kirchmeier - Autemos
Ein bestandener Test, den Sie nicht belegen können, ist im Audit nichts wert. In regulierten Branchen entscheidet der Audit-Trail – der lückenlose, manipulationssichere Nachweis jeder Testaktivität – darüber, ob Ihre Qualitätssicherung einer Prüfung standhält. Dieser Beitrag zeigt, was ein revisionssicherer Testnachweis enthalten muss und wie Sie ihn erzeugen, ohne Ihr Team in Papierkram zu ersticken.
Kurz gefasst: Ein Audit-Trail im Testing ist ein sicherer, mit Zeitstempel versehener Nachweis darüber, wer wann welchen Testfall ausgeführt und welches Ergebnis erzielt hat – unveränderbar und reproduzierbar. Massstab ist das Datenintegritäts-Prinzip ALCOA+. Automatisierte Pipelines erzeugen solche Nachweise zuverlässiger als manuell gesammelte Screenshots.
Abbildung 1: Die vier Pflichtangaben eines revisionssicheren Audit-Trails im Testing.
Das Problem: Tests bestehen, Audits scheitern
Abbildung 2: Datenintegritäts-Verstösse in FDA-Warning-Letters stiegen nach 2020 (Quelle: PubMed, 2026).
Viele Teams testen gründlich – und scheitern trotzdem im Audit, weil sie das Getane nicht nachweisen können. Auditoren akzeptieren keine Behauptungen, sie verlangen Beweise: Wer hat den Test ausgeführt? Wann? Gegen welche Anforderung? Wurde das Ergebnis nachträglich verändert?
Wie real dieses Risiko ist, zeigt eine Auswertung von 1 766 FDA-Warning-Letters aus den Jahren 2016 bis 2023: Verstösse gegen die Datenintegrität – insbesondere bei Dauerhaftigkeit, Verfügbarkeit und Vollständigkeit von Aufzeichnungen – nahmen nach 2020 zu (PubMed, 2026). Nicht die fehlende Prüfung kostet hier den Erfolg, sondern der fehlende Nachweis.
Warum klassische Testdokumentation scheitert
Screenshots, Excel-Listen und Word-Protokolle sind die typische, aber schwache Form der Testdokumentation. Sie sind manuell, fehleranfällig und vor allem leicht veränderbar. Ein Screenshot ohne Zeitstempel, ohne Bezug zur ausführenden Person und ohne Verbindung zur geprüften Anforderung liefert keinen belastbaren Beweis.
Hinzu kommt ein unterschätzter Feind der Beweiskraft: instabile Tests. Flaky Tests, die mal bestehen und mal fehlschlagen, verleiten Teams dazu, Läufe einfach zu wiederholen oder Fehlschläge zu übergehen – und untergraben damit genau die Verlässlichkeit, die ein Audit-Trail belegen soll.
Was ein revisionssicherer Audit-Trail enthalten muss
Abbildung 3: ALCOA+ – der Datenintegritäts-Massstab für revisionssichere Testnachweise.
Die FDA definiert in 21 CFR Part 11 den Mindeststandard: „sichere, computergenerierte, mit Zeitstempel versehene Audit-Trails”, die unabhängig vom Bediener festhalten, wer wann einen Datensatz erstellt, geändert oder gelöscht hat – wobei Änderungen die ursprüngliche Information nicht überschreiben dürfen (eCFR). Die EU-GMP-Annex 11 verlangt für computergestützte Systeme ebenfalls einen systemgenerierten, regelmässig überprüften Audit-Trail (EudraLex, 2011).
Der gemeinsame Massstab über alle regulierten Branchen ist ALCOA+:
Prinzip | Bedeutung für den Testnachweis |
|---|---|
Attributable | Jede Aktion ist einer eindeutigen Person/Identität zuordenbar |
Legible | Der Nachweis ist dauerhaft lesbar und verständlich |
Contemporaneous | Die Aufzeichnung erfolgt zeitgleich zur Handlung |
Original | Die Originaldaten bleiben erhalten, nicht überschrieben |
Accurate | Das Ergebnis ist korrekt und fehlerfrei protokolliert |
Complete, Consistent, Enduring, Available | Vollständig, konsistent, dauerhaft, jederzeit abrufbar |
(Quelle: MHRA GxP Data Integrity Guidance, 2018)
Die Lösung: Rückverfolgbarkeit als Rückgrat
Ein Audit-Trail beweist, *dass* getestet wurde. Die Rückverfolgbarkeit beweist, *dass das Richtige* getestet wurde. Das Werkzeug dafür ist die Anforderungs-Rückverfolgungsmatrix. Das ISTQB definiert sie als „eine zweidimensionale Tabelle, die zwei Entitäten korreliert (z. B. Anforderungen und Testfälle)” und so die erreichte Abdeckung und die Auswirkung von Änderungen sichtbar macht (ISTQB).
Eine vollständige Matrix beantwortet die beiden Fragen, die jeder Auditor stellt: Wurde jede Anforderung getestet, und lässt sich jeder Test auf eine Anforderung zurückführen? Wie Sie die Aussagekraft Ihrer Abdeckung messen, vertieft der Beitrag Testabdeckung und Code Coverage aussagekräftig messen.
So automatisieren Sie revisionssichere Nachweise
Abbildung 4: In fünf Schritten zu revisionssicheren Testnachweisen aus der CI/CD-Pipeline.
Die gute Nachricht: Moderne CI/CD-Pipelines erzeugen Audit-Trails fast nebenbei – wenn man sie richtig nutzt. Jeder Commit, jeder Testlauf und jedes Ergebnis kann automatisch, mit Zeitstempel und unveränderbar protokolliert werden. So gehen Sie vor:
Tests versionieren: Halten Sie Testfälle im selben Versionskontrollsystem wie den Code, damit jede Änderung historisiert ist.
Strukturierte Logs statt Screenshots: Erzeugen Sie maschinenlesbare Ergebnisprotokolle mit Zeitstempel, Identität und Anforderungsbezug.
Ergebnisse unveränderbar ablegen: Speichern Sie Testartefakte revisionssicher, sodass nachträgliche Änderungen ausgeschlossen oder sichtbar sind.
Tests stabil halten: Beseitigen Sie Flaky Tests, etwa mit Self-Healing Locators, damit jeder Nachweis aussagekräftig bleibt.
An die Anforderungsmatrix koppeln: Verknüpfen Sie jeden automatisierten Lauf mit der Anforderung, die er abdeckt.
In Kundenprojekten in regulierten Umgebungen sehen wir, dass dieser Ansatz die Audit-Vorbereitung deutlich entlastet, weil der Nachweis als Nebenprodukt der Automatisierung entsteht und nicht erst vor dem Audit zusammengesucht werden muss. Wie sich das in einen durchgängigen Ablauf einfügt, zeigt unsere Übersicht zu Test-Workflows. Den regulatorischen Gesamtkontext liefert der Leitfaden Testen in regulierten Branchen; die Validierungssicht für Pharma vertieft GxP-Testing und Computer System Validation.
Häufig gestellte Fragen
Was ist ein Audit-Trail im Software-Testing?
Ein Audit-Trail ist ein sicherer, mit Zeitstempel versehener Nachweis, der unabhängig festhält, wer wann welchen Testfall ausgeführt, geändert oder gelöscht hat und welches Ergebnis erzielt wurde. Er muss unveränderbar sein und die ursprünglichen Daten erhalten.
Was bedeutet revisionssicher im Testkontext?
Revisionssicher bedeutet, dass Testnachweise nachträglich nicht unbemerkt verändert werden können, dauerhaft verfügbar bleiben und jederzeit für eine Prüfung abrufbar sind – entsprechend den ALCOA+-Prinzipien der Datenintegrität.
Reichen Screenshots als Testnachweis für ein Audit?
Meist nicht. Screenshots ohne Zeitstempel, Identitätsbezug und Verknüpfung zur geprüften Anforderung gelten als schwacher Nachweis. Strukturierte, automatisch erzeugte Logs sind belastbarer und entsprechen eher den regulatorischen Anforderungen.
Was ist eine Anforderungs-Rückverfolgungsmatrix?
Eine Anforderungs-Rückverfolgungsmatrix ist eine Tabelle, die Anforderungen und Testfälle einander zuordnet. Sie zeigt, ob jede Anforderung getestet wurde und ob jeder Test auf eine Anforderung zurückführbar ist – das Rückgrat eines compliance-fähigen Testnachweises.
Fazit
Im regulierten Umfeld ist der Nachweis genauso wichtig wie der Test selbst. Ein revisionssicherer Audit-Trail nach ALCOA+ und eine vollständige Anforderungs-Rückverfolgungsmatrix verwandeln verstreute Belege in einen geschlossenen, prüffähigen Beweis. Am verlässlichsten gelingt das, wenn die Nachweise automatisch in der Pipeline entstehen, statt manuell gesammelt zu werden. Wenn Sie Ihre Testnachweise über Web, Mobile, API und Desktop hinweg audit-fähig automatisieren möchten, sprechen Sie mit dem Autemos-Team über Ihren konkreten Anwendungsfall.
