GxP-Blog

Zu präzise ist nicht gut genug? Anwendung statistischer Methoden mit Augenmaß.

Der Mathematiker Abraham Wald bezeichnete Statistik als eine Zusammenfassung von Methoden, welche uns erlauben, vernünftige Entscheidungen im Falle von Ungewissheit zu treffen. Der Begriff „erlauben“ besagt bereits, dass die Anwendung statistischer Methoden nicht zwangsweise zu vernünftigen Entscheidungen führen muss. Durch die Wahl der statistischen Methoden und das Vorgehen bei der Anwendung beeinflussen wir, wie zielsicher und auch wie steinig der Pfad wird. Den Aspekt der „Unwissenheit“ klammere ich hier bewusst aus. Nur so viel: GxP-Inspektoren zeigen sich selten erfreut, wenn Unwissenheit der Grundstein einer Validierung ist.

Wir zeigen in diesem Blog Beitrag anhand eines Fallbeispiels, wie wichtig für eine zielführende Bewertung und gleichzeitig tückisch statistische Verfahren bei der Validierung und Verifizierung analytischer Methoden sind. Fakt ist: Liegt eine sehr gute Präzision (= sehr geringe Streuung) der Messergebnisse vor, ist dies bei objektiver Betrachtung ein positiv zu bewertender Sachverhalt. Sie werden in diesem Fallbeispiel mit der undankbaren Situation konfrontiert, wenn statistische Tests die exzellente Präzision „bestrafen“. Sie werden Antworten auf die Frage finden: Wie lassen sich diese unnötigen Komplikationen schon bei der Wahl der Akzeptanzkriterien vermeiden?

Betrachten wir die Verifizierung der Gehaltsbestimmung von wasserfreier Zitronensäure gemäß USP. Es handelt sich bei der Gehaltsbestimmung um eine Säure-Base-Titration, die Spezifikation des Produktes beträgt 99,5% - 100,5% (bezogen auf die wasserfreie Substanz). Für die Verifizierung der Prüfmethode gemäß USP <1226> in zwei Laboratorien wurden folgende Akzeptanzkriterien für die Richtigkeit und Präzision definiert:

Präzision: Die relative Standardabweichung (RSD, n=6) darf nicht mehr als 0,5% betragen.

Richtigkeit: Kein signifikanter Unterschied zwischen Sollwert und gefundenem Mittelwert (t-Test).

Die Präzision gibt darüber Auskunft, in welchem Umfang Messergebisse variieren, wogegen die Richtigkeit aufzeigt, inwieweit das Messergebnis vom „wahren Wert“ abweicht. Der „wahre Wert“ ist in diesem Fallbeispiel die Deklaration des verwendeten USP-Referenzstandards von 1,000 mg/mg (=100,0%). Analyst A und B aus unterschiedlichen Laboratorien führen die Untersuchungen durch. Die Ergebnisse aus der Richtigkeitsprüfung sind in Abbildung 1 dargestellt.

Analyst B:

• Die Analysendaten von Analyst B erfüllen das Akzeptanzkriterium der Richtigkeitsprüfung. 
• Die Streuung dieser Daten erfüllt zudem das Akzeptanzkriteriums für die Präzisionsprüfung. 

Analyst A: 

• Die Analysendaten von Analyst A haben das Akzeptanzkriterium der Richtigkeitsprüfung nicht erfüllt. 
• Die Streuung dieser Daten erfüllt das Akzeptanzkriterium für die Präzisionsprüfung. 

Vergleicht man beide Datenreihen miteinander, fällt auf, dass Analyst A sowohl richtiger (Mittelwert näher am „wahren Wert“) als auch präziser gearbeitet hat. Dennoch muss Analyst A in der Verifizierung im Gegensatz zu Analyst B mit dem Makel eines nicht bestandenen Akzeptanzkriteriums umgehen. 

Was ist aus diesem Fallbeispiel abzuleiten? In Validierungen am besten einen etwas hemdsärmeligeren Arbeitsstil an den Tag legen und so eine höhere Streuung erzeugen, um nicht wie Analyst A in die Falle zu laufen? Am besten keine statistischen Tests anwenden, sondern stattdessen ein vordergründig plausibel wirkendes Akzeptanzkriterium wie bei der Präzision? 0,5% Analysenstreuung ist für viele analytische Verfahren schließlich gar nicht schlecht. Schauen wir uns zunächst an, wie plausibel das Akzeptanzkriterium für die Präzision bei genauerer Betrachtung ist. Analyst B hat Analysendaten ermittelt, welche die Spezifikationsbreite des Produktes nahezu vollständig umfassen und hat dabei die hier definierte Akzeptanzgrenze (0,5%) der Streuung noch nicht erreicht. Die Wahrscheinlichkeit für Analysenwerte außerhalb der Spezifikation (OOS) bei der Wareneingangsprüfung von Zitronensäure ist hier nicht mehr gering und es bleibt wenig Raum für Produktvariabilität. Oder etwas bildhafter: Wenn Sie sich die Spezifikationsbreite als Garageneinfahrt vorstellen und die Streubreite der Messdaten als Karosseriebreite des einfahrenden Automobils wird Analyst B nicht lange Freude an seinen Außenspiegeln haben.

Der vollständige Verzicht auf statistische Grundlagen der Datenbeurteilung ist sicher der falsche Weg. Das bewusste Erzeugen einer höheren Streuung wäre eine Verzweiflungstat, die nichts mit GMP gemein hat. Zielführend ist es vielmehr, quantitative Akzeptanzkriterien auf fundierte statistische Grundlagen zu stützen.

Kümmern wir uns zunächst um das Akzeptanzkriterium der Präzision der Prüfmethode. Als Forderung gilt, dass der Vertrauensbereich (die zweifache Messunsicherheit) nicht größer sein sollte als der halbe Toleranzbereich aus den vorgegebenen Spezifikationsgrenzen¹. Wenn wir die Standardunsicherheit (s/n ) mit dem entsprechenden t-Wert aus der t-Tabelle multiplizieren können wir das Ergebnis als Messunsicherheit betrachten. Abgeleitet aus dieser Formel lässt sich berechnen wie hoch s ist, wenn die zweifache Messunsicherheit dem halben Toleranzbereich der vorgegebenen Spezifikation entspricht. Wir wollen nicht die Standardabweichung spezifizieren, sondern die relative Standardabweichung, welche auch als Variationskoeffizient bezeichnet wird. Diese entspricht der Standardabweichung dividiert durch den Erwartungswert. Durch Umstellung dieser Formeln lässt sich der maximal erlaubte Variationskoeffizient errechnen (siehe Abbildung 2).

Er beträgt im Fallbeispiel 0,24% für die Präzisionsprüfung (n=6). Analyst B würde bei einer Präzisionsprüfung mit den vorhandenen Daten hier nicht bestehen. Unter uns, mir waren die Daten von Leuten, die ohne Außenspiegel herumfahren, ohnehin schon immer suspekt. Es wären bei Analyst B präzisionserhöhende Maßnahmen zu etablieren, bevor ein robuster Routineeinsatz der Prüfmethode erreicht werden kann. 

Bleibt noch die Richtigkeitsbeurteilung. Ein t-Test ist grundsätzlich eine objektive statistische Methode, die man als wissenschaftlich fundiert betrachten darf. Nur macht es Sinn, unter Verwendung der Streuung von Ist-Daten eine Beurteilung der Richtigkeit der Methode vorzunehmen? Es besteht dabei der Schwachpunkt, dass mit jeder Präzisionsverbesserung meiner Methode gleichzeitig der Anspruch an die Richtigkeit erhöht wird und der Richtigkeitsanspruch sinkt, je unpräziser ich arbeite. Dies kann nicht das Ziel bei der Beurteilung der Methodenrichtigkeit sein.

Wir haben doch wenige Zeilen zuvor wissenschaftlich fundiert die maximal erlaubte Streuung der Messdaten berechnet.  Verwenden wir also die maximal erlaubte Streuung und den t-Tabellenwert für die Berechnung der maximal erlaubten Differenz zwischen dem Mittelwert der Messergebnisse und dem „wahren Wert“ (Deklaration des Referenzstandards). Schließlich würden wir einen bestandenen t-Test mit Ist-Daten, welche die maximal erlaubte Streuung punktgenau treffen, als akzeptabel betrachten. Genau hier sollte die Grenze für die Richtigkeitsbeurteilung gezogen werden. Die Berechnung erfordert eine Umstellung der in Abbildung 2 abgebildeten Formel. Diese kleine Tüftelei möchte ich den Interessierten unter Ihnen in keinem Fall vorenthalten und verzichte daher hier auf eine Formelabbildung. Beachten Sie bitte, dass Sie hierbei konsistent mit dem richtigen Stichprobenumfang rechnen.

Pragmatismus im besten Sinne ist eine zielführende Devise bei der Weiterentwicklung der Prozesse. In diesem Sinne wünschen wir Ihnen: „Leben Sie den kontinuierlichen Verbesserungsprozess.“ Gerne setzen wir unsere Fachexpertise für Sie ein.

¹„Handbuch Validierung in der Analytik, 2. überarbeitete Auflage. S. Kromidas (Wiley-VCH Verlag)