Wie erzeuge ich eine ROC-Kurve und finde den optimalen Schwellwert für einen Diagnosetest mit XLSTAT-Life?

Einführung

Diese Methode wurde ursprünglich im Zweiten Weltkrieg entwickelt, um wirksame Nachweismethoden für Japanische Flugzeuge fertig zu stellen. Danach wurde Sie generell zum Nachweisen eines Signal verwendet und heute in der Medizin, wo Sie weit verbreitet ist.

Die Problematik ist die folgende: Man untersucht ein Phänomen, das oft binären Charakter hat (beispielsweise Vorliegen oder Abwesenheit einer Krankheit) und man möchte einen Test entwickeln, der es erlaubt wirksam das Vorkommen eines präzisen Ereignisses (zum Beispiel Vorliegen einer Krankheit) vorherzusagen.

Falls der Test quantitativ (oder gegebenenfalls ordinal) ist, beispielsweise eine Konzentration eines Moleküls, so kann man versuchen herauszufinden, ab welcher Konzentration ein Patient als krank gilt. Die ROC-Kurven und Indikatoren werden hierzu berechnet und helfen die bestmögliche Entscheidung zu treffen.

Anwendung

Eine Excel-Mappe mit den Daten und den Ergebnissen, die in diesem Tutorial behandelt werden, kann hier heruntergeladen werden. Die Daten entsprechen einem medizinischen Experiment während dessen 50 Patienten untersucht wurden, darunter 20 kranke Personen, die einem neuen Screeningtest unterzogen werden, bei dem die Konzentration eines Virusmoleküls gemessen werden.

Sobald XLSTAT aktiviert ist, wählen Sie den Befehl XLSTAT-Life/ ROC Kurven, oder klicken Sie auf den entsprechenden Button der XLSTAT-Life Toolbar (siehe unten).

Nach dem Klicken den Button erscheint das Dialogfenster. Wählen Sie die Daten die den „Ereignisdaten“ aus und geben Sie Kode ein, der den positiven Testfällen für beide Datensätze zugeordnet ist. Wählen Sie dann die Daten aus, die den Diagnosetestdaten entsprechen, die analysiert werden und geben Sie an, welcher Regeltyp für das Identifizieren eines Schwellwertes unterhalb oder oberhalb dessen der Test als positiv angesehen werden soll. Man wählt hier, dass ein Test als positiv angesehen wird, falls die Konzentration größer oder gleich eines zu bestimmenden Wertes ist.

Im Reiter "Optionen" können Sie die Methode für die Berechnung des Konfidenzintervalls wählen. XLSTAT ist die Software mit der größten Auswahl. Die Vorgabewerte sind die Werte, die am meisten empfohlen werden. In diesem Reiter können Sie ebenfalls die Kosten für die verschiedenen Fälle eingeben. Wir möchten Diagnosefehler stark unterbinden, insbesondere im Fall eines nicht entdeckten kranken Patienten.

Im Reiter „Diagramme“, wählen wir die Anzeige des Entscheidungsdiagramms basierend auf den Kosten.

Nach dem Klicken auf "OK", beginnen die Berechnungen und die Ergebnisse werden angezeigt. Die erste Tabelle stellt die deskriptiven Statistiken für die Testvariable, wie Konzentration, gefolgt von den Statistiken für die Ereignisvariablen, hier die Krankheit dar. Die beobachte Prävalenz der Stichprobe ist 0.4.

Die ROC wird anschließend angezeigt. Zu jedem kleinen Kästchen gehört eine Beobachtung.

Die sich anschließende "ROC Analyse" besteht aus den verschiedenen Performanzindikatoren für jeden möglichen Schwellwert. Zum Beispiel, bei einer Entscheidung einen Patienten als krank anzusehen, falls die Konzentration größer gleich 0.98 ist, gehören eine Sensitivität von 0.95, eine Spezifizität von 0,733 und Kosten in Höhe von 61. Für weitere Details zu den verschiedenen Indikatoren, lesen Sie bitte im Tutotiel über die Sensitivitäts- und Spezifizitätsanalyse nach.

Ein Diagramm auf Basis dieser Tabelle wird dann angezeigt. Man kann darin die Entwicklung der WP (wahren Positiven), WN (wahren Negativen), FP (falschen Positiven) und FN (falschen Negativen) in Abhängigkeit vom gewählten Schwellwert sehen.

Das Entscheidungsdiagramm erlaubt es, den Schwellwert zu wählen, der die Kosten minimiert. Um den Schwellwert der minimalen Kosten auf dem Diagramm zu finden, gleiten Sie mit der Maus über den entsprechenden Punkt. Dieser Wert gehört zu einer Konzentration von 0.98, wie schon vorher in der Analyse der ROC Tabelle gefunden.

Die letzte Reihe an Ergebnissen erlaubt es die Fläche unter der Kurve zu betrachten (AUC). Die AUC und ihr Konfidenzintervall werden berechnet. Der Test, der die AUC mit 0.5 vergleicht, erlaubt es zu überprüfen ob der Diagnosetest wirksamer als die Zufallsregel ist. In unserem Fall ist die AUC sehr effizient und signifikant verschieden von einer AUC von 0.5.

Der Vergleich der AUC ist ebenfalls eine Methode mehrere verschiedene Diagnosetests zu vergleichen. XLSTAT kann beliebig viele Tests miteinander vergleichen.

Welche Seite möchten Sie nun ansehen? Zum Anfang der Seite