Statistische
Signifikanz wird häufig überbewertet und ist in Wirklichkeit eine
Interpretation, die obendrein auf willkürlichen Konventionen (90, 95,
99,9%) beruht.
Viel wichtiger als
statistische Signifikanz, jedoch weit weniger beachtet ist die
(klinische, technische,...)
Relevanz.
Vor einem statistischen Test formuliert man eine Nullhypothese H0 und evtl. (nicht notwendigerweise; das hängt vom Testdesign ab) eine Alternativhypothese H1. Fällt der Test z.B. 90% signifikant aus, dann verwirft man H0. Die 90% haben jedoch keinerlei Bezug zu einer Wahrscheinlichkeit, mit der die H0 gilt oder nicht gilt.
Genaugenommen: "Wenn die H0 tatsächlich zutrifft, dann würde das Testergebnis in nur einem von 10 Fällen 90% oder höher signifikant ausfallen."
--> Die
Signifikanzformulierung geht also grundsätzlich von einer gültigen
Nullhypothese aus, aber genau das ist ja immer ungewiss.
Das Signifikanzniveau ist ein Zahlenwert (0...100%), der die "Testsicherheit" bei statistischen Hypothesentests ausdrückt. Oft (und willkürlich) 90% oder 95%. (=1- Alpha Risiko)
90% Signifikanz bei einem Testergebnis bedeutet, dass das vorliegende Zahlenmaterial, sofern es zufällig zustande gekommen ist, in nur 100-90=10% aller Fälle eine vergleichbare oder extremere Ausprägung annehmen würde.
90% Signifikanz bedeutet nicht,
dass das vorliegende Datenmaterial mit nur 10%er
dass man mit 90%er Wahrscheinlichkeit auf einen Sachverhalt schliessen kann.
Dennoch wird in der Praxis bei Signifikanz der entsprechende Sachverhalt angenommen, was aber so nicht richtig ist.
Nochmal:
90% Signifikanz bedeutet lediglich, dass bei reinem Zufall das Datenmaterial nur mit 100-90 =10% Wahrscheinlichkeit eine "90% signifikante" Ausprägung annehmen würde, wenn in Wahrheit gar kein Sachverhalt vorliegt (die Nullhypothese also zutrifft).
Die
Wahrscheinlichkeit, auf einen Sachverhalt zu schliessen ist nämlich gar
nicht definiert, denn ob ein Sachverhalt besteht oder nicht, mag zwar
unbekannt sein, aber es ist fix, und kann somit nicht als Resultat
eines statistischen Tests interpretiert werden.
Aus
diesem Dilemma kommt man nur heraus, indem man die Prävalenz
bzw. Basisrate mit einbezieht. Dies wäre die (bekannte!)
Wahrscheinlichkeit, mit der sich ein Fachmann in seinen
Hypothesenformulierungen irrt. Das ermöglicht dann zwar immer noch
keine Wahrscheinlichkeitsaussage über einen unbekannten Sachverhalt,
aber es wäre zumindest eine brauchbare Wahrscheinlichkeitsaussage
darüber, ob man sich irrt. Der Hypothesentest hätte dann nur noch
qualitativen Entscheidungscharakter.
Siehe
auch
Kausalität,
Relevanz und insbesondere
statistischer Hypothesentest.