LDe vilkårlige signifikansnivåene avgjøres før beregning av kontraststatistikken og de ikke-vilkårlige signifikansnivåene avhenger av verdien som tas av kontraststatistikken, som begge avhenger av fordelingen etterfulgt av dataene.
Med andre ord vil de vilkårlige signifikansnivåene alltid være de samme for forskjellige verdier av teststatistikken, og de ikke-vilkårlige signifikansnivåene vil være forskjellige for forskjellige verdier av teststatistikken.
Ikke vilkårlig
Når et konsept påpekes, betyr karakteristikken ved å være vilkårlig at verdien av det konseptet velges av forskeren. a priori (før) gjør eksperimentet uten å stole på noen relatert informasjon.
P-verdi og elefanter
Anta for eksempel at vi vil teste antall elefanter i en eng.
Før vi ser enga og elefantene som faktisk eksisterer, antar vi a priori antall elefanter. Vi sier at det kan være 10 elefanter. Så vi går til enga og teller antall elefanter som vi ser: 1, 2, 3, 4, 5, 6 og 7.
Vår nullhypotese var at antall elefanter i enga var lik 10 og vår alternative hypotese var at det var mindre enn 10. Så gitt elefantene som finnes, vil vi avvise nullhypotesen. Men … Hva om det er tre elefanter til på enga, men de er skjult bak trærne? Vi ville avvise vår nullhypotese når det kunne være sant hvis vi, i stedet for å telle elefantene, hadde beregnet det maksimale antall elefanter som gresslokalet har plass til.
Analyse
De ti elefantene som ble valgt i begynnelsen har vært helt vilkårlige fordi vi ikke har sett engstørrelsen, og derfor vet vi ikke om 10 elefanter er mye eller lite.
På den annen side, hvis vi, gitt størrelsen på engen, beregner det maksimale antallet elefanter som den har plass til, vil vi vite hva den maksimale verdien er for ikke å avvise nullhypotesen. Så å finne det virkelige tallet vil være mye lettere.
Sammenligning
Det samme gjelder for signifikansnivåene 1%, 5% og 10% sammenlignet med p-verdien. I mange kontraster velger vi nivået av betydning uten å ta hensyn til annen informasjon enn distribusjonen. Normalt brukes 5% som signifikansnivå (alfa), slik at 95% av prøven ligger innenfor konfidensintervallet.
Problemet med å tildele betydningsnivået vilkårlig er det samme problemet vi har med elefanteksemplet. Hvis vi mener at det er riktig å bruke 5% (signifikansnivå), kan vi avvise nullhypotesen når minimumet som skal avvises er 2% (p-verdi). Vi vil få feil resultater bare ved å sette 5% i stedet for minimumsverdien som skal avvises (2%).
Med andre ord konkluderer vi med at det er mindre enn ti elefanter på enga, men i virkeligheten er det 3 flere elefanter, men de er skjult. Så det er mye raskere å beregne hva som er det maksimale eller minste signifikansnivået som vi ikke ville avvise, eller vi ville avvise nullhypotesen.
Avvisningsregel
Hvis verdi - s < signifikansnivå => H0-avvisning.
Hvis verdi - s > signifikansnivå => Ingen avvisning H0.