Statistinio kriterijaus sudarymo principai:
Kriterijus yra tuo geresnis, kuo mažesnės abiejų rūšių klaidų tikimybės. Dėl imties atsitiktinumo praktiškai neįmanoma sudaryti kriterijaus, kad abiejų klaidų tikimybės būtų lygios nuliui.
Dažniausiai parenkamas mažas teigiamas skaičius α ir nagrinėjami tik tokie kriterijai, kurių I rūšies klaidos tikimybė lygi α. α vadinamas reikšmingumo lygmeniu.
Kriterijaus reikšmingumo lygmuo α = P(H0 atmetama| H0 teisinga)
Tradiciniai reikšmingumo lygmenys yra α = 0,01; α = 0,05; α = 0,1.
Pavyzdžiui, naudojant α = 0,05, galima sakyti, kad daug kartų taikydami statistinį kriterijų, vidutiniškai penkis kartus iš šimto teisingą hipotezę atmesime.
Tradicinis nematematinis pavyzdys, motyvuojantis pirmosios rūšies klaidos tikimybės fiksavimą, yra toks:
teismas sprendžia, ar teisiamasis kaltas.
Hipotezė H0 – nekaltas, alternatyva H1 – kaltas.
Pirmosios rūšies klaida – nekaltą pripažinti kaltu, antrosios rūšies klaida – kaltą išteisinti.
Manoma, kad pirmosios rūšies klaida yra pavojingesnė. Todėl stengiamasi pirmosios rūšies klaidos tikimybę fiksuoti, t.y. imti ją pakankamai mažą.
Ar reikšmingumo lygmuo skaičiuojasi tik iš vienų duomenų? Tarkim cholesterolio, ar jis skaičuojamas tik kai lyginame grupes?