Cuando se toma la decisión de rechazar o no la Hipótesis Nula podemos acertar o cometer errores. En el trabajo real no sabemos qué ocurre porque no sabemos si la Hipótesis Nula es verdadera o no. Sin embargo, dados ciertos supuestos podemos obtener las probabilidades de cometer errores de tipo I y de tipo II.

La probabilidad de cometer errores de tipo I, que se simboliza alfa, es la probabilidad de ocurrencia de los valores del estadístico en la región de rechazo cuando la Hipótesis Nula es verdadera. El valor de alfa, también denominado nivel de significación, es definido por el investigador antes de recoger los datos, y la costumbre es hacer alfa=0.05 o alfa=0.01 (en el ejemplo alfa es igual a 0.05). La probabilidad de cometer errores de tipo II se simboliza beta y depende de varias circunstancias como la distancia que separa el valor asignado al parámetro en la Hipótesis Nula de su valor real, el tamaño muestral y el valor asignado a alfa.