Co to jest poziom istotności (poziom-p). Statystyczną istotnością wyniku nazywamy miarę stopnia, do jakiego jest on prawdziwy (w sensie jego reprezentatywności dla całej badanej populacji). Bardziej technicznie rzecz biorąc, wartość poziomu-p stanowi malejący wskaźnik wiarygodności rezultatu (patrz Brownlee, 1960). Im wyższy poziom-p, tym mniej możemy być pewni, że relacja obserwowana w próbce jest wiarygodnym wskaźnikiem relacji pomiędzy mierzonymi wielkościami w całej interesującej nas populacji. Dokładnie rzecz biorąc, poziom-p odpowiada prawdopodobieństwu popełnienia błędu polegającego na tym, że przyjmujemy uzyskany rezultat jako prawdziwy, tj. reprezentatywny dla populacji. Na przykład poziom-p równy 0,05 (tzn. 1/20) oznacza, że istnieje 5% szansa, iż odkryta w próbce relacja jest dziełem przypadku. Inaczej mówiąc, zakładając, że w populacji relacja taka nie zachodzi, a my będziemy powtarzać doświadczenie jedno po drugim w długim ciągu, to możemy oczekiwać, że w przybliżeniu w co dwudziestym eksperymencie zmierzona relacja będzie równie silna lub mocniejsza niż ta, która została zmierzona aktualnie. (Należy zauważyć, że czymś innym jest stwierdzenie, że możemy oczekiwać 5% lub 95% powtarzalności wyników w sytuacji, gdy JEST zależność między zmiennymi. Jeśli istnieje relacja między zmiennymi w populacji, to prawdopodobieństwo powtarzalności wyników i prawdziwości znalezionej zależności jest związane z mocą statystyczną testu. Zobacz także Analiza mocy testów). W wielu dziedzinach badań poziom istotności równy 0,05 jest przyjmowany jako graniczna wartość akceptowalnego poziomu błędu.