İstatistiksel anlamlılık, iki veya daha fazla değişken arasındaki ilişkinin şanstan başka bir şeyden kaynaklanma olasılığıdır. Bir veri setinin sonucunun istatistiksel olarak anlamlı olup olmadığını belirlemek için istatistiksel hipotez testi kullanılır. Bu test, rastgele şansın sonucu açıklayabileceği ihtimalini temsil eden bir p değeri sağlar. Genel olarak, %5 veya daha düşük bir p değerinin istatistiksel olarak anlamlı olduğu kabul edilir.
Örneğin, koşu ayakkabısı üreten bir şirket için çalışan bir araştırmacı, erkeklerin ve kadınların ayak büyüklükleri arasında fark olup olmadığını test etmek istesin. Bu durumda, sıfır hipotez (H0) erkeklerin ve kadınların ayak büyüklükleri arasında fark olmadığıdır. Alternatif hipotez (H1) ise erkeklerin ve kadınların ayak büyüklükleri arasında fark olduğudur. Araştırmacı, biner kişilik örneklem gruplarından elde ettiği verileri kullanarak bir t-testi yapar ve p değerini hesaplar. Eğer p değeri %5’ten küçükse, araştırmacı sıfır hipotezi reddeder ve erkeklerin ve kadınların ayak büyüklükleri arasında istatistiksel olarak anlamlı bir fark olduğu sonucuna varır. Eğer p değeri %5’ten büyükse, araştırmacı sıfır hipotezi kabul eder ve erkeklerin ve kadınların ayak büyüklükleri arasında istatistiksel olarak anlamlı bir fark olmadığı sonucuna varır.
İstatistiksel anlamlılık, ölçülen değişkenler arasında bir ilişki olmadığını varsayan hipotezi kabul etmek veya reddetmek için kullanılır. Ancak, istatistiksel anlamlılık günlük dildeki anlam veya önem manasını taşımaz. Bir sonucun istatistiksel olarak anlamlı olması, onun pratik veya klinik olarak da önemli olduğu anlamına gelmez. Bu nedenle, istatistiksel analizlerde sadece p değerine bakmak yeterli değildir. Aynı zamanda etki büyüklüğü, güven aralığı, örneklem büyüklüğü gibi diğer faktörleri de dikkate almak gerekir.