「統計的に有意」とは？

「統計的に有意」という概念は、調査や実験で得られた結果が偶然ではなく、何らかの法則や効果を持っていると判断できるかどうかを示すものです。

この概念は、特に科学的なデータ分析や実験結果の評価において重要な役割を果たします。

基本的な内容についてまとめます。

Contents

偶然の可能性を排除する

たとえば、ある新薬の効果を検証する実験を考えます。

薬を飲んだグループと飲まなかったグループで回復率を比較したときに、たとえ回復率に違いが見られたとしても、その違いが「偶然」によるものである可能性もあります。

「統計的に有意」とは、こうした偶然の可能性が非常に低い場合に、「この結果には本当の差がある」と判断するための指標です。

統計的に有意であるということは、偶然によって生じた結果ではなく、何らかの要因によって生じた結果である可能性が高いことを意味します。

統計的に有意かどうかを判断するために、「有意差検定」と呼ばれる統計的手法を用います。

有意差検定とは、比較したい2つ以上のグループ間に統計的に意味のある差があるかを調べるための手法です。

よく使われる有意差検定には以下のものがあります。

t検定
2つのグループ間の平均値に差があるかを調べる方法。
たとえば、新薬を飲んだグループと飲まなかったグループの回復率の平均が異なるかどうかを調べる場合に使います。
カイ二乗検定
カテゴリーデータの違いを検証する方法。
たとえば、アンケートの回答がグループごとに異なるかどうかを調べる際に使います。
分散分析（ANOVA）
3つ以上のグループ間で平均値に差があるかを調べる方法。
たとえば、異なる地域での販売数に差があるかを比較する場合に用いられます。

有意差検定で統計的に有意かどうかを判断するために、「有意水準」と「p値」を使用します。

有意水準
偶然によってその結果が出る確率の基準値です。通常、5%（0.05）や1%（0.01）といった値が用いられ、たとえば有意水準5%であれば、「偶然に起こる確率が5%以下ならば、その差は偶然ではなく意味のある差だと考えましょう」と設定します。
p値
有意差検定を行った結果として得られる数値で、この値が有意水準より小さい場合、「統計的に有意」となります。たとえば、p値が0.03で有意水準が5%の場合、「偶然にこうした結果が出る確率は3%しかないので、これは偶然ではなく、何かしらの影響があると判断できる」という結論に至ります。

つまり「偶然に起こる確率が低い差」であれば、「統計的に有意」という考え方です。