エラーバーから何が読み取れるか？

Cognitive Dailyの記事に、研究者の多くはエラーバーの意味をろくに理解していない、という話がありました（そもそもエラーバーって何だ？という方はこちらの記事をどうぞ。エクセルでエラーバーを表示する方法が知りたいという方はこちらへ。）。
どうやら私自身もエラーバーの意味を理解していないようだったので、記事の元になった論文と、そのまた元になった論文に目を通してみました。

確かに私はエラーバーの意味をろくに理解していなかったようです (^^;





例えば、上の様なグラフがあったとして、何が読み取れるか？
（WBからいきなり「ペガサス級」という言葉を連想してしまったあなたは１９６０年代生まれ？）

１）エラーバーが95%信頼区間を表しているとすると、その長さ(WAまたはWB)は、標準誤差のだいたい２倍（信頼区間＝標本平均±t×標本標準誤差。自由度が１０以上だとtがだいたい２なので）。

２）エラーバーが標準誤差だとしたら、それはおおざっぱにいって68%信頼区間と同じ。

３）95%信頼区間を表すエラーバーが、下の図のようにちょうど接していると、AとBの平均値の差が5%水準で有意、と言いたくなるが、実はそれは間違い。



４）95%信頼区間を表すエラーバーWAとWBがだいたい同じ長さだとする。
このとき、エラーバーが半分くらい重なってしまっていると、AとBの平均値には有意な差が無いと思いたくなるかもしれない。
しかし、半分重なっている状態は、大ざっぱにいって5%水準で有意差あり。重なりが無い場合（エラーバーが接している場合）は、だいたい1%水準(0.6%水準）で有意差あり。

5)95%信頼区間を表すエラーバーWAとWBの長さが違う場合、両者の平均の長さをWとすると、Wの半分くらいエラーバーが重なってしまっていても、AとBは大ざっぱにいって5%水準で有意差あり。接していれば1%水準。
ただし、WAとWBの長さが倍以上違っていたり、サンプル数が１０より少ないような場合には、このことは成り立たない。

６）エラーバーから条件間に差があるかないかを読み取れるのは、二つの平均値が独立なサンプルな場合、つまり被験者間要因の場合だけ。被験者内要因の場合、エラーバーから条件間の差についてなにも言えない。

エラーバーから何が読み取れるか、については次の論文で解説されています。
Cumming, G., & Finch, S. (2003). Inference by Eye: Confidence intervals and how to read pictures of data. American Psychologist, 60(2), 170-180.

また、心理学や医学の領域の研究者がエラーバーの意味をどれくらい理解しているかを調べたところ、「みーんな誤解していましたー！」という報告をしているのが次の論文です。
Belia, S., Fidler, F., Williams, J., & Cumming, G. (2005). Researchers misunderstand confidence intervals and standard error bars. Psychological Methods, 10(4), 389-396.

特に、95%信頼区間が重なっていなければ5%水準で有意、という誤解（上記の３）が広く信じ込まれてしまっているのだとか。
私も自分の論文のなかで、「95%信頼区間が重なっていなければ有意差ありと見なす」というようなことを書いてしまったことがあるので、この論文を読んだときはヒヤヒヤものでした。
でも、「5%水準で有意差ありと見なす」とは書かなかったので、一応セーフ (^^;

学会発表のときに、エラーバーとして95%信頼区間を示しておいて、「条件AとBが5%水準で有意差ありでした」、と主張したときに、「エラーバーが重なっているのになんで有意差ありなんですか？計算間違ってませんか？」という質問が出たら、その質問者も、エラーバーの意味を誤解している可能性があります。

やっぱ統計って難しいわ。

［おねがい]　心理学の実験に参加したことがありますか？
数分で終わる簡単なゲームのようなことをしていただいています。
「急募！」アイコンをクリックすると、大至急データが必要な実験のページが開きます。まずは実験一覧を見たいという方は、「被験者募集中！」アイコンをクリックしてください。



[ランキング]よろしかったら押してください