エビデンスベースドの天敵！科学的根拠に混じる【質の低い粗悪なデータ】を見破るための12箇条

赤羽(Akabane)

今回は「科学的根拠に混じる粗悪品を見破るための基準」についてのお話です。

エビデンスベースドの天敵！科学的根拠に混じる【質の低い粗悪なデータ】を見破るための12箇条

ようやく日本でも「科学的根拠」が重視されるようになってきた昨今ですが、残念ながら完全な科学のエビデンスは存在しません。そこには必ず人間の意図が介在するからです。

ということで、科学的なデータの中には粗悪なモノもあるわけですが、ここからはそんな粗悪品を見破るために知っておきたい特徴について見ていきましょう。

バッドサイエンスの特徴12箇条を押さえて粗悪なデータを見破ろう

ここでは、2014年に「Compound Interest(コンパウンドインタレスト)」という化合物を専門にしたサイトが公開したインフォグラフィック(#1)を参考にしていきます。

では早速その12箇条を見ていきましょう。

バッドサイエンスの特徴12箇条

大げさに誇張されたタイトル：記事のタイトルは読者の気を引いてクリックを誘導するものもある。この過程で研究の結果を単純化しすぎる恐れがあったり、最悪の場合、間違って示したりすることがある。
間違って解釈された結果：ニュース記事などは、研究の結果を間違って解釈していることがある。故意に捻じ曲げることもあるので、念のため元の研究論文も読むことをお勧めする。
雇われ研究者：多くの企業はお抱えの研究者を雇っている。当然企業にとって都合の良いデータが生まれやすくなるので、論文の「Funding(出資)」欄はチェックしておいたほうが良いだろう。
相関関係と因果関係の混同：相関と因果関係は別モノである。地球温暖化が1800年代から始まっていて、その頃から海賊の数が減っていても、海賊が減ったから地球温暖化が起こったとは言えないのである。
エビデンスのない推測：科学は推測から始まることもあるが、研究で実証された事実と仮説は明確に分けられなければならない。推測の表現を実証されたものとごっちゃにしないように気を付けたい。
サンプル数が少ない：実験のサンプルサイズ(被験者数)が小さいと、統計データとしてのパワーも弱くなる。これは費用なども考えると避けられないが、なるべくサンプルサイズは大いに越したことはない。
母集団の代表に相応しくないサンプル：科学では、世界の総人口を集めるのは不可能なので、代わりに統計的に全体の母集団を代表できるとされた数百~数千人くらいを対象に実験を行う。しかしこの代表サンプルが適切でないと、そもそも結果の信憑性が疑われる。
比較グループがない：何かの効果を検証するには、それを受けるグループと受けないグループを用意する必要がある。この比較がないと、効果を確認できたとしても、本当にその「何か」のおかげなのか？が分からないからだ。
盲検化されていない：盲検というのは、「実験の意図を知らされていない状態」を指していて、バイアスや思い込みによる影響を防ぐために行われる。被験者はもちろん、実施する研究者側も盲検化されていると「二重盲検」といって質の高い実験だと言える。
データの恣意的なチョイス：「チェリーピッキング」とも呼ばれていて、研究者らの導きたい結論をバックアップする結果だけ都合よく載せたり、それ以外を無視すること。当然公平なエビデンスではないので、信頼性はグンと落ちる。
再現不可能な結果：一度実証された研究結果が、その後の似たような実験で再現できないこと。ここ数年で心理学界に起こっている「再現性の危機」がまさにこれで、信頼に足るデータは、何度もあらゆる研究で再現されていなければならない。
ピアレビューがない：同じ分野の研究者たちから、論文の査読を受けているか？という点。この過程が科学雑誌に掲載される前には大抵行われていて、製品でいうところの「検品作業」みたいなもの。

このリストの解釈も人それぞれですが、個人的には「これに当てはまったらかなり質が落ちるな~」という条件から「これだけならまだマシかな」という条件まで色々だと思いました。

サンプル数や母集団、比較グループ、盲検化の項目などは「実験デザインの観点からみたデータの質」のことを言っていて、一方で、企業のお抱え研究者やデータを恣意的に選んだり、といった項目は「人間のバイアスや客観性の観点からみたデータの質」についての言及ですね。個人的にはバイアスや客観性のほうに厳しく反応しがちです(笑)

また結果の解釈が間違っていたり、タイトルで煽ったりするのは速報系のサイトやニュースページでありがちですね。「おぉ..この論文面白そう！」とニュース記事から出典元へ飛んで読んでみると、「あれ、これちょっと解釈間違ってるじゃん！」となったりすることもしばしば。

赤羽(Akabane)

ということで、科学的に信憑性が高い情報を見分けるには、①元の論文を読もう、②読むなら論文の「サンプル数、実験デザイン、出資情報」辺りはチェックしよう、③相関関係と因果関係の違いは押さえておこう、この3つは押さえておくと随分見分けがつくようになるんではないかと思います。もっと審美眼を鍛えたい！という方は以下もご覧いただくと良さそうですよ。