科学者は重要な科学を特定するのが苦手、研究で判明

歯科医 5 人中 4 人の言うことをあまり信じすぎないほうがいいのかもしれない。科学者、同じ分野の専門家でさえ、どの研究が最も重要であるかについて意見が一致していないことが、新しい研究で (当然のことですが) 判明した。一方で、専門家が意見が一致しないのは当然のことだ。他方では、科学者でさえ優れた科学とは何かを正確に特定できないことを示唆している。新しい研究では、科学者は論文が掲載される雑誌の権威に過度に影響されていることも判明した。

「メリットを評価するのは非常に難しい。私たちは皆、霧の中でつまずいているようなものだ」と、英国サセックス大学の生物学者アダム・エア・ウォーカー氏はポピュラーサイエンス誌に語った。

エア＝ウォーカー氏と同僚のニーナ・ストレツキ氏は、出版後に専門家が査読した6,000件以上の論文を調べた。論文は2つのデータベースから集められた。1つは研究資金提供団体ウェルカム・トラストのデータベースで、同団体は資金提供した論文の出版後に専門家に査読を依頼している。もう1つはFaculty of 1000で、生物学者が好きな論文を投稿し、採点し、それについて話し合うウェブサイトである。エア＝ウォーカー氏とストレツキ氏は、これら2つのデータベースで、同じ論文を評価する科学者が論文に同じ採点を付けることは、偶然に付ける場合とそれほど変わらないことを発見した。

2人はまた、査読者の採点が論文が掲載された雑誌の権威に大きく左右されていることも発見した。他の科学者による引用頻度など、他の評価基準では同等の論文であっても、科学者はより権威のある雑誌に掲載された論文をより高く評価した。

「論文がどこで出版されるかには大きな確率的要因が関わってきます」とエア・ウォーカー氏は言う。

英国政府は、政府資金による研究に関する論文を定期的に外部の専門家に査読してもらい、資金が適切な場所に使われているか確認している。エアーウォーカーとストレツキは、これが価値のある取り組みかどうかを確認したかった。米国には同等のプログラムはないが、生物学者の発見は英国以外にも影響がある。論文が出版前に受ける専門家による査読が、同じように面倒なものである可能性があることを示唆している。「私たちが推測するのは、出版前に論文の価値や重要性を評価するという点では、膨大な量の誤りが伴うということです」とエアーウォーカーは言う。

出版前の査読は、世界中で科学研究の実施方法の中核をなすものです。多くの科学者がこのプロセスには改善の余地があると主張しており、それを裏付ける数学的根拠を見るのは興味深いことです。

1 つ注意点がある。エアーウォーカー氏とストレツキ氏はこの点を評価したわけではないが、専門家は論文が真実か正確かを判断するのが得意だとエアーウォーカー氏は考えている。しかし、研究論文をジャーナルに掲載するには、正確さだけが重要ではないことが多い。ジャーナルの専門家査読者は、論文が重要か興味深いかを考える必要がある。特に、ネイチャーやサイエンスなどの権威あるジャーナルの場合はそうだ。しかし、エアーウォーカー氏の研究は、アイビーリーグの大学に入れなかったときに友人に言われたように、トップジャーナルに掲載されるかどうかは運次第であることを示唆している。

「論文が出版されるかどうかには、大きな確率的要因が関わってきます」と彼は言う。「同等の価値を持つ論文が 2 つあって、そのうちの 1 つは幸運にも、すべての査読者から素晴らしいと評価される一方で、もう 1 つはそれほど幸運ではないかもしれません。」

エア＝ウォーカー氏は解決策を思いついた。「興味深いかどうかに関わらず、科学の多様性に資金を提供し、科学の多様性を出版すべきだ」と同氏は言う。一方、エア＝ウォーカー氏の研究と並行して発表された意見記事では、科学者と出版社のチームが、科学には何が素晴らしいかを判断するためのより良い基準が必要だと主張している。

少なくとも1つの主要ジャーナルがエア＝ウォーカーの提案に従っている。オープンアクセス出版社のパブリック・ライブラリー・オブ・サイエンスの旗艦ジャーナルであるPLOS ONEは、論文が興味深いか重要であるかを評価することなく、「技術的に健全な」すべての論文を掲載することを約束している。エア＝ウォーカーとストレツキは、論文の重要性について判断を下す同じ出版社のジャーナルであるPLOS Biologyに研究成果を発表した。