COVIDに関する「予備調査」は驚くほどしっかりしている

COVIDパンデミック以前は、査読は科学出版の心臓部でした。研究が科学的知識の体系に入るためには、研究者が学術雑誌に論文を提出し、学術雑誌が出版前に論文を他の専門家に送って編集や修正を行うことが期待されていました。

しかし、このプロセスは、初期の研究が人命を救う可能性があるCOVIDパンデミックの緊急性には適していませんでした。査読には数か月かかることが多く、論文を精査する科学者に膨大な無給労働を求めています。2020年初頭、プレプリントが正式に査読される前に、プレプリントサーバーと呼ばれるオープンアクセスデータベースに研究を投稿する科学者が増え始めました。

新たな研究は、科学的規範がプレプリントサーバー上でまだ機能していることを示唆している。医師で記者のトリシャ・パスリチャが週末のワシントンポスト紙に書いたように、「著者のグループが何らかの研究をパブリックドメインに公開すると、彼らは自分たちの評判を危険にさらすことになる」。

ニュースでは「予備研究」と呼ばれることが多いプレプリントは、ゲノミクスや神経科学など早期導入の分野ではすでに人気が高まっていたが、パンデミックによる時間的プレッシャーにより、新たな重要性が生まれた。パンデミックの最初の1年間で、プレプリントサーバーは7,000本のCOVID論文をホストし、ジャーナルは約12,500本の正式な論文を出版した（重複もあった）。多くのジャーナルとは異なり、プレプリントサーバーは誰でも無料でアクセスでき、研究者は投稿するために料金を支払う必要がない。これらの初期の論文の多くは最終的に査読を受ける。2つの主要なプレプリントサーバーの共同設立者は最近、2020年のCOVIDプレプリントの半分が正式に出版されたとTwitterに投稿した。いずれにせよ、プレプリントはCOVIDの科学とメディアでの報道の中心となっている。

これは論争の種となっている。プレプリントを批判する人々にとって、プレプリントは疑わしい科学の宝庫である。「出版前の査読がないプラットフォームでは、どんな馬鹿でもどんな馬鹿げた内容でも出版できるという限界がある」と、ある元ジャーナル編集者は先月、ニューヨークタイムズのコラムニストに語った。しかし、（査読のある）ジャーナル「PLOS Biology」で発表された2つの新しい分析によると、プレプリントには全体として、査読済みの研究とほぼ同じ情報と解釈が含まれているという。

ある論文では、計算生物学者がパンデミック前の何千ものプレプリントと査読済み論文を分析して言語の違いを調べるツールを開発した。2つ目の論文では、科学者グループが2020年12月から2020年4月までにプレプリントと査読済み論文として発表された184本の論文すべてを手作業で調べた。

どちらの分析でも、プレプリントと査読済み出版物の間の変更は、論文の結論の全面的な改訂を伴うことはほとんどないことがわかった。研究者はほとんどの場合、文法上の小さな変更のみを発見した。「私たちの研究結果が促すのは、査読の役割の再評価だと思います」と、ウィリアム・ハーベイ研究所の免疫学博士研究員で、2回目の査読の著者でもあるジョナサン・コーツ氏は言う。「[科学者と納税者の両方が]査読に費やす時間とお金は、それだけの価値があるのでしょうか?」

ペンシルバニア大学医学部の博士課程の学生であるデイビッド・ニコルソン氏は、大規模な計算分析のために、「人々はプレプリントをどのように利用しているのか？」という幅広い疑問から始めました。しかし、ニコルソン氏のチームはすぐに、彼が開発したツールが、査読が科学論文の執筆にどのような影響を与えるかを測定するのにも使用できることに気付きました。「査読は時間がかかり、時間がかかりますが、論文に見られる変化にもつながるのでしょうか？」と彼は言います。

ニコルソン氏のチームは、国立衛生研究所のオープンアクセス研究ライブラリにある300万件の論文と、2020年2月時点でプレプリントサーバーBioRxivに掲載されている9万8000件の論文を比較した。（BioRxivと、その医療特化型スピンオフであるMedRxivは、COVIDプレプリントの大部分をホストしている。）また、プレプリントを公開版と照合して変更点を分析した。

「デビッドが見ているのは、プラス記号やマイナス記号、エムダッシュなどのタイプセットの記号、および『追加』『補足』『ファイル』などの単語が変更されたということです」と、コロラド大学医学部の計算生物学者で論文の著者であるケイシー・グリーンは言う。「これは、人々が出版時にテキストを大幅に変更しているのではなく、主要な主張をさらに裏付け、その内容がタイプセットされていることを示しています。」

一方、2回目のより詳細なレビューでは、それらの小さな変更が実際にはどのように見えるかが明らかになった。コーツ氏のチームは、査読中に著者が結論を覆した例は1件しか見つけられなかったが、COVID関連の論文の17％と非COVID関連の論文の7％で結論に「大きな変更」があった。「プレプリントと論文で気づいたことの1つは、結論の違いではなく、結論の表現方法です」とコーツ氏は言う。たとえば、名詞が入れ替わったり、確実性が抑えられたりしていた。「査読プロセスでは、確かにその通りですが、言葉遣いをもう少し控えめにしてくださいと言っているのです」とコーツ氏は付け加えた。

コーツ氏と共著者は、ここでの教訓は、プレプリントの信頼性をいきなり信用するべきではない、と主張する。査読済みの論文を疑う気持ちを同様に持つべきだ。「査読済みの文献はプレプリントと同じくらい信用すべきです」とコーツ氏は言う。「それは、常識の問題だと思います。論文を読むときはいつでも、自分自身で査読をすべきです。他の人にどう思うか尋ねるべきです」

[関連: 科学と疑似科学の見分け方]

MedRxiv と BioRxiv は盗作、非科学的、そして明らかに虚偽の研究をスクリーニングしている。また、大学間の若手免疫学者のグループである Preprint Review Club のようなプロジェクトが生まれ、正式に出版されていない研究に対して標準化されたレビューを提供している。

「最終目標は、（出版を）科学コミュニティー全員に利益をもたらす、より協力的なプロジェクトにすることです」と、オックスフォード大学の免疫学者でプレプリント・クラブのコーディネーターであるエスター・ギア・マロルキ氏は言う。「私たちは、この独立した、より透明性の高い査読プロセスに貢献し、フィードバックと建設的な批判を提供することを目指しています。」

ヘア・マヨルキ氏は、自身の経験からすると、「プレプリントのほとんどはアップロードされた時点でほぼ完成している」と語る。しかし、このような小さな変更は驚きであり、出版プロセスのさらなるオープン化を促すものだと彼女は言う。

査読も常に完璧な盾だったわけではない。ヒドロキシクロロキンがCOVIDの治療薬として有効であるという、今では誤りとされているものの広く引用されている論文が、 International Journal of Microbial Agentsに掲載された。査読の目的は、必ずしも正しい答えに落ち着くことではなく、盗作や誤った論理をふるいにかけることだ。

パンデミックの間、科学雑誌はいくつかの点で適応してきた。COVID関連の研究の出版期間は短縮され、ロックダウン中は研究室に入るのが物理的に困難だったことを認識して、査読者が追加の実験や結果を求める可能性は低くなったとコーツ氏は言う。著名な雑誌出版社テイラー・アンド・フランシスも、潜在的な著者に「加速出版」オプションの販売を開始した。投稿後3～5週間で論文を出版するのに7,000ドルを請求する。

最終的に、プレプリント サーバーは科学雑誌から意思決定権を奪い、研究者に権限を与えます。「研究が共有されると、権限が切り替わります」と Coates 氏は言います。「編集者と何人かのランダムな査読者が共有してもよいと言うのを待つのではなく、科学者が決定を下します。」

これは、彼のような若手研究者にとって特に価値のあることだ。「[プレプリント サーバーは] 研究が終わってから出版されるまでの 1 年間を短縮してくれるので、助成金を申請することができます」とコーツ氏は言う。さらに、研究をより幅広い読者に公開できる。「一般の人々にとっても本当に良いことです。ちょっとした研究に興味があれば、ジャーナルでアクセスするためだけに 1 万ドルも払うのではなく、実際に読むことができるからです」とコーツ氏は説明する。

それでも、ギア＝マロルキ氏は、プレプリントの即時性には欠点もあると語る。「この分野の専門家として、プレプリントを見るときには、より重要なものをすでに選別しているのも事実です」。プレプリントサーバーは誤解を招く研究を素早く削除してきたが（彼女は最近の「デルタクロン」論文を例に挙げている）、それでもプレプリントはメディアで大きな話題になる可能性がある。

PLOS Biologyのこの 2 つの論文は、プレプリントが科学的な対話の本質をどのように変えることができるかを示すものです。それぞれのチームは、昨年の春に BioRxiv にプレプリントとして論文を掲載しました。その後、お互いの論文を繰り返すのではなく、全体像を同時に公開することに決めました。

コーツ氏は、この協力関係がなければ、彼のグループの研究が正式な査読を受けられなかった可能性も高いと語る。彼らには出版費用を払うお金がなかったが、結局グリーン氏の研究室がそれを負担することにしたのだ。

更新（2022年2月3日）：このストーリーは、新しいプレプリント分析のいずれの著者でもなかった研究者からのコメントで更新されました。