CA2001 – 動向レビュー:オープン査読の動向:背景、範囲、その是非 / 佐藤 翔

PDFファイル

カレントアウェアネス
No.348 2021年06月20日

 

CA2001

動向レビュー

 

オープン査読の動向:背景、範囲、その是非

同志社大学免許資格課程センター:佐藤   翔(さとうしょう)

 

はじめに

 オープンサイエンスの潮流の中でオープンアクセス(研究成果のオープン化)、研究データ公開に次いで注目されているトピックの一つに、査読のオープン化(Open Peer Review、以下「オープン査読」)がある。オープン査読には研究の透明性向上やいわゆるハゲタカ出版者(CA1960参照)判別への寄与等、多くの期待がかけられ、導入する雑誌・出版者も増えている。

 一方で、オープンサイエンスに関するあらゆるトピックがそうであるのと同様に、オープン査読とはいったい何なのか、査読の何を「オープン」にしようとしているのかは、話者やプロジェクトによりまちまちであり、議論の混乱を招いてきた。そこで最近では、後述のように、オープン査読に関連する用語の定義を整理する試みも進められているが、日本語での紹介例は少ない。

 本稿ではオープン査読が提唱される背景としての現状の査読とその問題点を概観した後、現在「オープン査読」と呼ばれている試みの範囲を整理する。そのうえで、オープン査読は現状の査読の問題点克服に本当につながるのか、さらにそもそも査読が「クローズド」になった経緯を振り返り、オープン査読の是非を検討していく。

 

1. あらためて「査読」とは?

 現代の学術情報流通、とりわけ科学・技術・医学分野における学術雑誌を特徴づけるのは査読制度の存在である。雑誌に論文が投稿されると、編集者はその内容を審査するにふさわしい外部の研究者(査読者)に原稿を送り、掲載可否の判断や、改善点・疑問点をまとめたレポートの作成を依頼する。編集者はこのレポートを参考に論文の採否を決定し、著者に修正や再投稿を指示する。査読は研究者間で共有すべき情報を選別する「質のフィルター」であり、また投稿論文の内容改善の役割も担うものである。

 一方で、現状の査読制度はさまざまな問題も抱えている。詳細は既に別稿(CA1829参照)(1)でも指摘しているが、以下では簡単に概観する。

(1) 査読にかかる時間・コストの増大

 査読にあたっては一般に、1論文に対して2人から3人の査読者が指名される。慣習的に多くの場合、査読者に報酬はない。世界中で生産される論文数の増大に対し、査読の引き受け手が不足し、一部の査読者に負担が集中したり、査読者が見つからず論文の採否判断にかかる時間が増大(それに伴い専業編集者の人件費も増大)したりしていると言われている。解決策として、査読を研究業績として認める可能性等が模索されている。

(2) 「質のフィルター」としての機能不全

 査読が「質のフィルター」として機能するためには、有効性(質の高いものを選出できること)、信頼性(同じような論文が投稿されれば毎回、採否判断が同様になること)、公正性(採否の判断が平等にされること)が確保されていることが必要である。しかし実際の査読においては、優れた研究でも却下される(有効性の問題)、同じ内容を同じ雑誌に投稿しても採否判断が変わりうる(信頼性の問題)、著者の性別・経歴・第一言語等によって査読者にバイアスがかかり、査読結果が左右される(公正性の問題)ことが知られている。

 公正性の問題については、バイアスの影響を避けるために、近年では著者と査読者、双方に互いの名前を伏せる「ダブル・ブラインド」方式や、さらに編集者にも著者・査読者の名前を伏せる「トリプル・ブラインド」方式を採用する雑誌もあらわれている。ただ、依然として多数派は、著者には査読者の名前を伏せるが査読者には著者名が明かされる「シングル・ブラインド」方式である。

(3) 査読における不正行為

 査読者、論文著者、そして雑誌編集のそれぞれが、査読においてさまざまな不正を行う事例が知られている。古くから指摘されているのは査読者の不正で、ライバルの論文を査読でわざと却下したり、判定を下すのを遅らせて、その間に自分が研究を進めて先んじようとしたりする、あるいは査読で得たアイディアを盗用する、といった行為の存在が疑われている。

 著者と雑誌編集の不正は比較的近年、登場したものである。著者の不正としては、査読依頼が自分の管理するメールアドレスに回ってくるように細工をし、自分で自分の論文の査読をしてしまう手法が知られている。メールによる査読依頼の浸透、査読者選定のシステム化、査読者不足に伴う投稿時に査読者を推薦できる制度の一般化等によって実現可能になったが、近年は雑誌編集の側も警戒を高めている。

 雑誌編集の不正とはいわゆるハゲタカ出版に多い、査読の詐称、つまり実際には査読を行っていないのに行っているふりをすることで、査読のコストはかけずに論文投稿を集めようという手法である。論文処理加工料(APC)収入を得ることを目的にこうした行為は多く行われている。

(4) 問題点の原因:査読の不透明さ

 (1)から(3)であげた問題点の多くは、査読のさまざまな「不透明さ」に由来する。すなわち、著者には自身の論文が現在どのような処理状況にあるのか「不透明」なので、時間がかかりすぎると不満を持つ。また、査読が本当に行われているのかもわからない。査読者の名前や査読レポートの内容は「不透明」なので査読者にとって研究業績にはならない(例えば、もしノーベル賞を取る契機となった論文に、非常に有効な助言を査読でしていたとしても、査読者には何の功績も認められない)。一方で、査読者も査読レポートも著者や外部に「不透明」なのでさまざまな不正行為やバイアスもとがめられにくい。この「不透明」さを解消しようというのが「オープン査読」の潮流なのである。

 

2. 「オープン査読」の定義・範囲

 査読の何らかの「不透明」を解消し、透明性を高める、という点は多くの「オープン査読」の試みに共通している。しかし現状の査読はさまざまな点で不透明なため、どの点の透明性を向上しようと考えるかは人や試みによってまちまちである。

 結果、さまざまな異なる試みが「オープン査読」と呼ばれるようになり、その定義は120以上にもわたったという。それらの定義をレビューし、共通する要素等をまとめたロス=ヘラー(Tony Ross-Hellauer)は、オープン査読を「査読者や著者を公開すること、査読レポートを公開すること、査読プロセスへの参加機会を拡大することなど、オープンサイエンスの目的に沿って査読モデルを適応させるための、いくつかの重複した方法を表す包括的な用語」と定義している(2)。ロス=ヘラーがまとめたオープン査読と呼ばれる試みの特徴は以下の7点で、特に(1)から(3)がこれまでのオープン査読の試みに最もよく出てくるとしている。

(1) アイデンティティの公開(Open identities):著者と査読者にお互いが誰か(identity)が明かされる

(2) 査読レポートの公開(Open reports):査読レポートが当該論文と一緒に公開される

(3) オープンな参加(Open participation):広範なコミュニティが査読プロセスに参加できる

(4) オープンなやり取り(Open interaction):著者と査読者、もしくは査読者間での直接のディスカッションを認める、推奨する

(5) 査読前原稿の公開(Open pre-review manuscripts):査読の開始前に、投稿原稿はarXiv等のプレプリントサーバを通じて公開される

(6) 最終版へのコメント機能(Open final-version commenting):査読を経て公開された最終版の論文に対し、コメントやレビューがつけられる

(7) オープンなプラットフォーム(非連結レビュー)(Open platforms (“decoupled review”)):査読を、発表の場(雑誌・国際会議等)とは異なる組織・プラットフォームによって実施する

 また、国際STM出版社協会(STM)も査読、特にオープン査読をめぐる用語を定義・標準化する必要を認識し、ワーキンググループを立ち上げて査読に関する標準用語集(A Standard Taxonomy for Peer Review)を作成しており、2020年9月付けで第2版まで公開されている(3)。査読に関する用語集ではあるが、その内容の多くはオープン査読を意識して作られたものである。具体的には以下の4項目について、用語が定められている。

(1) アイデンティティの透明性(Identity transparency):査読関係者(著者、査読者、編集者)について、「査読中に」互いに公開されるか。“All identities visible”(すべて公開)、 “Single anonymized”(著者には査読者名が伏せられる)、 “Double anonymized”(著者・査読者名が互いに伏せられる)、 “Triple anonymized”(著者・査読者名が互いに伏せられ、また編集者にも著者・査読者名が伏せられる)の4種類がありうる。

(2) 査読者が誰とやり取りするか(Reviewer interacts with):“Editor”(編集者のみが査読者とやり取り)、 “Other Reviewer(s)”(査読者間の直接のやり取りを認める)、 “Authors”(著者と査読者の直接のやり取りを認める)の3種類。やり取りの有無とアイデンティティの透明性は独立である(互いに匿名のままでやり取りする、という可能性ももちろんある)。

(3) レビュー情報の公開(Review information published):“None”(なにも公開しない)、 “Review summaries”(査読内容やプロセスの概要を公開)、 “Review reports”(査読レポートを公開。著者が認めたもののみ、査読者が認めたもののみ、のオプションもあり)、 “Submitted manuscripts”(投稿時の原稿。著者が認めたもののみ、のオプションあり)、 “Author/editor communication”(著者と編集者のやり取り)、 “Reviewer identities”(査読者が誰かの情報。査読者が認めたもののみ、のオプションあり)、 “Editor identities”(担当編集者が誰かの情報)といった選択肢がありうる、とされている(査読レポートの公開と査読者の公開等、同時に行われるものもある)。

(4) 出版後のコメント(Post publication commenting):“Open”(誰でもコメントできる。匿名でも認めるか、サインイン・登録等を求めるか等の方式がある)、 “On invitation”(編集者等が選んだ・認めた者のみがコメントできる)

 ロス=ヘラーの論文とSTMの用語集に共通して登場するのは、アイデンティティの公開、査読レポート等の公開、オープンなやり取り、査読前原稿の公開、最終版へのコメント機能、の5点である。

 このうちアイデンティティの公開はオープン査読最大の争点である。査読者名が明かされることで、査読への貢献が評価されないという査読者の不利益を解消し、査読者による不正防止も期待できると同時に、似たような論文の査読者を知ることで、査読者探しがしやすくなる可能性もある。しかし査読者名を「どの時点で」「誰に明かすのか」には、実はいくつかのパターンがある。単に不正を防止するだけなら、著者が査読者名を把握できていれば十分かもしれないが、貢献を業績として認めたり、査読者を探しやすくしたりするためには一般に公開されることが必要となる。しかし一般に公開するだけが目的なら、必ずしも査読中に著者に査読者名を明かす必要はない。STMの定義は「査読中のアイデンティティ」と「査読後に公開する情報」を分けることで、この点に対応している。

 査読レポートの公開もまた、査読者の貢献を示す手段であり、不正防止の効果も期待される(不適切なレビューを書いてしまえば公にされうる)。また、査読前原稿の公開も、査読が行われる前の段階での論文を公開することで、査読によって論文がどう変化していったかを示す、つまり査読の貢献を示す手段の一つと言える。

 オープンなやり取りや最終版へのコメント機能も、双方の定義に含まれているが、ロス=ヘラーがオープン査読の重要な要素として指摘しつつ、STMが用語集に取り入れていない観点として「オープンな参加」、すなわち査読中の段階で、編集者が選んだ査読者以外の者もコメントを付ける等、査読に参加できる方式がある。後述するとおりこのような方式を採用している実例としてF1000(4)の雑誌群等があるが、STMの用語集ではあえてF1000のような雑誌モデルには触れない、と明言し、「複雑になり過ぎる」ことをその理由としている。また、STMの定義ではオープンなプラットフォーム(非連結レビュー)にも触れていないが、ここまでに挙げた要素とプラットフォームを分けるか否かは独立しており、査読に関する用語集としてはプラットフォームに言及する必要は特にないとも考えられる。

 

3. オープン査読の現状

 オープン査読にはさまざまな要素が含まれることを概観してきたが、実際に運用されているオープン査読はこれらの点をどの程度、満たしているのか。2018年時点で、オープンアクセス雑誌のディレクトリであるDOAJに収録されている雑誌を主な対象として、オープン査読の状況を調査したウォルフラム(Dietmar Wolfram)らは、同時点でオープン査読を採用しているとしている雑誌は174誌で、採用論文数は21万2,226本であった、としている(5)。この174誌中、アイデンティティの公開を採用している雑誌が173誌(うち141誌は強制、32誌は任意)、査読レポートの公開を採用している雑誌が110誌(107誌は強制、3誌は任意)であった。そもそもウォルフラムらが調査しているのがこの2つの観点であることもあるが、査読レポートの公開以上に、アイデンティティの公開を採用することをもって「オープン査読」である、としている雑誌が多かったと言える。

 ウォルフラムらの調査の段階ではそもそもオープン査読採用雑誌が限られていたが、その後、2018年にはClarivate Analytics社が、同社が有する論文投稿管理システムScholarOneと、査読プラットフォームPublons(CA1961参照)を連携し、Wiley社の雑誌を対象にオープン査読システムを提供することを発表する(6)等、大手の商業出版者やそのプラットフォームでもオープン査読の採用例が現れている。また、近年伸長しているF1000系の雑誌も、オープン査読のうちアイデンティティの公開、査読レポートの公開はもちろん、オープンな参加やオープンなやり取りを含め、「オープンなプラットフォーム」以外のすべての要素を満たすものと言えるだろう。F1000に関しては筑波大学がUniversity of Tsukuba Gatewayを開設し、すでに論文の公開も開始されており、日本における数少ないオープン査読採用例となっている(E2288参照)(7)。なお、独立したオープンなプラットフォームの例としては、米・マサチューセッツ大学アマースト校の研究者らが開発・運用し、コンピュータ科学分野を中心に複数の査読のある国際会議で採用されているOpenReview.net(8)があるものの、他分野で一般化するには至っていない。現状では論文の投稿・管理システムの採否と、オープン査読の採否は切り離せないと言える(オープン査読を妥当な労力の範囲で運用するには、オープン査読に対応した論文投稿管理システムを選ばざるを得ない)。

 全体に、F1000等一部の例を除けば、現状「オープン査読」を採用している、とされている雑誌の多くは「アイデンティティの公開」と「査読レポートの公開」(および査読前原稿の公開)を採用している、と言える。

 

4. オープン査読の問題と、クローズド査読自体の見直し

(1) オープン査読はクローズド査読の問題を解決できるのか?

 現状の査読(以下、オープン査読との区別のため「クローズド査読」と呼ぶ)の不透明さがさまざまな問題の原因と考え、透明性を向上し問題を解決しようと現れたのがオープン査読の動きである。では、実際にオープン査読によって、クローズド査読の問題は解決できるのだろうか。結論から言ってしまうと、可能性はあるが、できる証拠は現状、ない。

 オープン査読の定義をレビューしたロス=ヘラーがこの点についてまとめている(9)。まず時間・コストの問題について、アイデンティティの公開や査読レポートの公開は査読者集めをかえって難航させる(査読者がやりたがらなくなるため)可能性がある。査読レポートが業績として認められるようになれば査読を引き受けるインセンティブにはなりうるが、実際にそうなるかは未知数である。オープンなやり取りも、著者・査読者のやり取りが長期化する可能性がある。オープンな参加は、編集者の仲介が不要なのであればコスト削減につながるものの、実際には仲介なしでは査読者が集まらなかったり、議論の仲裁が必要になったりすると見込まれる。

 「質のフィルター」としての機能不全については、査読レポートが公開されるために、よりよい査読レポートを書こうと思う(結果として有効性・信頼性が向上する)ことや、バイアスがある査読が可視化されやすくなる可能性はある。ただ、これについては最近の研究で、特に査読レポートの公開が質の向上等に寄与している形跡は見られない、という指摘がある(10)。公正性については、バイアスのある査読が他者からも精査できるようになる一方で、アイデンティティの公開によって、(ダブル・ブラインド制であれば確保されていた)著者の匿名性を奪う、という指摘もある。もっとも、実はダブル・ブラインド制によってバイアスが排除されている証拠はない、とも言われている(11)

 ロス=ヘラーのまとめの中では言及されていないが、査読における不正行為については、おそらく唯一、オープン査読によってかなり軽減される問題であろう。査読者が不正をしようとしてもレポートが公開されたり、査読者が明かされたりするなら困難であるし、査読をやっているふりをする、査読者は却下と判定しているのに編集者が素通りさせる、ということも行いにくくなる。ただし、オープンな参加を認めた場合等には、新たな不正(匿名の参加者として査読結果を操作する、等)が発生する可能性がある。

(2) そもそもなぜ査読は「クローズド」なのか

 前述の通り、クローズド査読が抱える問題の多くはクローズド、不透明であることに起因する。しかしクローズドになったのは経緯・理由があってのことであり、そこを考えずにオープンにしようとしても、うまくいくとは限らないのも道理である。

 ではなぜ査読は「クローズド」になったのか。オープン査読の特徴の中でも最もよく言及されるのは前述のとおり、「アイデンティティの公開」、「査読レポートの公開」、「オープンな参加」の3点であるので、これらの点に絞って以下、論じていく。なお、以下の記述は専らボールドウィン(Melinda Baldwin)による査読の歴史に関する論文を参照している(12)

 そもそも学術雑誌において、編集を担当する人々ではなく、外部の専門家・研究者の意見を聞く、という査読制度を開始したのは、最古の学術雑誌の一つとしても知られている英国王立協会のPhilosophical Transactions of the Royal Society誌であったという。同誌の創刊は1665年であるが、外部の研究者の意見を聞く査読制度は19世紀になってはじめて導入された。当初は、投稿論文に対するコメントを2人の研究者が執筆し、それを同協会の発行する別の雑誌に掲載する、という制度が想定されていたというが、このコメント掲載制度は廃案になり、専門家の意見を聞く、という制度だけが残ったという。また、当初はコメントの公開も想定されていたほどであり、査読者が誰かは著者はもちろん、読者にも公開される想定であったが、協会内で「査読者は匿名の方がより率直なアドバイスができる」との意見が出たことで、査読者は匿名化され、また査読レポートも著者に直接は送られないこととなった。アイデンティティ・査読レポートは、査読のごく初期段階からクローズドになったわけである。逆に言えば、もし当初案が通っていたら、査読者名・査読レポートはごく初期からオープンになっていた可能性もあった。

 19世紀に一部の雑誌で開始された査読制度であるが、実は科学・技術・医学分野においてすら、現在ほどに普及したのは20世紀後半になってからのことであった。1960年代になって米国で査読を制度化する雑誌が増えていったものの、その理由は編集者の省力化、つまり掲載判断にかかる労力を少なくすることであったという。言い換えれば、外部の査読者が「質のフィルター」として現在ほどに重視されていたわけではなかった(編集部内で人手が足りていれば、導入されていなかった)。実際、多くの雑誌、特に商業誌では査読制度の導入はより遅れている。

 「質のフィルター」として、つまり「良い科学」を選び出す手段として査読が重視されるようになった契機は、実は学術雑誌ではなく、研究助成の審査にあった、とボールドウィンは指摘している。研究助成の審査と雑誌論文の査読は、よく考えてみると全くの別物であるし、その方法の確立にも、実はあまり互いに影響しあっていない。それにもかかわらず時と場所(1970年代・米国)を同じくしていずれも重視されるようになり、かついずれもそれまでの「レフリー(Refereeing)」という呼び方から「ピア・レビュー(Peer review)」という呼び方へと用語が変化していった。これはPeer、つまり同じ専門家しか、「良い科学」を選び出すことはできない、という主張をする必要性に、米国の科学界が直面したからであるという。

 1970年代、米ソ冷戦構造の一時的な緊張緩和によって研究競争の必要性が弱まったことや、石油ショック等による不景気にさらされていた米国では、増大していた政府の科学研究予算が疑問視されるようになった。その中で米連邦議会において、全米科学財団(NSF)の科学予算がやり玉にあがることとなる。助成を受けたプロジェクトが納税者にとって役立つものなのか、そもそも審査のプロセスは妥当なのか、といったことが議員から糾弾され、NSFの助成対象の最終決定権を議会が持つ制度も提案された。また、審査者や審査レポートの公開も要求された。審査が妥当になされたか、NSFが恣意的に対象を選んでいないか、等が疑問視されたためである。

 この議論の過程で、NSFや公聴会で意見を聞かれた科学者らの多くは、助成対象を審査する妥当な方法は外部の専門家による査読しかありえないこと、査読レポートや査読者名を秘すことは、外部、あるいは審査対象者の圧力から査読者を守るには必須であること等を主張する(後に申請者に対しては、査読者名を削除した上でレポートを公表するとされた)。この時のやり取りを経て、米国の科学界においては「良い科学」を正しく判断するには外部の、同じ分野の査読者に頼らなければならない、そして査読者が誰かは秘されるべきである、という一般的なコンセンサスが得られたという。その後、米国はもちろん他国の学術雑誌においても査読制度が一般化していくのは、そうしないと米国の研究者からの支持が得られないという懸念もあってである。

 これも逆に言えば、米国での一連の動向がなければ、外部の専門家が審査する、現在のような査読はここまで普及していなかったかもしれず、かつ米国で「外部の専門家の判断」であることがここまで重視されたのは、NSFの恣意的な判断ではないことを示すと同時に、研究者ではない議員の価値観に助成金配分が左右されることを避けるためであった。

 ボールドウィンの論考を踏まえて考えれば、もしNSFをめぐる議論がないままであれば、外部専門家による査読は編集者の省力化の一つの方法として位置づけられるままであった可能性もあり、そうであればコンテンツ選出の省力化の別の手法として「オープンな参加」が普及する可能性もあった。というよりもむしろ、査読が普及しないままインターネットの普及とメディアの変化を迎えていれば、そうなった可能性は大いにあったかもしれない(現在の動画メディア等のように)。

 このように、アイデンティティや査読レポートが公開されないのは査読者が率直な意見を言えるため、圧力を受けないためにごく初期から取り入れられた方法であり、限定された専門家による査読が重視されるのは、恣意的な対象選出を行っていないことを保証すると同時に、非研究者の介入を防ぎ、科学界を守るためであった。しかし英国王立協会の当初の提案ではアイデンティティ・査読レポートともに公開予定であったことや、過去には多くの雑誌がそもそも査読を行っていなかったことからもわかるように、常に異なる選択肢も存在していたのである。実際、査読者がアイデンティティを公開するか否かと、査読レポート中で用いる表現の間には特に関係がない、とする調査もあり(13)、もし査読レポートが当初から公開されていたならば、「そういうものだ」と科学者たちは受け入れていたのかもしれない。我々研究者はつい、査読を代替できるものなどないと思いがちであるが、1970年代までの多くの国では必ずしも査読は重視されておらず、そこから査読が重視されるようになったのも、少なくとも学術雑誌においては必然的な現象ではなかった。固定観念にとらわれず、査読についてオープンに考えてみることも重要だろう。

 

(1) 佐藤翔. 特集, 研究倫理: 査読の抱える問題とその対応策. 情報の科学と技術. 2016, 66(3), p. 115-121.
https://doi.org/10.18919/jkg.66.3_115, (参照 2021-04-30).

(2) Ross-Hellauer, T. What is open peer review? A systematic review [version 2; peer review: 4 approved]. F1000 Research. 2017, 6, 588.
https://doi.org/10.12688/f1000research.11369.2, (accessed 2021-04-30).

(3) Jones, L. et al. “A Standard Taxonomy for Peer Review”.
https://osf.io/68rnz/, (accessed 2021-04-30).

(4) F1000 Research.
https://f1000research.com/, (accessed 2021-04-30).

(5) Wolfram, D. et al. “Open Peer Review: The Current Landscape and Emerging Models”. Proceedings of the The 17th International Conference on Scientometrics & Informetrics. Rome, Italy, 2019-09-02/05.
https://trace.tennessee.edu/utk_infosciepubs/60/, (accessed 2021-04-30).

(6) “Bringing Greater Transparency to Peer Review”. Clarivate. 2018-09-13.
https://clarivate.com/news/bringing-greater-transparency-to-peer-review/, (accessed 2021-04-30).

(7) “University of Tsukuba | Research Gateway”. F1000 Research.
https://f1000research.com/tsukuba, (accessed 2021-04-30).

(8) OpenReview.net.
https://openreview.net/, (accessed 2021-04-30).

(9) Ross-Hellauer. op. cit.

(10) van Rooyen, S. et al. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ. 2010, (341), c5729.
https://doi.org/10.1136/bmj.c5729, (accessed 2021-04-30).

(11) Godlee, F. et al. Effect on the quality of peer review of blinding reviewers and asking them to sign their reports: a randomized controlled trial. JAMA. 1998, 280(3), p. 237-240.
https://doi.org/10.1001/jama.280.3.237, (accessed 2021-04-30).

(12) Baldwin, Melinda. Scientific Autonomy, Public Accountability, and the Rise of “Peer Review” in the Cold War United States. Isis. 2018, 109(3), p. 538-558.
https://doi.org/10.1086/700070, (accessed 2021-04-30).

(13) Wolfram, D. et al. An exploration of referees’ comments published in open peer review journals: The characteristics of review language and the association between review scrutiny and citations. Research Evaluation. 2021, Rvab005.
https://doi.org/10.1093/reseval/rvab005, (accessed 2021-04-30).

 

[受理:2021-05-07]

 


佐藤翔. オープン査読の動向:背景、範囲、その是非. カレントアウェアネス. 2021, (348), CA2001, p. 20-25
https://current.ndl.go.jp/ca2001
DOI:
https://doi.org/10.11501/11688293

Sato Sho
Open and Closed Peer Review
: Advantages and Disadvantages of Each

 

クリエイティブ・コモンズ 表示 4.0 国際

本著作(CA2001)はクリエイティブ・コモンズ 表示 4.0 国際 パブリック・ライセンスの下に提供されています。ライセンスの内容を知りたい方は https://creativecommons.org/licenses/by/4.0/legalcode.jaでご確認ください。

'}}})();