人間とウェブの未来

「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。

論文のrejectという希望

お知らせ 思った事 研究

ここ2、3年で目標としていた、IEEE Computer SocietyのFlagship Conferenceの一つとされているCOMPSAC 2020のメインシンポジウムに、ファーストオーサの論文がフルペーパーで採録されました。

送られてきたメールによると、今回のメインシンポジウムのフルペーパ採録は24%以下ということで、昨年の250本程度の投稿論文があることを考えると、全体のフルペーパ採録は60本程度になるかと予想できます。去年はCOMPSACのメインシンポジウムにショートペーパとしてファーストオーサの論文が1本採録、ラストオーサの論文がショートペーパで1本、併設ワークショップに1本という実績でした。

さらに、2年前は未だに当時のショックを覚えているぐらいに、メインシンポジウムでの査読でフルボッコの査読結果を頂き、なんとか気を持ち直してワークショップに通すことができた、ぐらいの実績でした。その当時の話は以下のエントリにも書いています。

hb.matsumoto-r.jp

hb.matsumoto-r.jp

そういう意味で、自分のやり方を2年前に見つめ直し、国際会議に自分の論文を通すための方法論について模索し、論文の書き方、更には国際会議に通すための英語の論文を模索したのが昨年でした。その模索についての去年の夏の段階での考えは以下のエントリにまとめています。

hb.matsumoto-r.jp

レベルの高い国際会議からのrejectの理由と考察

さて、ここからが今日のエントリの本題です。去年の夏の段階でCOMPSACのレベルの国際会議にショートペーパとして採録するための自信とそのスキルはついてきていたように思いますが、やはりメインシンポジウムのショートペーパとフルペーパというのは歴然とした差があり、ショートペーパではページ数が6ページに対して、フルペーパでは最大12ページと、その分量からも国際会議で扱われる論文としての重要度に大きな差があります。CORE Ranking Portalというサイトで、学術コミュニティが協力して国際会議の難易度をスコアリングしており、さくらインターネット研究所はそれがすべてというわけではありませんが、ある程度参考にして戦略を練っています。ここでのRankingは概ねそのカンファレンスのメインシンポジウムのフルペーパーを指していると理解しています。

去年は夏以降に、COMPSACのショートペーパに通せたのだからといって、カンファレンスのレベルやランキングを定義しているCORE Rankに基づいて、Aランクや、所謂トップカンファレンスと呼ばれるA*ランクのカンファレンスに論文を書いて投稿していました。しかし、全ての投稿論文はrejectされ、厳しい指摘とともに査読結果が返ってきては、直視することができずに頭を抱え、数日間あいだをあけてなんとか査読結果を読むということを繰り返していました。

査読結果からは主に、

  1. あっと驚く新規性がない
  2. 論文の構成がまずくて伝えたいことが伝わらない内容になっている
  3. 実験のベースラインが明確でない

といったことが書かれていました。ただ、査読の段階では文面からは意味がわかりますが、なんとなく腑に落ちない感覚でした。なので、自分が所属するさくらインターネット研究所にお願いして、rejectされた国際会議に参加させてもらって、一体acceptされている論文はどういう内容で、どういう研究発表がなされているのかを実際に見てみたいと思い、rejectされた国際会議にすべて参加してみました。

すると、全ての発表に共通していたこととして、

  • 最新技術が今どこにあるか？（The state of the art）
  • 自分の研究が活きるユースケースはどこか？（リアルシステムでの効果）
  • 自分の研究は最新技術と比べてどういう面でどういう成果が上げられているか？（The state of the artと比べてどこが優れていてどこがnoveltyなのか）
  • 評価の際にどのレベルをクリアできれば、有効であるといえるか？（妥当なベースラインの設定がなされているか、そのベースラインに対してどう優れているか）

というポイントをほぼ全ての講演で満たされている事に気づきました。これに気づいた後に査読結果を思い直すと、まさに、トップカンファレンスで皆が当たり前に共通して述べていることそのものが欠けていると、新規性が見えず、内容が理解できず、有効かどうか信頼足りうるかがわからない、という上述した査読結果の3つの指摘の話になると腑に落ちたのでした。

また、それが腑に落ちたときに、査読結果にはそれを改善するための指摘やわからないことの主張、実際にどのように誤読させてしまっているかの議論、などを読むことができるので、これはすなわち、論文のrejectは自分の研究や論文を明確に改善できるチャンスであり、希望なのだと思えるようになりました。

reject, reject, reject, reject ..... accept!

そこで、今年の2月に投稿したCOMPSAC2020ではそれらの査読結果で指摘された内容を、新規性の主張、前提の一致、最新技術の立ち位置、最新技術と提案手法の多面的な比較と考察、評価のベースラインの明確化を意識して書き直して提出しました。すると、先週COMPSACのプログラム委員から査読結果が返ってきて、

「This paper is well written. The readability of this paper is good.」

「The proposed method is novel and feasible.」

「Congratulations on your paper being accepted for the conference! 」

という、いまだかつてないポジティブなメッセージとともに、査読についても、「私はこう思うけど、どう思う？」とか「こうやると多分もっとよくなると思う」などと、今までの指導的な査読ではなく、あくまで同じ目線で査読メッセージを書いてくれているような査読結果の通知が届きました。

自分は、昨年はほとんどのプロポーザルでrejectをされてしまったのですが、そのrejectと査読結果、そして、実際にrejectされた国際会議に参加してその違いを知ることは、自分の研究を明確に成長させることのできる希望である、と思います。博士課程を修了後は、自分がファーストオーサで、かつ、企業の研究所で指導的立ち位置でラストオーサとして論文を書く中で、ようやく「自分の良いと思える論文」そして「国際会議などに論文を通す書き方」を模索した上で、それが、COMPSAC2020メインシンポジウムのフルペーパacceptという形で結果を得られたことが、まるで自分のここ数年の取り組みが認められたかのように思えて、感慨深い気持ちになりました。そんな気持ちを忘れないように、このエントリを書いています。

rejectと査読結果は希望となる

最後に、これから国際会議の論文にどんどん挑戦していこうとしている研究者の皆様に、rejectというのは希望であるということお伝え、あるいは、rejectで悩んでいる人と共有できると良いなと思っています。実際にrejectされると落ち込むのですが、rejectされるということは改善の余地が明確にあるということを客観視できる機会であるといえます。研究していると、それを得るチャンスというのは意外となかったりします。

なので、何度rejectを受けたとしても、その査読結果をどうにか研究や論文に少しずつでも反映していけば、その研究は常に前進し続けることができます。前に進めるという希望は、きっと自分の研究を次の領域へと押し上げてくれるのではないかと思います。何度rejectされても、一歩ずつ進んで最終的にacceptされてしまえば、落ち込んだことも忘れられますし、きっと良い思い出になります。

僕もまだまだこれからrejectを繰り返しながら、研究者として前に進み続けたいと思います。rejectされる限り、研究し続ける希望があり続けるのだという気持ちで更にやっていきますし、rejectされて落ち込んで途方にくれている人がもしいたら、そんな人にこのエントリが届くと幸いです。