はじめに

こんにちは！データ推進室で検索エンジニアをしている中野 ( @y_nak6 ) です。

データ推進室では、有志メンバによる論文を読む活動（通称「論文読むじろう」）があります。 本記事では、活動の背景や、論文読み会に参加する理由、今年読んで面白かった論文についてご紹介をしたいと思います。

本記事は、データ推進室 Advent Calendar 2024 9日目の記事です

「論文読むじろう」とは？

まず、活動の背景や活動内容についてご紹介します。

論文読むじろうは、データ推進室の社員が自主的に論文を読み、そのサマリや感想を共有する活動です。 この活動は 2023 年 10 月にデータ推進室内の 1 組織の活動としてスタートしました。当初のメンバは 3 名でしたが、そこから噂を聞きつけた他組織のメンバも参加するようになりました。その結果、現在では非定期メンバも含め 7 名まで増え、2024 年 8 月からはデータ推進室全体としての取り組みとなっています。

論文紹介メンバは毎週、自分が興味を持った論文などを選んで、読み終えたらそのまとめ（サマリや感想）を Slack に投稿します。当社はリモートワークを前提とした働き方をしており、オフラインで集まって紹介するスタイルではなく、毎週各自で読む論文を決め、各自のペースで読み進めて、まとめを投稿するスタイルにしています。 投稿形式は自由で、箇条書き+画像で投稿している人が多いですが、まとめを読む人が増えることを期待してスライドを作成している人もいます。最近では、サマリをさらにサマリにして投稿する人も出てくるなど、より多くの人に内容を伝えるための工夫が進んでいます。

論文のまとめが投稿される Slack チャンネルは公開設定であるため、社内の人なら誰でも参加でき、論文のまとめを読むことができます。そのため、論文を紹介するメンバ以外もチャンネルに参加しており、現在はデータ推進室内外から 150 名以上が参加しています。このことから、論文から新たな技術やアイデアを得たいと考えている人が社内に多くいることが伺えます。

なぜソフトウェアエンジニアが論文読み会に参加しているのか？

論文読み会を実施することには、多くのメリットがあります。例えば、最新知識のキャッチアップや、知識共有による組織全体の知識レベルの底上げなどが挙げられます。実際、他社の論文読み会の取り組みにおいても、似たようなメリットが挙げられています¹。

ここでは、ソフトウェアエンジニアである執筆者が、メリットの中でも特に重要と考えている、「技術をちゃんとやる」ための論文読みとその習慣化という点について詳しく取り上げて説明したいと思います。

論文を読むのは「技術をちゃんとやる」ため

昨今は技術の発展にともない、最新技術であっても単に使うだけなら簡単な時代になってきました。例えば、LLM の研究は毎日大量に発表されていますが、OSS やクラウドなどを利用すれば、最新の研究成果を比較的容易に組み込むことができるようになってきました。

一方で、ソフトウェアエンジニアとして技術を正しく利用するうえでは、「技術をちゃんとやる」ことが大事だと考えています。ここでの「技術をちゃんとやる」とは、技術の内部の仕組みや、その技術の周辺も含めて深く正確に理解した上で利用することを指します。 例えば技術選定においては、その技術が出現した背景や課題について知らなければ、自らの課題に合った適切な選択をすることは難しいはずです。また、技術の内部の仕組みを知らなければ、実装やテスト、運用におけるトラブルの対処などを適切に行うことは難しいはずです。

では、「技術をちゃんとやる」ために、技術を深く正確に理解するにはどうすればよいでしょうか？ 私は一次情報である論文を読むことこそが、技術を深く正確に理解する最もシンプルな方法だと考えています。 これは、ソフトウェアエンジニアがプログラミング言語やライブラリに関して困ったときに、まずは公式リファレンスを読むのと似た部分があると考えています。

習慣化をする手段としての論文読み会

一方で、社会人はとても忙しいです。そのため、学生として大学で研究をしていた頃とは違って、一人で論文を読み続ける気力を保つのは難しいです。

これは、論文読み会に参加することである程度解決することができます。論文読み会という場と仲間を用意することで、強制的に論文を読む機会を確保し、習慣化することができます。 もちろん、機会を確保したとしても、繁忙期などで時間の確保が難しい時期もあります。その場合は、読みやすい論文や技術ブログなど、短い時間で読んで紹介できるものを選択するなどの工夫などを行っています。

今年読んで面白かった論文の紹介

ここでは、今年読んだ中で特に面白かった論文について、その概要と推しポイントをいくつかご紹介します。

1. COSMO: A Large-Scale E-commerce Common Sense Knowledge Generation and Serving System at Amazon (SIGMOD 2024)

論文リンク: https://dl.acm.org/doi/10.1145/3626246.3653398 ( 著者公開版 )

概要

• クエリと購入された商品のペアなどから、なぜこの商品が購入されたのか？を LLM で推定し、それを元に知識グラフを作成して、検索や推薦に活用する論文
• 実応用の 1 つでは、年間数十億ドル相当の収益増の見込み

推しポイント

レイテンシが重要な検索・推薦システムにおける LLM 適用のためのアーキテクチャが書かれている点が面白いと思います。具体的には、LLM の推論結果はオフラインや非同期でキャッシュに入れておき、リアルタイムには LLM の推論をしない点はなるほどとなりました。検索における LLM 利用時のキャッシュ活用については、別の論文²でも見たことがあったので、このアーキテクチャには比較的汎用性がありそうに見えるのも面白いと感じた点です。

こちらの論文に関しては、周辺の内容を含めて外部の論文読み会でも発表したスライドがあります。もしご興味があれば御覧ください！ https://speakerdeck.com/ynakano/cosmo-commonsense-knowledge-generation-by-llm-at-amazon

2. Large Language Models can Accurately Predict Searcher Preferences (SIGIR 2024)

論文リンク: https://dl.acm.org/doi/10.1145/3626772.3657707

概要

• LLM (GPT-4) で適合性判定（クエリに文書がマッチしているか？）ができるよという論文
• ウェブ検索エンジンである Bing におけるオフライン評価でも実際に利用した結果、専門家やクラウドワーカと比較して適合性判定のコスパが良いことが分かった

推しポイント

大量の実験を回した結果から、LLM による適合性判定がある程度できることを明らかにした点が面白く、試してみたくなりました。一方で、評価観点（どのような基準でクエリと文書がマッチしていると判断するか？）を明確にしないと精度が悪くなるなど LLM による自動評価の難しさの一端が垣間見える点や、大量のウェブ文書を事前学習した LLM だからこそウェブ検索というドメインだと良い結果だったが、我々のドメインでうまくいくのか？など考えさせられる点も面白かったです。

3. Learning to Rank for Maps at Airbnb (KDD 2024)

論文リンク: https://dl.acm.org/doi/10.1145/3637528.3671648 ( 著者公開版 )

概要

• 検索結果をランキングとして上から順に見る「リスト表示」と、検索結果を地図で表示する「地図表示」は異なるという点に着目した論文
• 表示アイテム数や表示アイコンの大きさの調整、地図の中心位置の工夫など複数の改善を実施し予約数などの事業 KPI が向上

推しポイント

論文というよりテックブログ的なものに近いですが、地図表示という通常の検索の研究ではあまり着目されない内容を扱っている点が面白かったです。また、アルゴリズムの改善から UI の改善まで、「検索機能は総合格闘技」³であることが分かる論文である点も個人的な推しポイントです。

最後に

今回はデータ推進室で実施している論文読み会の取り組みについて紹介しました。 ぜひ、皆さんも「技術をちゃんとやる」ための論文読みとその習慣化のために、論文読み会をしてみてはいかがでしょうか。

---

1. 例えば、 M3 の事例 や 電通総研の事例 などが挙げられます。 ↩︎

2. Peng et al., Large Language Model based Long-tail Query Rewriting in Taobao Search (WebConf 2024) の 3.5 Online Serving より ↩︎

3. 打田ら『検索システム ― 実務者のための開発改善ガイドブック』 の 1.1.4 節のタイトルより ↩︎