こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。
久しぶりのテックブログ更新です！
Algomaticアドカレで急遽 1 枠空いたため、簡単ではありますが弊社で実施している社内知見交流会の一コマを記事として投稿いたします！ なお弊社員による投稿もどんどん埋まってきているので、よければご覧ください 🎄📅
Algomatic という会社はカンパニー制という組織形態を採用しており、現在 4 つの事業部と横断組織によって構成されています。
当然ながら4つのカンパニーが独立していると知見が各カンパニーに閉じやすくなってしまいます。そこで今回は弊社で行なっている社内勉強会や知見交流会について紹介し、Algomatic で働く社員がどのように最新技術動向を追っているのか、弊社の取り組みとともにお伝えできれば幸いです 📚
slack の活用
Algomatic では社内コミュニケーションツールとして slack を使用しています。最新の技術動向に関心を持つメンバーも多く、slack が知識情報源の一つとなっています。
少し大げさかもしれませんが、「一を聞けば十で答える」社員が多く、また「一を聞けば十人が集まる」という雰囲気を感じます。
#random チャンネルだけでなく、各社員が自由に色々なチャンネルも利用しています。
#すごいデモ チャンネルなどもあります
また月末には『月刊アルゴマガジン』として弊社員の PR 活動をまとめたりしていて、「今月誰がどんな活躍をしたか」振り返ることができます。
プロダクトわいわいシェア会
また弊社では、「各カンパニーがサービス開発する中で得たLLMに関する知見を横展開して、Algomatic社内のLLM活用水準を高めること」「わいわいすること」を目的として、『プロダクトわいわいシェア会』という社内LT会を実施しています。
4月25日に第1回が開催され、12月20日に第6回となる「クリスマスわいわいシェア会」が開催予定です🎄
社内向けではありつつも、運営体制がイベントにも負けないほど本格的で、カメラマンの設置や配信環境も万全です！
npaka さんキャッチアップ会
また弊社では npaka さん（@npaka123）をアドバイザに迎え、週1回「この一週間でキャッチアップした情報共有」という壁打ち会も開催しています。週ごとに新しいネタを多く情報共有いただいており、普段から生成AIの最新動向まで追えていない場合でも、丁寧にキャッチアップできる場となっています📚
社内勉強会
不定期で開催していますが、現在はインターン生が『Vision Transformer入門の輪読会』を主導してくれています📕
また過去に開催した『GPT をコードレベルで概要を理解したい』という会では Karpathy 氏のコードを Colab 上で実行しながら解説したりしました。
各セクションはこんな感じで、コードを一行ずつ解説しながらサンプルデータで GPT を学習しました。
おわりに
ということで今回は、Algomaticアドカレの一枠として、Algomatic における知見交流会の一コマについて紹介しました！
Algomatic では 生成AI×事業開発を行なっています。興味がある方は下記リンクからカジュアル面談の応募ができるのでぜひお話ししましょう！
p.s. 本記事は『GPT をコードレベルで概要を理解したい』という勉強会の振り返りとして書いていたのですがお蔵入りとなりました。とても勉強になった資料もまとめていたのでこの機に見てみてください。
- Vaswani et al., Attention Is All You Need, 2017, https://arxiv.org/abs/1706.03762
- Radford et al., Improving Language Understanding with Unsupervised Learning, 2018, https://openai.com/index/language-unsupervised/
- Ryobot氏, 論文解説 Attention Is All You Need (Transformer), 2017, https://deeplearning.hatenablog.com/entry/transformer
- 清野氏 (理研AIP) - より良いTransformerをつくる, 名古屋地区NLPセミナー (2022), 2022, https://speakerdeck.com/butsugiri/yoriliang-itransformerwotukuru
- 牛久氏 (オムロンサイニックエックス, Ridge-i, ナインブルズ) - Transformer, SSII 2022のチュートリアル講演, 順天堂大学産学連携講座 (2023), 2023, https://speakerdeck.com/yushiku/20220608_ssii_transformer
- lib-arts氏, 【Transformer】Sparse Attentionの分類とそれぞれの研究例 - あつまれ統計の森, 2023, https://www.hello-statisticians.com/ml/deeplearning/transformer3.html
- Saeed氏 - A Gentle Introduction to Positional Encoding in Transformer Models Part 1, 2023, https://machinelearningmastery.com/a-gentle-introduction-to-positional-encoding-in-transformer-models-part-1/
- 岡崎氏 (東工大) - 大規模言語モデル - 2023年度統計関連学会連合大会チュートリアルセッション 言語モデルと自然言語処理のフロンティア, 2023, https://speakerdeck.com/chokkan/llm
- 西田氏, 安藤氏 (NTT人間情報研究所) - LLMと音声理解・生成の最新動向, DEIM2024チュートリアル, 2024, https://deim2024-tutorial-public.s3.ap-northeast-1.amazonaws.com/TU-B-1_LLM%E3%81%A8%E9%9F%B3%E5%A3%B0.pdf
- 小林氏 (東北大) - Transformer言語モデルを内部挙動から理解する, 第52回NLPコロキウム, 2024, https://youtu.be/N-0eFoQYkrs?si=Dv6jNfrT8xQhN533
- 小林氏 (東北大) - 10. LLMの分析と理論（後半パート）, 松尾・岩澤研究室 大規模言語モデル講座, 2024, https://youtu.be/N-0eFoQYkrs?si=Dv6jNfrT8xQhN533https://speakerdeck.com/kogoro/llmjiang-zuo-2024nian-day10-llmnofen-xi-toli-lun-hou-ban-pato
- キカガク, ニューラルネットワークの数学（逆伝播）/ ディープラーニングの基礎（PyTorch）, https://free.kikagaku.ai/tutorial/basic_of_deep_learning/learn/neural_network_basic_backward
- 佐藤氏 (国立情報学研究所) - ニューラルネットワークの損失地形 / 第19回YANSシンポジウム, https://speakerdeck.com/joisino/landscape
- @snsk871氏 - Positional Encoding を理解したい, 2023, https://qiita.com/snsk871/items/93aba7ad74cace4abc62
- @omiita氏 (オーミタ) 氏, 【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法-, 2019, https://qiita.com/omiita/items/1735c1d048fe5f611f80
- @kenta1984 (Sasaki) 氏 (グロービス), 交差エントロピー誤差をわかりやすく説明してみる, 2019, https://qiita.com/kenta1984/items/59a9ef1788e6934fd962
- @jyori112 (佐久間) 氏 (Studio Ousia), 言語モデルでのperplexityとcross entropyの関係, 2018, https://qiita.com/jyori112/items/296d816dfaf77c0d422c
