言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は

以下の文章は、コリイ・ドクトロウの「The Fagin figure leading Elon Musk’s merry band of pubescent sovereignty pickpockets」という記事を翻訳したものである。 Pluralistic 怪物たちが我々の国家と経済を乗っ取り、想像力までも支配しようとしている時代にあって、一筋の光明がある。それは、怪物たちの正体を見抜き、その実態を我々に明かしてくれる、優れたライターたちの存在だ。モーリーン・トカシクもその一人である。 https://prospect.org/topics/maureen-tkacik Wiredのヴィットリア・エリオット、リア・フェイガー、ティム・マーチマンも、マスクのDOGEクーデターについて目覚ましい報道を展開している。 https://wired.com/author/vittoria-el

2024年6月29日(土)にHOKKAIDO x Station01をお借りしてえにしテック15周年記念カンファレンスを開催しました。 当日はたくさんの方々にお越しいただき、おかげさまで、とても特別な15周年を迎えることができました。参加いただいた皆さま、あたたかいメッセージをいただいた皆さま、登壇いただいた高橋さん、角谷さん、大場さん、平鍋さん、美味しいコーヒーを出していただいた猫廼舎さん、運営をつつがなく取り仕切ってくれたメンバーのみんなに感謝します。ありがとうございました。 正直、まだあの場がなんだったのかをきちんと飲み込みきれておらず、きちんとした総括はできない感じなのですが、何かを書いておかないと先に進めない気がしているので、一旦カンファレンスのことを書き残しておこうと思います。 15周年の節目、何をしたいかと考えて出てきたのは、一番に初心に返って勉強会がしたいなという気持ちでし

今のLLMを取り巻く状況について紹介します。

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 ペンシルベニア大学などに所属する研究者らが発表した論文「Information content of note transitions in the music of J. S. Bach」は、音楽作品を情報ネットワークへと変換し、作品が内包する情報量と伝達効率を調査した研究報告である。この研究では、バッハの楽曲を情報ネットワークとしてモデル化し、楽曲が持つ情報量とその情報をいかに効率よく伝達するかを定量的に評価する。 手法の第一歩として、楽曲の各音符をネットワーク上のノードとして捉え、音符間の遷移をエッジで結び付けている。このエッジは指向

アサヒ飲料が販売するホットドリンク「アサヒ おいしい水 天然水 白湯」。2022年に販売を開始すると、想定の3倍のヒットを記録し、23年9月のリニューアル後もさらに売り上げを伸ばしている。 ヒット商品「アサヒ おいしい水 天然水 白湯」を手がけたアサヒ飲料マーケティング本部の鈴木慈さん（編集部撮影） 実は商品が登場する8年前、中身が全く同じ商品を発売していたものの、売り上げが伸びず失敗に終わっていた。アサヒ飲料の開発担当者が語った、8年前との「決定的な違い」、そして「逆転ヒット」をもたらした要因とは。 8年前に販売も……売り上げ伸びず 東京都内にあるコンビニのホットドリンクコーナー。お茶やコーヒー、ココアといった定番商品に並んで置かれているのが、アサヒ飲料の「白湯」だ。 アサヒ おいしい水 天然水 白湯（アサヒ飲料ニュースリリースより） 消費者や店から「温かいお湯を売ってほしい」という要望

See below for the English version. この記事はANDPAD Advent Calendar 2023 22日目の記事です。 こんにちは、リアーキテクティングチームの白土(@kei_s)です。今回は、我々のチームの公用語を英語にしたお話のご紹介です。 リアーキテクティングチームとは ANDPADシステムでの複数のドメインに横断した問題に対応するため、「リアーキテクティングチーム（略称: リアーキチーム）」という名前の専任チームを組織し開発課題に対応しています。現在主に Rails アプリケーションに関連する改善を行っています。ブログやイベントで取り組みをいくつかご紹介しているので、興味があればぜひご覧ください！ Kaigi on Rails 2022 「実践 Rails アソシエーションリファクタリング」で伝えきれなかったこと - ANDPAD Tech B

元々小説以外の分野で活躍し、プロフェッショナルな行き方をしていた人が小説家になったというケースを探しています。 なぜこのような人を探しているのかというと、『巨大投資銀行』『トップレフト』などを著作に持つ黒木亮氏の作品があまりに面白かったからです。 この小説は、金融の世界でプロフェッショナルとして生きていない限り、絶対に書けない小説でした。 金融の世界にいた人間が書く小説。これは、その世界の匂いがわかるほどリアルなものでした。 圧倒的な知識に裏打ちされた小説は、それだけで心地よいものであるともわかりました。 単に文章がうまい、文学的に表現する、などの小説家は求めていません。吉本ばななのような小説家は不要です。 小説家になる前に、すでに別世界でプロフェッショナルとして生きていて、小説家に転向した人を教えてください。 ■追記 見当違いな小説家の名前を挙げてる方が多いので追記。 「元々別の職業をし

2023/10/31 @ Barフロントえんどう で発表した「リアーキテクトと開発生産性について」です。

WEB+DB PRESSは，2023年8月発売のVol.136をもって隔月刊誌としては休刊させていただきます。物価上昇による製作費の高騰など諸般の事情により，今回の決定に至った次第です。 突然の休刊案内にてたいへん恐縮ではございますが，何卒ご理解を賜りますよう，お願い申し上げます。 22年以上の長きにわたり，絶大なご支援をいただきましたことを，厚く御礼申し上げます。 弊誌で扱っていた分野のコンテンツは，今後も弊社刊行のSoftware Designやgihyo.jp，書籍などで提供させていただきます。また，必要な場合には「特別号」の編集・刊行なども検討してまいります。 最後に，皆様の一層のご活躍を心より祈念しております。

ChatGPT についてポエムを書き散らすのが流行っている。珍しく流行に乗ってみる。機会を逃すとまた状況が激変しそうだし。 研究者の YouTuber 化 ChatGPT は研究者が想定していた成長曲線よりも上に外れたところに現れた。こんなに流暢にテキストを生成するモデルがこんなに早く出現するとは思わなかった。なぜ日本語まで流暢なのかはいまだに謎。 ChatGPT はテレビでも取り上げられるくらい一般に認知されているらしい。複数のテレビ取材に応じたという人がいたのでそうなのだろう。*1 私の観測範囲で起きているは、参入者が大勢いること。これまで自然言語処理をやってこなかったであろう人。従来の技術よりも圧倒的に敷居が低い。そもそもプログラムを書く必要がない。自然言語で指示を出すだけなら誰でもできる。 ChatGPT の上で踊りたいかというと気乗りしない。参入障壁が低いということは、競合が多い

2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転…

@hokaccha です。こんにちは。最近は主にプロダクト基盤チームで組織的な開発生産性の改善に取り組んでいます。この記事では開発生産性を改善の一環として、現在取り組んでいるシステムアーキテクチャの改善や技術的負債の返却の取り組みについて紹介します。 なぜアーキテクチャを改善するのか 最初に、なぜ我々がアーキテクチャ改善に取り組んでいるかの背景について説明します。 最終的にやりたいことは開発生産性を改善することにより、事業の成長速度を最大化することです。アーキテクチャの改善はそのための手段の一つであり、他にも開発プロセスの改善や開発組織の最適化など、開発生産性の改善のために並行しておこなっている施策は多岐にわたります。 ではアーキテクチャの改善がどう開発生産性に影響を与えるかという話ですが、これについては Martin Fowler の Design Payoff Line の図を引用しま

建設業界のDXプラットフォームを目指す「ANDPAD」は、サービスの成長にともないリアーキテクティングが必要なフェーズになりました。これは「ANDPAD」に限った話ではありませんが、歴史があればあるほど、大規模サービスを最善のアーキテクチャに導くことは簡単ではありません。 そのような中、「ANDPAD」のリアーキテクティングチームの中心メンバー白土 慧（しらつち けい）さんは、日々開発の”つらみ”を解消しています。Web系スタートアップのリードエンジニアとして活躍していた白土さんがアンドパッドにジョインし、なぜ今リアーキに取り組んでいるのか、そこにはどんな面白さが詰まっているのかインタビューしました。 白土 慧（しらつち けい） 北海道大学大学院卒業後、新卒で入社した企業でレコメンデーションシステム開発に従事。その後フリーランスを経て、スタートアップ企業の立ち上げにジョインしECシステムを

phperkaigi 2022の資料です。 理解しながら共通化するところはするなどいいバランスを心がけましょう。 音声が悪いですが資料だけでなく、トーク内容も併せて・・！

2022-12-21 技術的負債の返済から改善する開発者体験 - Techmee vol.5 https://timeedev.connpass.com/event/268296/ 動画 https://youtu.be/tQ3BGgnvMwQ