Alibabaの大規模言語モデル「Qwen」の研究チームが、推論機能の向上に焦点を当てた実験的な研究モデル「QwQ-32B-Preview」を発表しました。研究チームは、QwQ-32B-Previewの推論能力はOpenAI o1に匹敵すると主張しています。 QwQ: Reflect Deeply on the Boundaries of the Unknown | Qwen https://qwenlm.github.io/blog/qwq-32b-preview/ Qwen/QwQ-32B-Preview · Hugging Face https://huggingface.co/Qwen/QwQ-32B-Preview Alibaba releases an 'open' challenger to OpenAI's o1 reasoning model | TechCrunch h

理化学研究所（理研）脳神経科学研究センター親和性社会行動研究チームの大村菜美研究員、黒田公美チームリーダーらの国際共同研究グループは、科学的根拠に基づく赤ちゃんの泣きやみと寝かしつけのヒントを発見しました。 本研究成果は、赤ちゃんの泣きに困る養育者のストレスの軽減や、虐待防止につながると期待できます。 黒田公美チームリーダーらは2013年、親が赤ちゃんを運ぶとおとなしくなる「輸送反応[1]」をマウスとヒトにおいて発見しました。しかしこの研究では、運ぶ時間が約20秒間と短く、かつ運ぶのをやめると赤ちゃんは再び泣き出すという課題がありました。 今回、国際共同研究グループは、赤ちゃんが泣いているとき、母親が抱っこして5分間連続で歩くと、泣きやむだけでなく、約半数の赤ちゃんが寝付くことを発見しました。また、親の腕の中で眠った赤ちゃんをベッドに置くとき、赤ちゃんが目覚めやすいのは親から体が離れるタイ

意思決定とは、どんな現象なのでしょうか？ 米国のハーバード大学で行われた研究によって、意思決定が行われる際に、脳内の神経ネットワークが使用する「基礎的なルール」が判明しました。 研究では特にT字路での二者択一の状況という、最も単純化された意思決定が調べられており、根幹となる仕組みに迫っています。 これまで意思決定の起こる仕組みについて多くの理論が提唱されてきましたが、皮質において実際に確認できたのは今回が初めてとなります。 どんなニューロンが接続され、どのように発火することが「意思決定」となるのでしょうか？ 研究内容の詳細は2024年2月21日に『Nature』にて掲載されました。

3つの要点 ✔️ 凍結した汎用LLMのPrompt部分のみを学習するPrompt Tuningを提案 ✔️ Fine-tuningに近い精度を叩き出した ✔️ 大幅なパラメータ削減を可能にする The Power of Scale for Parameter-Efficient Prompt Tuning written by Brian Lester, Rami Al-Rfou, Noah Constant (Submitted on 18 Apr 2021 (v1), last revised 2 Sep 2021 (this version, v2)) Comments: Accepted to EMNLP 2021 Subjects: Computation and Language (cs.CL) code： 本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれ

LLMの知識を狙い撃ちして編集する手法（Knowledge Editing：知識編集）の現状を網羅的にまとめた論文が公開されています。 知識編集はモデル全体を再学習させることない効率的なアプローチと言われており、信頼性の向上や、パーソナライズされたエージェントの開発に役立つとのことです。なお、有名な手法としてはLoRAなどが含まれます。 本記事では背景、知識編集の概要、3つのフェーズ、評価方法、今回行われた実験と結果、そして応用例について紹介します。 参照論文情報 タイトル：A Comprehensive Study of Knowledge Editing for Large Language Models 著者：Ningyu Zhang et al.（多数） 所属：浙江大学, シンガポール国立大学, カリフォルニア大学ロサンゼルス校, Ant Group, Alibaba Group

写真から3DCGモデルを作成するにはさまざまな方向から被写体を何枚も撮影する必要があります。クウェート大学・Meta・メリーランド大学の研究者が、たった1枚の写真から高解像度のCGモデルを生成する「Human-SGD」を発表しました。 [2311.09221] Single-Image 3D Human Digitization with Shape-Guided Diffusion https://arxiv.org/abs/2311.09221 Human-SGD https://human-sgd.github.io/ 研究チームの1人であるJia-Bin Huang氏が、Human-SGDがどういうモデルなのかを解説するムービーをYouTubeで公開しています。 3D Human Digitization from a Single Image! - YouTube ライダージャケ

米オープンＡＩの取締役会によるクーデターと、未遂に終わった反クーデターによる混迷の数日を経て、マイクロソフトはサム・アルトマン氏を新たな人工知能（ＡＩ）研究チームの責任者に起用すると発表した。オープンＡＩとアルトマン元最高経営責任者（ＣＥＯ）に大きく賭けていたマイクロソフトにとっては驚くべき事態の展開だ。 だが、それはアルトマン氏にとっても、マイクロソフトにとっても理想的な結果ではない。オープンＡＩの投資家グループがアルトマン氏のＣＥＯ復帰を今も狙っているのはそのためだ。マイクロソフトのサティア・ナデラＣＥＯもこれを容認する姿勢を示唆している。 約770人に上るオープンＡＩの社員のほぼ全員が、アルトマン氏の解任劇を巡る責任を取って取締役が辞任しない限り、退社も辞さないとする書簡に署名。「マイクロソフトは、われわれがこの新しい子会社に移籍することを選択した場合、オープンＡＩ全従業員の職を保証

NTTは13日、米グーグル出身の著名な人工知能（AI）研究者が設立した「Sakana（サカナ） AI」（東京・港）と提携すると発表した。NTTは医療や金融などの分野に特化した小型AIを開発している。AI設計の知見を持つサカナAIと、複数の小型AIをつなげて効率的に運用することを目指す。サカナAIはグーグル出身のライオン・ジョーンズ氏とデビッド・ハ氏が8月に設立した。ジョーンズ氏は2017年にグ

国立情報学研究所（NII）は10月20日、パラメータ数130億の大規模言語モデル（LLM）「LLM-jp-13B」を公開した。初期段階のモデルだが、アカデミアや産業界の研究開発に資するため、コーパスやツールなどを含めてすべてオープンにする。 公開したLLMの学習データ量は合計約3000億トークン。うち日本語は約1450億トークン（mC4／Wikipedia）、英語は約1450億トークン（The Pile／Wikipedia）、プログラムコード約100億トークン。 計算資源としては、大学や研究機関が共同運営する仮想化環境・データ活用社会創成プラットフォーム「mdx」を12ノード活用。モデル構築にはMicrosoftのDeepSpeedを、モデル構築時の監視やログの保存には、モデル開発プラットフォームのWeights＆Biasesを利用した。 NIIが主宰するLLM勉強会（LLM-jp）で7月

ホーム AI論文解説, LLM, プロンプト 「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する 「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する 2023/11/3 AI論文解説 LLM プロンプト AIDB Research 感情を込めたプロンプトが大規模言語モデル（LLM）の性能を向上させることが示されました。「自分を信じて限界を超えてください」や「困難は成長のチャンスです。」といった自信や成長に関わる要素を含む指示が、モデルの出力品質に貢献するとの報告です。 この発見は、人間の感情を取り入れたアプローチが、人工知能の分野においても重要な役割を果たす可能性を示唆しています。Microsoftなどの研究グル

産業技術総合研究所は10月17日、世界トップレベルの大規模言語モデル（LLM）の開発を始めると発表した。産総研の他にも東京工業大学や、国立情報学研究所が主宰するLLM研究開発チーム「LLM-jp」（東北大学や東京大学、早稲田大学などが参加）も加わる。 LLM-jpが従来の国産LLMの10倍の規模を持つとされるパラメータ数1750億のLLMの構築に着手。産総研は、LLM構築に必要な計算資源として「AI橋渡しクラウド」（ABCI）を提供する。また、3機関で協力して開発に必要な言語データの作成も行う。 産総研は「この取り組みによって、日本で初めてのオープンに利用できるGPT-3級の日本語LLMの構築を目指す」と説明。「これによって、構築の過程が明らかで透明性の高いLLMを用いた、マルチモーダル（画像や言語など複数の入力ソースを扱えること）なデータを処理するAI技術の開発や、生成AIのロボット応用

理化学研究所(理研)は10月11日、オープンデータの画像を用いた解析により、国宝「油滴天目(ゆてきてんもく)茶碗」の青紫色の光彩である「曜変(ようへん)」の発色を、油滴(油の滴に似た斑点)の反射と、釉薬(ゆうやく/うわぐすり)の2次元回折格子構造によって説明できることを発表した。 同成果は、理研 光量子工学研究センター 先端光学素子開発チームの海老塚昇研究員、理研 開拓研究本部 石橋極微デバイス工学研究室の岡本隆之専任研究員(研究当時)の共同研究チームによるもの。詳細は、日本光学会誌「光学」2023年9月号に掲載された。 天目茶碗とは日本での呼び名で、元は茶葉の産地だった中国浙江省の天目山一帯の寺院で使われていた、黒色鉄釉をかけて焼かれた陶器製の茶碗のことをいう。鎌倉時代に、禅寺天目山で修行をしていた日本人僧侶が帰国の際に持ち帰ったことから、そのように呼ばれるようになったといわれている。油

人工知能による創作や、人工知能と人間との協調による創作は、SFの重要なテーマの一つです。我々は、適切な人工知能（AI）技術の使用が、創作において大きな手助けになりうることを理解しており、その発展を歓迎します。日本のSF作家や関係者は、AIの開発のために許諾済みの著作データを提供し、アイデア提供や広報に協力するなど、AI技術の開発に大きく協力してきました。我々は原則として、生成AIが人々の権利を侵害しない形で創作に使われ、人々の創作活動が広がることを歓迎しており、AIを作り、使い、AI生成物を楽しむ権利は守られるべきだと考えます。 一方で、現在広く使われている生成AI技術では、学習に用いたデータが、生成物にどのように貢献したかを示すことが技術的にできていません。この問題が未解決のため、生成AIの使用者は、生成物における学習元著作の影響や貢献度合いを評価することが困難です。そのため現状の生成A

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 Microsoft Researchに所属する研究者らが発表した論文「CodePlan: Repository-level Coding using LLMs and Planning」は、単なる一部のコード編集にとどまらず、リポジトリ全体のコーディング作業を計画的に自動編集するための大規模言語モデル（LLM）を使用したフレームワークを提案する研究報告である。 近年、LLMによるプログラミングの自動化が進展を見せている。「Amazon Code Whisperer」「GitHub Copilot」「Replit」などのツールは、自然言語の意

ChatGPT、医師と同程度の正確性で救急患者を診断 医師は将来、救急外来患者の病気を迅速かつ正確に診断するために、ChatGPT（チャットGPT）などの人工知能（AI）プログラムの助けを借りるようになるかもしれない。 医師とChatGPTに同じ内容の臨床情報が提供された場合、ChatGPTが正確に診断する能力は医師と同程度であることがイェルーン・ボッシュ病院（オランダ）のSteef Kurstjens氏らによる研究で示された。この研究結果は欧州救急医学会（EUSEM 2023、2023年9月16～20日、スペイン・バルセロナ）で発表されるとともに、「Annals of Emergency Medicine」に2023年9月9日掲載された。 この研究では、2人の医師チームとAIプログラムが2022年3月に同病院の救急外来を受診した30人の患者の診療記録や検査値を評価した。 研究に用いられた

クッキーに代わる技術まとめシリーズ第1回「3rd-party cookieのない2年後のアドテックに向けた動きまとめ」からすでに３年経っていますが、3rd-party cookie廃止まではあと１年です。 廃止に向けてPrivacy Sandboxの名前で知られている代替技術は一般公開が進められています。Chromeを利用されている皆様はすでにユーザへの広告機能有効化の告知をご覧になり、「理解した」ボタンを押されたかと思いますが、ここで有効化したものを含めて、主要ブラウザの各種代替APIについて説明したいと思います。 Chromeのターゲティングや計測API有効化承諾画面ちなみにEUでは「理解した」と「設定」ではなく、「Turn it on」と「No Thanks」の選択になっています（しかもボタンの色が同じ）。 それでは2021年のシリーズ第2回の投稿から約2年ぶりとなる今回は、前回ご紹

米OpenAIの生成AI「GPT-4」を上回る性能をうたうAI「Xwin-LM」が、AIモデル共有サイト「Hugging Face」に公開されている。言語モデルのベンチマークサイト「AlpacaEval」でGPT-4を追い抜き1位を獲得したとしている。 開発者名は明記されていないが、GitHub上の履歴を参照すると中国科学院や清華大学の博士課程の研究者らが開発したようだ。 Xwin-LMは米Metaが公開したAI「Llama2」をベースにしており、教師ありファインチューニング、報酬モデル、リジェクトサンプリング、強化学習などを使って調整したものという。パラメータ数はLlama2と同じく70億、130億、700億の3つのモデルを用意。中でも最大である700億の「Xwin-LM-70B-V0.1」は、AlpacaEvalの評価基準である「Text-Davinci-003」（GPT-3のモデルの

励起　上――仁科芳雄と日本の現代物理学 作者:伊藤憲二 みすず書房 Amazon 励起　下――仁科芳雄と日本の現代物理学 作者:伊藤憲二 みすず書房 Amazon 日本の物理学者、仁科芳雄（1890～1951年）の伝記である。 上下巻、2段組ハードカバーで合計1000ページ*1に迫る大作であり、すぐに手は出なかった。きっと「書店でたまに背表紙を見かけては尊敬の念を抱く本」になるんだろうな…と予想していたなか、Twitter/Xでの三宅陽一郎さんの投稿が目に入ってきた。 伊藤憲二先生 @kenjiitojp の『励起』、まずは上巻を拝読しています。面白くてしょうがないです。綿密な調査に裏打ちされた徹底的な調査で、量子力学がゆっくりと日本に着地する瞬間をまるでスローモーションのように見ることができます。圧巻の科学史です。https://t.co/1L8TSdAgne — 三宅陽一郎Miyake