Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Deep Learningについての基礎を教えていると、「活性化関数が何者かよくわからん」と多くの人が学習の最初の躓きポイントになった人が結構います。 入力と重みを行列の掛け算をして～、重みに従って入力が活かされる値が調整されて～、バイアスで調整して～ と、その辺りは高校数学の行列の知識で「なんかうろ覚えだけど言いたいことはわかる」とあまり躓くことはないのですが、 こいつにいきなり「活性化関数」がかけられます。 こいつは何者なんだと 恐らく最初はステップ関数やSigmoid関数が紹介されて「あ、値を0.0～1.0に丸める奴なのかな」と思

しかし、このノーベル物理学賞は、記銘に値する汚点というべき、恥ずかしい低見識な授賞でした。 今年5月に東京都美術館講堂で私たちが開催した「AIと教育」シンポジウムに登壇された、甘利俊一先生と福島邦彦先生のお二人によるはるかに先立つ本質的な貢献が、きれいさっぱり拭い去られているからです。 また、この受賞に対して異を唱えたり、ノーベル財団に対して抗議したりする動きが日本にないことは、さらに救いようがありません。 皆さんよろしいでしょうか。 ニューラルネットワークというのは、いまやインテルが寡占するチップ、マイクロプロセッサーがそうであったように、かつて「日本のお家芸」だったのです。 「ほとんどの先駆的業績は福岡や大阪で生まれたものである」という厳然たる事実に、改めて目覚める必要があります。 いかに今年のノーベル賞が噴飯ものであるか、NHKの報道で見てみましょう。今年の物理学賞は次の2人に授与さ

徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？　2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメーターを三値にした場合の情報量を示しているようです．この論文（以下b1.58 論文とする）は，同じ著者グループによる文献2）を少し拡張したもので，大規模言語モデル（LLM）の効率化についての研究です． 本稿の前半ではこれらの論文の主張を解説し，後半ではその主張の妥当性について検討します． なお，これらの2本の論文は，本稿執筆時点では，査読を経たものではありませんのでご注意くだ

米OpenAI（オープンAI）が2023年3月中旬にリリースした最新の巨大言語モデルGPT-4については、大きな「謎」がある。機械学習モデルの規模（パラメーター数）や学習させたデータ量が明らかにされていないのだ。 2020年発表の「スケーリング則」がここにきて話題に オープンAIが2022年11月にリリースしたAI（人工知能）チャットボットChatGPTの能力があまりに高いことから、日本でもここにきて巨大言語モデルのスケーリング則（Scaling Law）が改めて注目されている。 スケーリング則とは、オープンAIが2020年10月に発表した論文「Scaling Laws for Autoregressive Generative Modeling」で示した法則だ。オープンAIは2020年6月に発表した巨大言語モデルGPT-3の経験に基づき、自己注意機構（SA、Self Attention）

2023/3/23 追記： こちら半年以上前に執筆したもので、その後私の理解も進んで内容的に更新したいところが結構あるため、近日中に非公開とさせていただき,更新後に再公開させていただくつもりです。現時点での本記事の内容は、大きく間違ってはいないけどちらほら微妙なところがあるという感じです。 （ざっくり理解するだけでも良いという人にはそれでも良いかもしれませんが、そういう方向けには 今執筆中のこちらの記事 をおすすめします。） −−−− 最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング（DNN）のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。本記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお本記事は機械学習のプロの研究者ではない私の独自の解釈が

はじめにLayerXの代表をしています福島と申します。本日はLLM(Large Language Model, 大規模言語モデル)について、なぜ大事なのか?経営者の視点でどうこの波を考えればいいのかについてです。 LLMが今非常に話題になっています。ChatGPTの裏側もこのLLMからできていると言えばわかりやすいでしょうか。 私は現在、LayerXという会社を経営しております。LayerXでも多分に漏れず、LLMに対するものすごいワクワクと、この波に対応しないと会社が消えてなくなるという強い危機感を抱いています。 私自身が元機械学習エンジニア、現在現役の経営者というキャリアを歩んできました。その立場から、なるべくわかりやすく、LLMの波というものを経営者がどう捉えるべきか、どう波を乗りこなすべきかの一助となればと思い筆を取っています。(機械学習のプロの方からすると、おいおいそれは単純化し

◆◆◆ 「確率的に確からしい」という言葉を続けるロボット ――最近、ChatGPTという言葉をよくインターネットで目にします。なんとなく「こんなことができるのかな……？」というイメージは湧いているのですが、具体的なサービス内容を簡単に教えてもらえるでしょうか。 深津貴之氏（以下、深津）　一言で言えば「人間の言葉で質問すると、人間の言葉で答えてくれるロボット」です。 例えば、質問に答えてくれたり、相談に乗ってくれたり、長文を要約してくれたり……。これまでの“検索”とは違って、人間的な知性があるかのように“文章で返答をしてくれる”のが大きな特徴というサービスですね。 お昼ごはんについて質問したときの回答。これまでの“検索”とは良くも悪くも勝手が違うことがよくわかる これはAIに大量の単語を学習させることで、「直前の単語に対して、最も可能性が高い次の単語を予測している」んです。例えば「むかしむか

を具体的かつ丁寧にご紹介するという内容になっています。 AIによる美少女イラスト生成ではプロンプト（＝呪文）がイラストのクオリティを大きく左右するのですが、適当に呪文を唱えようものなら「なんかコレジャナイ」感たっぷりのイラストが生成されてしまいます。なので初心者の方からしたら

Business Insider Japan/小林優多郎ChatGPTに世間が沸いている。 長年この分野を見てきた者としては「ちょっと沸きすぎ」のようにも見える。深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 ところが、世界中が驚かざるを得ないゲームチェンジャーが現れた。 その名も「FlexGen」と言う。2月15日に公開された。 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを「従来の100倍高速に動かせる」上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。 つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。 このインパクトがどれほどすごいのかを解説してみよう。 目次： 「Google翻訳」と「大規模言語モデル」は

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

多彩な頭脳労働をこなしてくれる「これぞ本物の人工知能」と呼べそうなものがついに登場した ―― 米国の研究機関OpenAIが最近公開した言語生成AI「ChatGPT」が今、世間の注目を浴びている。 すでにツイッターなどで大きな話題になっている他、つい先日ノーベル経済学賞受賞者のポール・クルーグマン氏がニューヨークタイムズのコラムでも紹介した程だから、いわゆる技術系オタクのみならず一般の人たちの間でも相当知られているはずだ。 このシステムはユーザーとの対話形式で、政治・経済・文化をはじめ、あらゆる分野における質問に丁寧に答えてくれる。また、こちらのリクエストに応じて、何らかのテーマに関する小論文や短編小説を書いたり、ソフトウエア・コードのデバッグ（誤り訂正）などもしてくれる。 他にも多彩な頭脳労働をこなしてくれるので、ひところ取り沙汰された「人間の仕事（特に頭脳労働）がAIに奪われる」という懸

誰もが知っておくべき画像生成AI「Stable Diffusion」の仕組みと使い方：Stable Diffusion入門 Stable Diffusionの概要と基本的な仕組み、それを簡単に使うための公式なWebサービスである「DreamStudio」を紹介し、Stable Diffusionで画像生成する際に行われていることについて駆け足で見ていきましょう。 連載目次 今、画像生成AIが「革命」と言えるほど盛り上がっているのをご存じでしょうか。2022年8月前後 からDALL・E 2（ダリ・ツー）やImagen（イマジェン）、それからもちろんMidjourney（ミッドジャーニー）など、多数の画像生成系AIが登場し、世の中を騒然とさせていました。が、それらを一足飛びで追い越して多くの人が熱中しているのがStable Diffusion（ステーブルディフュージョン）です。最初はSNSで大

「Pythonで儲かるAIをつくる」を読みました 日経BP様より「Pythonで儲かるAIをつくる」を献本いただきました。筆者の赤石さんは、日本IBMで働く、本職のデータサイエンティストです。赤石さんの執筆したAI書籍の本は3冊目4冊目になります。赤石さんに関して、詳細はIBMの以下ブログ記事が詳しいです。 Pythonで儲かるAIをつくる 作者:赤石 雅典発売日: 2020/08/06メディア: 単行本 Pythonで儲かるAIをつくる 作者:赤石 雅典発売日: 2020/08/06メディア: Kindle版 AI関連書籍三冊目を出版したIBM赤石雅典に聞く「AIと仕事と執筆」 | IBM ソリューション ブログ 赤石さんが書いた本は、いずれも基礎から丁寧に説明してあり分かりやすい内容です。特に「ディープラーニングの数学」は社会人になってから、必要に迫られてディープラーニングに必要な数学

毎年、グローバルで300万件以上出願されている「特許」。しかし、特許の管理や検索、申請に関わる技術は高度化し、フローは複雑さが増している。 多くの国にまたがる国際出願が標準化する中で、発明者や弁理士がグローバルに特許の存在を調査する作業は藁の山から1本の針を探すよりも困難な作業と言われており、プロのサーチャーでも一件の調査に数日〜数カ月を要する、と言われている状況だ。 そうした特許検索における課題を解決すべく、先日、正式版がリリースされたサービスがAI特許調査プラットフォーム「Amplified（アンプリファイド）」だ。 同サービスは世界中の1億件以上の特許をディープラーニングで学習したAIが、入力される文章に対して即時に類似特許を発見する、というもの。これまで数日〜数カ月かかっていた先行技術調査が約30〜60分以内に短縮されるとのこと。料金は「Pay-Per-Projectプラン」が調査

機械学習概論～ディープラーニングGAN、本格的に学べる全20時間の大学講義が無償公開：AI・機械学習の独学リソース 機械学習概論、単回帰、重回帰から、k-means、主成分分析、ニュートラルネットワーク、CNN／RNN／GANまで、全20回の講義概要と目次を紹介。本稿独自に考察した、難易度や前提知識、お勧めの学習方法、注意点についても示す。

現在は第3次人工知能（AI）ブームといわれています。インターネットのニュースや新聞でAIの話題を目にしない日はないといっていいほどです。このブームの立役者の1つが「強化学習」と呼ばれる技術です。本連載は、強化学習の基礎から最新の話題まで、分かりやすく解説します。読者の方に技術のエッセンスを直感的に理解してもらい、より専門的な教科書や論文を読みこなせるようになってもらうことが目標です。今回は、産業界で強化学習といえば大抵はこの方式といえるQ学習を説明します。（日経xTECH編集） 今回は、強化学習の実態をつかんでもらうために、具体的な学習の手順を紹介します。強化学習の中でも最もよく使われる手法といえる「Q学習（Q-learning）」を中心に説明します。Q学習は特定の条件を満たせば最適な行動を導ける（＝最適方策に収束する）ことが知られている方法です。計算量も比較的抑えられるので、産業界で強化

最近では16bitの浮動小数点数(FP16、あるいは半精度)で演算して、マシンラーニングの計算性能を改善するという話が一般化してきている。ということで、計算をより簡単に実行して性能を改善しようという動きがある。 今年のISC 2019では、混合精度計算のセッションが設けられ、その中でシンガポール国立大のJohn Gustafson教授が「混合精度の管理からプログラマを自由にするPosit」と題するプレゼンテーションを行った。Gustafson氏はHPCの世界では有名なコンピュータ科学者で、Gordon Bell賞も受賞している。アクセラレータの草分けのClear Speed社のCTOやAMDのチーフグラフィックスプロダクトアーキテクトを務めたこともある。そして、ISC 2019での発表時の肩書は、A*STARと国立シンガポール大学の教授となっている。 ISC 2019で発表を行うJohn

Google で機械学習システムの開発に携わる D. Scully 氏らによる Machine Learning: The High-Interest Credit Card of Technical Debt (機械学習：技術的負債の高金利クレジットカード) という論文。機械学習は、複雑なシステムを素早く開発するにあたって非常に強力なツールとなるが、それと同時に、 大きな技術的負債（メンテナンスコスト）を抱えるリスクがある。そのリスク要因と対処法についてまとめたのが本論文。 発表当時、日本でも少し話題になったので、日本語で検索するといくつか翻訳を目にすることができますが、 ここでは、あらためて抄訳を試みるとともに、読む上で重要となる単語・表現を最後に紹介したいと思います。 概要 機械学習は、複雑なシステムを素早く開発するにあたって非常に強力なツールとなるが、これらのメリットがタダで 享受