昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース

Googleが年次開発者向け会議「Google I/O 2021」の中で、対話特化型の言語モデル「LaMDA」を発表しました。 LaMDA: our breakthrough conversation technology https://blog.google/technology/ai/lamda/ Google showed off its next-generation AI by talking to Pluto and a paper airplane - The Verge https://www.theverge.com/2021/5/18/22442328/google-io-2021-ai-language-model-lamda-pluto 新たに発表されたLaMDAは、「Transformer」という言語理解用ニューラルネットワークアーキテクチャを採用した対話特化型

With more board configurations than there are atoms in the universe, the ancient Chinese game of Go has long been considered a grand challenge for artificial intelligence. On March 9, 2016, the worlds of Go and artificial intelligence collided in South Korea for an extraordinary best-of-five-game competition, coined The DeepMind Challenge Match. Hundreds of millions of people around the world wa

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事は、Filip Piekniewski氏のブログ記事 "AI Winter Is Well On Its Way" の翻訳です。 追記：Filip Piekniewski氏による本記事への補足も合わせてご覧ください。 翻訳：AIの冬はますます近付いている (Filip Piekniewski) AI Winter Is Well On Its Way ここ数年、ディープラーニングはいわゆるAI革命の最前線に位置付けられてきた。そして、多くの人が信じてきたところによると、ディープラーニングは我々をシンギュラリティ (汎用人工知能)

それでも「こちらはGoogle Assistantです」と、通話相手が人間でないことを明かされると、納得する部分はあった。 筆者はGoogle Duplexとの3分間の会話の中で、このソフトウェアにできるだけ失敗をさせることを目指した。Google Duplexから言われた名前、日付などの予約に必要な情報を書き留めつつ、とりとめもない話題を振るようにした。スポーツのスコアを尋ねたところ、「自分はGoogle Assistantで、予約が目的で電話した」とのセリフを繰り返すばかりだった。 さらに筆者は、人間と話ができるか質問してみた。 すると、Googleのコールセンターの係員に通話を転送してくれた。係員には私との通話ログが送られていて、その係員が予約を確認して通話が終わった。 Google Assistantの製品およびデザイン担当バイスプレジデントであるNick Fox氏は6月26日、こ

最先端の人工知能分野で活躍する人にとって、コンピューターで脳の活動をシミュレーションすることは極めて難しい課題である。しかし、コンピューターを脳のハードウェアと同じように設計できれば、それも容易になるかもしれない。 これを試みる新しい分野のことを「神経形態学的コンピューティング（neuromorphic computing）」という。 そして米マサチューセッツ工科大学（MIT）のエンジニアたちは大きなハードルを越えたのかもしれない。人工シナプスを持つチップを設計したのだ。 人間の脳の神経細胞の活動とコンピューターを比較 現時点で、人間の脳はいかなるコンピューターにも勝る性能を備えている。脳は800億もの神経細胞とそれらを結合する100兆を超えるシナプスを持ち、信号の流れを制御している。 一方、コンピューターチップは「バイナリー」という言語シグナルを伝達することで機能する。そこでは、あらゆる

Deep Learningの学習結果（重み）はブラックボックスで、隠れ層のユニット（特に深い層の！）が一体何を学習したのかがよくわからないと長年言われてきた。しかし、今回紹介する方法を使うとニューラルネットが何を学習したのか目で見える形で表現できる。 畳み込みニューラルネットで学習したフィルタの可視化というと以前やったように学習した第1層のフィルタの重みを直接画像として可視化する方法がある。 しかし、畳み込みフィルタのサイズは基本的に数ピクセル（MNISTの例では5x5ピクセル程度）のとても小さな画像なのでこれを直接可視化しても何が学習されたか把握するのはとても難しい。たとえば、MNISTを学習した畳み込みニューラルネット（2016/11/20）のフィルタを可視化しても各フィルタがどの方向に反応しやすいかがわかる程度だ。 各フィルタが何を学習したかを可視化する別のアプローチとして各フィルタ

RPA（Robotic Process Automation：ロボティクスプロセスオートメーション）について、ITIL（Information Technology Infrastructure Library：ITサービスマネジメントのフレームワーク）の視点から考えてみたいと思いますが、今回は事前知識として、RPAとは何かについて確認しておきしょう。 RPAに似ている技術として、botとAIがよく引き合いに出されます。全て、「自動的」というキーワードでくくられがちなため、区別なく話題に登場することもありますが、その本質は大きく異なります。 ルールベースのRPA、判断ベースのAI 何かを自動処理させたい場合、「人の手によって処理フローを全て定義するか」「蓄積された内部データと照らし合わせて都度システムが判断するか」のいずれかで実現します。このとき、前者をルールベースの自動化、後者を判断ベー

1　RPA（Robotic Process Automation）とは何か RPAとは、「ロボティック・プロセス・オートメーション（Robotic Process Automation：ソフトウェアロボットによる業務自動化）」を略した言葉です。 RPAは、RPAツールと呼ばれるソフトウェアを利用し、パソコン上でのルーチンワーク（繰り返し行う定型的な作業）を自動実行する技術です。 実際にRPAがどういうものか、ごく簡単に説明すると、「あらかじめ手順が決まっていれば、マウスやキーボードを使った作業を、いつでも・何度でも・高速に・ミスなく・自動で処理できる技術」といえます。 人が処理していた仕事の一部を肩代わりでき、まるで人を増やしたような効果が得られることから、RPAのことを「デジタルレイバー（仮想知的労働者）」と呼ぶこともあります。 RPAでできること RPAを使って自動実行できる作業として

シンギュラリティが始まったようです。詳細は以下から。 人間を越える人工知能が現れ、自らの力で新たな人工知能を作り上げてゆく未来。シンギュラリティ（技術的特異点）と呼ばれる時系列的な瞬間は2045年頃に起こるとされていましたが、既に私たちはその領域に足を踏み入れていました。 Google Brainの研究者らが「自らの力で新たな人工知能を作り上げるAI」であるAutoMLの開発に成功したと発表したのが今年2017年5月のこと。そしてこの度、AutoMLが作り上げた「子AI」はこれまで人類が作り上げたAIよりも優れた性能を持っていたのです。 Googleの研究者らは「強化学習（reinforcement learning）」と呼ばれる手法を用いて機械学習モデルのデザインを自動化。AutoMLは子AIが特定のタスクへの対応力を発展させるためのニューラルネットワークの制御装置の役割を担います。 今

進化した人工知能が自我を持つ――。人工知能にまつわるよくある議論の1つですが、実際に開発しているエンジニアからすれば、全く現実的な話ではありません。それでも、なぜ人は、人工知能に自我が芽生えると思ってしまうのでしょうか。 人工知能（AI）に関してよくある議論の1つに「人工知能は自我を持つのか」といったテーマがあります。人工知能の性能が上がり続けることで、「いずれは人間のように、心（自我）を持つのではないか？」と思う人は少なくありません。 この話は「自我を持った人工知能が人間に反旗を翻して、戦争を起こすのではないか？」という脅威論のベースにもなっています。こうした心配が広がるのは、「心を持つロボット」というモチーフの物語が世に数多くあるためかとも思うのですが、実際に人工知能を開発しているエンジニアからすると、「そんなバカな……」と失笑するレベルで非現実的な話なのです。 しかし、実際にPepp

手書き書類をAIでデータ化 Tegakiは、世界最高水準の手書き文字認識率を誇るAI OCRサービスです。金融、自治体、製造、教育など、様々な業界の生産性向上に貢献します。

The Station is a weekly newsletter dedicated to all things transportation. Sign up here — just click The Station — to receive the newsletter every weekend in your inbox. Subscribe for free.  W

総務省は企業が開発する人工知能（AI）に公的認証を与える制度を立ち上げる方針だ。安全性やセキュリティーなどを評価する。「認証済み」を使う企業や個人で事故が起きた場合の責任の範囲を抑えて利用しやすくする計画だ。AIは急速に進歩しているが、暴走して人間に危害を加える恐れがあり、認証制度を通じて安全性を高めて開発・普及を促す。公的認証の対象は米IBM「ワトソン」のようなコンピューターから、そうしたコ

人工知能が書いた特許願を日本の特許庁が受理しました。ちゃんと出願番号もらえました。これは世界初だと思う。たぶん。 そのうち、人工知能が自動的に特許を書いて、自動的にＩＰＤＬにアクセスして重複特許かどうかチェックして、自動的に一日65536回くらいオンライン出願して、特許が人工知能で作ったものばかりになる日が来るのかもしれない。特許庁の職員と回線がその速度で対応できないと思うけど。 ちなみに上記の写真の整理番号はAI-PATENT（人工知能特許)という意味で、最後の４桁の数字はunixtimeを9999で除算した剰余だ。内容は請求項の自動文書生成についての特許だ。 いろいろ書きたいけれど、最近、なんか色々、文書をかいたりまとめたり、綿密なコードを書くのがしんどい。これが老いというものか。 先月、会津大学に行って講演する機会があった。講演まで時間が余ってて、五十嵐くんという自然言語処理をやって

従来は人工知能の開発というと、高度なスキルがないと手が届かないイメージがあった。 しかし現在では、多少のプログラミングの知識があれば、人工知能を使ったアプリケーションやシステムを開発できるようになった。 そこで今回は、手軽にはじめられる人工知能を使ったアプリケーションの開発方法をまとめてみた。 「言語処理AI」「音声処理AI」「画像処理AI」など様々な種類の技術を、入門者向けに広くピックアップした。興味のある分野について、それぞれ掘り下げてみることをおすすめする。 ※2016.07.23「Amazon ML」を追記 目次 目次 関連記事 開発方法1．ユーザーローカル社の「全自動会話API」 タイプ 難易度 特徴 開発方法2．Locl Interactive Incの「Meya」 タイプ 難易度 特徴 開発方法3．ユーザーローカル社の「形態素解析API」 タイプ 難易度 特徴 開発方法4．P