Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 追記：続きを書きました。 その２：ED法を高速化してその性能をMNISTで検証してみた その３：ED法+交差エントロピーをTF/Torchで実装してみた（おまけでBitNet×ED法を検証） はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法（誤差逆伝播法）ではなく、ED法（誤差拡散法）という新しい学習手法を提案しているものです。 もし記事の内容が本当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命

イントロ「実験室内で培養した人の「ミニ脳」にゲームをプレイさせることに成功、AIよりも速いわずか5分で習得」というニュースが話題になっています。 脳細胞をトレーの中で人工培養させて、その細胞に卓球ゲームの「Pong」をプレイさせたところ、たった５分で学習し、ラリーが続くようになったと報告されています。まるで、マトリックスの映画のようで、この技術を使った未来がワクワクすると同時にちょっと怖くもあります。一体、どんな技術を使って、脳細胞に卓球ゲームを学習させたのでしょうか。このニュースを取り上げている記事は多かったのですが、中身の仕組みについて解説している記事は多くありませんでした。そこで、このブログ記事では、ミニ脳にゲームを学習させた仕組みを自分の勉強がてらに、備忘録的にざっくりとまとめたいと思います。（そのため、自分の理解や記述が間違っている箇所があるかもしれません。もしありましたらお知ら

情報通信研究機構（NICT）は、無意識に英単語のリスニング能力を向上できるニューロフィードバック技術の開発に成功した。 情報通信研究機構（NICT）は2017年6月15日、無意識に英単語のリスニング能力を向上できるニューロフィードバック技術の開発に成功したと発表した。NICT脳情報通信融合研究センター 常明氏らの研究グループと大阪大学大学院 情報科学研究科、北海道大学が共同で行ったもので、成果は同日、米科学誌「PLOS ONE」に掲載された。 ニューロフィードバック技術とは、脳から取り出した脳活動パターンの情報を本人に伝え、その脳活動パターンを希望のパターンに近づけるための学習を可能とする技術。同研究では、音の違いに反応する脳活動（Mismatch Negativity：MMN）を強化するニューロフィードバック技術を開発した。 実験では、参加者が脳波計を装着してイヤフォンを通して「ligh

前編はこちら： ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(前編) 逆畳み込みネットワーク(DN) は、インバース・グラフィックス・ネットワーク（IGN）とも呼ばれていますが、畳み込みネットワークを逆転させたものになります。例えばネットワークに”猫”という言葉を入力すれば、生成した猫らしき画像と本物の猫の写真を比較しながら猫の画像を作成するよう訓練するようなイメージです。普通のCNNと同様にDNNをFFNNに組み合わせることができますが、新しい略語が見つかる時に線が描かれるところが特色です。深層逆畳み込みニューラルネットワークとでも呼べそうですが、FFNNの前後にDNNをつなげると、新しい名前をつけるにふさわしい別のアーキテクチャのネットワークができると主張できます。実際にはほとんどのアプリケーションにおいて、ネットワークにテキストに似たものが

こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ

新しいニューラルネットワークのアーキテクチャがその時々で誕生するため、それら全部を把握することは困難です。全ての略語を覚えようとすると、最初はその数の多さに圧倒されてしまうでしょう（DCIGNやBiLSTM、DCGANを知っている人はいますか？）。 そんなわけで、これらのアーキテクチャの多くを盛り込んだチートシートを作ることにしました。そのほとんどはニューラルネットワークです。しかし、中には全く異なるアーキテクチャも潜んでいます。どれも独特で目新しいアーキテクチャばかりですが、ノードの構造を描くことで基本的な関係が分かりやすくなってきます。 これらをノードマップとして描くことの問題点は、これらがどのように使われるかを明確に示していないという点です。例えば、変分オートエンコーダ（VAE）はオートエンコーダ（AE）と同じように見えますが、実際は訓練過程が全く異なりますし、訓練したネットワークの

大阪大学は、動く観察対象を自動追跡し、特定の神経細胞をプロジェクションマッピングによって刺激するロボット顕微鏡を開発し、線虫「C.エレガンス」の複数のドーパミン細胞の性質が異なることを明らかにした。 大阪大学は2016年5月19日、動く観察対象を高速に自動追跡し、特定の神経細胞をプロジェクションマッピングで刺激するロボット顕微鏡「オーサカベン」を開発し、行動中の線虫の複数のドーパミン細胞の性質がそれぞれ異なることを明らかにした。同大学大学院理学研究科の木村幸太郎准教授と東北大学大学院情報科学研究科の橋本浩一教授らの共同研究チームによるもので、成果は同日、英科学誌「Scientific Reports」で公開された。 今回、同研究チームでは、水平面上を自由に移動する生物を1／200秒単位で自動追跡しながら、蛍光によって複数の神経活動を測定し、さらに複数の神経活動をプロジェクションマッピングで

【プレスリリース】単一神経細胞による記憶(Single-cell memory)を世界で初めて発見 -記憶メカニズムの定説を書き換え- - 日本の研究.com https://research-er.jp/articles/view/41992 名古屋大学大学院理学研究科 (研究科長:松本 邦弘) の森 郁恵(もり いくえ)教授と貝淵 弘三(かいぶち こうぞう)教授(同大学院医学系研究科)らの共同研究チームは、線虫をモデル系とする大規模リン酸化プロテオミクス解析を、世界に先駆けて成功させることにより、新規の記憶メカニズムを同定することに成功しました。 古くから記憶・学習の成立機構には様々な仮説が提案されてきましたが、現在のところシナプス説が最も有力です。シナプス説とは、記憶や学習が多細胞間の相互作用によって支えられており、特に神経回路網内でのシナプス伝達効率が変化する「シナプスの可塑的

午前中は言語学習支援・機械翻訳の進捗報告。それぞれ新しい研究で各自色々自分で進めているので、話を聞くのは楽しいのだが、年内に実験結果が出るのか？　という不安がそこはかとなくある。本当は、こんな締め切りに追われるような感じではなく、ゆっくりできるといいと思うのだが、締め切りに追われている方が進むという不思議（いや、あまり不思議ではないか）。 お昼は論文紹介。 Tang et al. Document Modeling with Gated Recurrent Neural Network for Sentiment Classification. EMNLP 2015. を紹介してもらう。感情極性分析では、頑張って素性エンジニアリングした SVM と、適当に作った畳み込みニューラルネットワークが同じくらいの性能になるらしいのだが、リカレントニューラルネットワーク（普通の RNN から、LST

意識をめぐる本は最近も『意識はいつ生まれるのか――脳の謎に挑む統合情報理論』や『意識をめぐる冒険』が本職の神経科学者によるノンフィクションとして発表されるなど、翻訳(と出版)が比較的に途絶えない分野である。本書の著者もまた本職の認知神経科学者ではあるが、特異性は徹底した実証に基づく意識の定義、およびその応用可能性についての地道な記述であろう(他の著者が実証に基づいていないわけではなく、アプローチの違いであることは後述)。 本書では哲学的な謎を、実験によって検証可能な現象へと変えた戦略を詳しく解説する。この変化は「意識のより明確な定義」「意識的知覚を実験によって操作できるという発見」「主観的な現象に対する尊重」という三つの要素によって可能になった。 本書の構成は意識の定義、無意識及び意識の働きの実証的考察、意識に関する理論的仮説の提起、臨床現場への応用事例と段階を踏んで、かつ自身らの物を含む

Reconstrucion and Simulation of Neocortical Microcircuitry Henry Markram, Eilif Muller, Srikanth Ramaswamy, Michael W. Reimann, …., Javier DeFelipe, Sean L. Hill, Idan Segev, Felix Schürmann et al.,*1 Cell (2015), 163(2), 456–492 何を以て脳を理解したとするか。答えは十人十色でしょうが、一つの回答として、『少数のパラメーターを用いた数式で脳の挙動を近似的に再現できたなら』という構成的なアプローチが挙げられます。これを達成するためには、本質的なパラメーターの洞察だけでなく、その数式に用いられる定数の値を実験的に求めることが必要になってきます。例えば今から60 年以上前

Thank you for visiting nature.com. You are using a browser version with limited support for CSS. To obtain the best experience, we recommend you use a more up to date browser (or turn off compatibility mode in Internet Explorer). In the meantime, to ensure continued support, we are displaying the site without styles and JavaScript.

ニュースリリース IBM News Twitter IBM News YouTube Featured AI調査 | 2024年11月 7日 IBM、2024年ガートナー API管理部門のマジック・クアドラントでリーダーの1社に位置づけ AIIBM Consulting導入事例 | 2024年11月 7日 横浜銀行の「生成ＡＩを活用した融資審査業務における稟議書作成」の実証実験の実施について AIIBM Consulting導入事例 | 2024年11月 5日 ＳＯＭＰＯシステムズ、日本IBMの「プロジェクト管理のためのAI」を活用した「レポート自動生成」機能を、本番プロジェクトへ適用開始 AIセキュリティー | 2024年10月30日 セキュアなAIと耐量子技術を推進するIBM Guardium Data Security Centerを発表 お知らせ お知らせ | 2024年10月31