対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ苦手かというと、以下の2つのポイントからそのように言えます。 （1）RNNでは、翻訳元文章全体の特徴を記憶できるサイズが固定されている。そのため、文章が長くなり単語の数が増えるほど、エンコーダーにおいて、文章の前の方で出現した単語の意味が薄まってしまう。 （2）RNNでは、単語を1つずつニューラルネットワークで処理する。そのため、単語の数が多くなればなるほど処理時間がかかってしまう。 ですので、RNNが持つこうした欠点を解消するための仕組み

The messy, secretive reality behind OpenAI’s bid to save the world ベールに包まれた 世界最高峰の頭脳集団 「オープンAI」の正体 サンフランシスコを拠点とする非営利団体のオープンAIは、人間の学習能力と推論能力を持つ「汎用人工知能（AGI）」を最初に開発し、すべての人にその恩恵が及ぶようにすることを目的として鳴り物入りで設立された。しかし、熾烈な競争環境の中で当初の理想は次第に失われつつある。 by Karen Hao2020.05.27 38 オープンAI（OpenAI）では毎年、従業員が汎用人工知能（AGI）の実現時期の予想を投票する。基本的に従業員の絆を深める楽しい余興のようなもので、人によって予想は大きく異なる。だが、人間のような自律システムが可能か否かの議論に関しては、従業員の半分が15年以内に実現する可能性が高

分かる 教えたくなる 量子コンピューター QUANTUM-COMPUTER 量子コンピューターということばを見聞きして何を思いますか？「高速計算できることは知っているけど仕組みはよく分からない」と立ち止まってしまう人も多いのではないでしょうか。そんな人泣かせの量子コンピューターについて、基礎から計算の仕組みまでQA方式でやさしく解説します。

以前にこんな日記を投下した半導体業界人の増田です。 https://anond.hatelabo.jp/20200813115920 https://anond.hatelabo.jp/20200813164528 久々に日記を書きたくなったので、今回は方向性を変えて年代記風の記事を投下してみます。 私自身は業界の全盛期である80年代~90年代前半を経験しておらず、当時の状況を記述するのに十分な知識がないため、その時代については省いています。 ということで、私がこの業界に入ることになる少し前の90年代半ばから物語を開始します。 ※工場の呼び名は企業の再編によって変わる事が多々あるので、原則立地で表記している。 1990年代半ばごろ 時代の転換点80年代後半に栄華を極めた日本半導体産業であったが、日米貿易摩擦の影響で一時に比べて勢いを失っていた。 また、韓国企業の台頭により得意分野のDRAM