Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 東ロボくんプロジェクト （AIで東大の入学試験に合格するプロジェクト ）[1]について、グーグルが最近公開した最新の言語処理モデルBERT [2]を引き合いに出して批判する動き[3]がある。以前にも新井先生を批判する動き[4]があったので、本当に大変だなと思う。しかし、彼女のやったこと、特に、AIは東大に合格できないと決めつけて東ロボを中止したことは、人工知能(AI)の研究の一端を担う私から見て、間違った判断だったと思う。東大に合格できないと言う結論が間違っていると言っているのではない。その点については私も現時点ではわからない。ただ、技

こんにちは。研究開発部の青見 (@nersonu) です。 そろそろ花粉症の季節ですね。週1でしか出社しない私は、なんとか引きこもって数ヶ月しのぎたいところです。 さて、今回は BERTopic という OSS について、さっくりとした手法の解説もしつつ、簡単に文書のクラスタリングを試そうと思います。 github.com 目次 目次 BERTopic とは 文書の埋め込み 文書のクラスタリング トピック表現 手法の概要まとめ BERTopic を試してみる インストール モデルのロード クラスタリングの実行 結果の確認 トピックごとの単語の重要度 トピックごとの文書を眺めてみる 次元削減手法・クラスタリング手法の変更 使ってみての所感 BERTopic とは BERTopic はいわゆるトピックモデリングを行うための OSS です。 トピックモデルは、文書集合から「トピック」は何が含まれ

ことばを処理するAI（人工知能）技術の１つとしてBERTという技術が脚光を浴びています。NTTデータではBERTをビジネスで実用化するため、さまざまな業界の特有な単語や言い回しをとらえることのできるBERTの応用開発を行っています。これにより、個々のお客さまニーズに合わせた最適なAIモデルを構築することができます。本稿では、その一例である「金融版BERT」と「ドメイン特化BERTフレームワーク」について紹介します。 近年、深層学習をはじめとしたAI（人工知能）関連技術がめざましい進歩を遂げており、これまで実用足り得なかった分野に対して適用が進んでいます。画像処理では、犬と猫の区別も難しかった状態であったのに対し、深層学習を活用することで犬種の区別やピクセルレベルでの位置まで特定することができるようになりました。言語処理では、機械翻訳が10年前と比べて劇的に改善されています。個々のタスクでは

Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! JAPAN研究所で自然言語処理の研究開発をしている柴田です。 私は自然言語処理の研究と、最新の自然言語処理技術を社内のサービスに適用できるようにする開発の両方を行っています。今日は後者の話をします。 この記事ではBERTというモデルに焦点をあて、BERTの概要と、社内でのBERTの利用、最後に具体例として検索クエリのカテゴリ分類について紹介します。 ※この記事で取り扱っているデータは、プライバシーポリシーの範囲内で取得したデータを個人が特定できない状態に加工しています。 1. BERTとは 2018年にGoogleからBERT (Bidirectional Encoder Representations

ありがとうございます！ 実は私本人がそのモデルの構築に関わっているのですが、詳細はまだ言えない状況です...。 来年3月の言語処理学会年次大会(NLP2023)での続報をお待ちください！このモデルに関する論文が公開される予定です（一応それを待ってからこの記事にも掲載します）。 （私が書いたものではありませんが、現段階で公開できる情報をまとめた記事があります: https://note.com/utokyo_itc/n/nb18b2a753f23 ）

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

Top > 学術＆研究 > rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習

はじめまして。R&Dチーム所属、20.5卒の伊藤です。 普段の業務では自然言語処理と格闘していることが多いです。 今回は自然言語処理モデルとして有名なBERTをWebAssemblyを使用してフロントエンドで動かしてみた話になります。 最近、自然言語処理ライブラリとして普段お世話になっているHugging Face社のTransformersのTokenizerがRustで実装されていることを知り、それならばWebAssemblyにコンパイルして動かせるのではないかと試したみたのがきっかけです。 Tokenizerのみ動かしても実用性に乏しいため、Tokenizerから得られた結果からBERTを用いた推論をブラウザで動作させるまでを行い、備忘録がでら手順をまとめました。 どなたかの参考になれば幸いです。 8/26追記 本記事内のコードを含むリポジトリを公開しました！Dockerを使用してブ

米グーグルの人工知能（AI）研究部門が、AI倫理研究者の解雇を巡って大きく揺れている。同社が開発した自然言語処理技術「BERT（バート）」のような巨大な言語モデルが内包する問題点を指摘しようとした2人の女性研究者が、2020年12月と21年2月にそれぞれ解雇された問題だ。「論文の社内検閲」に端を発した騒動に見えるが、AI倫理を巡るより根深い社内対立が透けて見える。問題が明らかになったのは20年

三井住友フィナンシャルグループ（FG）が最先端AI（人工知能）の活用にアクセルを踏む。 自然言語処理に特化したAIである「BERT」をベースにしたAIシステムをこのほど開発した。SMBC日興証券ら2社のコールセンターの照会応答支援業務を皮切りに、三井住友銀行（SMBC）をはじめとするSMBCグループ全体で活用する。同AIシステムの外販も視野に入れており、国内金融機関にBERTの導入が加速する可能性がある。 コロナ禍で重要性高まるコールセンター、総コスト2割削減へ 新たに開発したのはコールセンターの照会応答業務を支援するAIシステムだ。顧客からの電話やメールを受けたオペレーターが端末に検索用の文章を入力すると、対応する回答を掲載した社内FAQ（よくある質問と回答）のWebページやPDF文書を表示。オペレーターが顧客の問い合わせに素早く正確に答えられるようにする。 AI技術ベンチャーの米All

米オーバーン大学の研究者らは、言語理解能力を測定するテストで高得点の自然言語システムが、文中の単語の順序の入れ替えに気づかないことを発見した。こうしたシステムは、文中のいくつかのキーワードを拾い上げてテストの課題を処理しているだけであり、人間のように文の意味を理解しているわけではない。 by Will Douglas Heaven2021.01.22 46 58 21 24 言語を理解しているように見える人工知能（AI）の多くは、一般的な言語理解の課題において人間より高い得点を出している。ところが、文中の単語が並べ替えられても、そのことに気づくことができない。つまり、AIは実際にはまったく言語を理解していないのだ。問題の原因は、自然言語処理（NLP）システムが訓練される方法にある。この問題はまた、どのようにして自然言語処理システムを改善すればよいかを指し示している。 アラバマ州オーバーン大

この例に関する質問への回答を補足の項に記載しましたので、より良い理解のためにご参照ください。 1.3 モデル構造 トランスダクションモデル(ある文章を他の文章に変換するモデル(翻訳など))において主流なのは以下のようなエンコーダ-デコーダモデルである。 エンコーダ: 入力の文 $(x_1,\ldots,x_n)$ を $\boldsymbol{z}=(z_1,\ldots,z_n)$ へ変換 デコーダ: $\boldsymbol{z}$ から単語 $(y_1,\ldots,y_m)$ を出力。 ただし、1時刻に1単語のみで、前時刻のデコーダの出力を現時刻のデコーダの入力として使う。 Transformerは基本的な大枠はエンコーダ-デコーダモデルでself-attention層とPosition-wise全結合層を使用していることが特徴。 つまり、以下の3つ(+2つ)のことが分かればモデル

人工知能（AI）が人間のものと区別ができないほど巧みな文章を生成したり、コミュニケーションロボットが大きな支障なく会話を進めたりするのが当たり前になってきた。コンピューターで言葉を扱う自然言語処理技術がこの数年で急進展したためだ。言語というあいまいで揺らぎの大きい情報を機械が上手に扱えるようになってきた。自然言語処理の応用範囲も広がり、社会や産業のDX（デジタルトランスフォーメーション）のカギを

この記事はエムスリーAdvent Calendar 2020 20日目の記事です。 エンジニアリンググループ AI・機械学習チームの李です。弊社では記事に対して疾患薬剤などのタグを付与するシステムGaussと、記事についたタグとユーザーのPV情報を利用してユーザーに興味のあるタグを紐づけるシステムMaxwellが存在します。Maxwellで使う特徴量を増やしたいというモチベーションがあるのですが、１つ考えられるのは記事についたタグに対して感情分析の結果を追加で利用することです。そこで、感情分析タスクをBERTで解く論文「Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence」 (Sun et al., 2019) を弊社のサービスで提供される医療記事に適用してみました。 各

Googleを解雇されたAI倫理研究者が指摘していた「大規模言語モデル」の危険性：Googleさん（1/2 ページ） 先週の金曜日、いつも巡回している米国のIT系メディアがいっせいに、GoogleのAI部門、Google AIのEthical Artificial Intelligence（倫理的AI）チーム共同リーダー、ティムニット・ゲブルさんがGoogleをクビになったと報じました。 ゲブルさんが2日の夜、自らのTwitterで、Googleがいきなり自分をクビにしたとツイートしたのです。 ゲブルさんは、AI研究分野では著名で尊敬されている研究者。黒人で女性。かつてMicrosoft Research在籍中、今の顔認識は学習データが白人男性の顔に偏っているので肌の色が白くないと認識率が下がるという有名な論文を共著で発表しました。著者名は覚えていなかったけれど、私もこの論文（の記事）は印

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

[レベル: 上級] Google は「BERT」と呼ぶ自然言語処理技術を検索システムに採用したことを発表しました。 BERT の採用により検索クエリをより正確に理解することができます。 米Google (google.com) の英語の検索ですでに導入されました。 今後は、ほかの国・言語にも展開していく予定です。 強調スニペットにも BERT は使われます。 強調スニペットに関しては、導入されている 20 数か国で BERT が機能しています。 クエリ理解に BERT を利用 BERT とは “Bidirectional Encoder Representations from Transformers” の頭文字を取ったものです。 自然言語処理 (NLP: Natural Language Processing）の技術です。 約 1 年前に Google がオープンソースとして公開しまし