自然言語処理におけるAI研究の主流となっている大規模言語モデルには、訓練に膨大な計算能力を必要とするという欠点がある、ディープマインドは外部メモリーを辞書として活用することで、訓練に要するコストを大幅に下げられるモデルを発表した。 by Will Douglas Heaven2021.12.13 60 11 13 オープンAI（OpenAI）が言語モデルの「GPT-3」を公開してからの2年間に、著名な人工知能（AI）研究機関の多くがGPT-3を模倣した独自のモデルを開発してきた。グーグル、フェイスブック、マイクロソフト、そして少数の中国企業が、説得力のあるテキストの生成、人間相手のチャット、質問への回答などが可能なAIを構築した。 こうしたモデルは、大規模なニューラル・ネットワークがベースになっていることから「大規模言語モデル」と呼ばれている。今やAIの主流トレンドとなった大規模言語モデル

この記事はBrainPad Advent Calendar2021　13日目の記事となります。 アナリティクスサービス部の佐々木です。今回は機械学習モデルの局所的な説明手法について、interpretable machine learningという本を参考に解説していこうと思います。 はじめに 自分は21卒として入社し、研修を経て半年ほどデータサイエンティストとして仕事を行なってきましたが、ビジネスの現場において機械学習モデルの解釈が求められることは多いなと感じています。 入社以来、需要予測の案件に関わっているのですが、「なぜこの商品は需要はこの値になるのか」「なぜこのカテゴリの商品は予測精度が悪化しているのか」といったような質問をクライアントの方から頂く場面がありました。 学生の頃は、機械学習モデルの解釈性は新薬開発やクレジットカードの審査など、人命、生活に大きく関わる場面で用いられるく

［解決！Python］順列や組み合わせを取り出したり、総数を計算したりするには：解決！Python mathモジュールのperm／comb関数、itertoolsモジュールのpermutations／combinations関数を使い、順列や組み合わせの総数や組を得られる。 import math import itertools # 順列の総数の計算と順列の取得 n = math.perm(4, 2) print(n)  # 12 t = list(itertools.permutations(range(4), 2)) print(t) # 出力結果： #[(0, 1), (0, 2), (0, 3), (1, 0), (1, 2), (1, 3), (2, 0), (2, 1), (2, 3), #(3, 0), (3, 1), (3, 2)] print(len(t))  # 12

日本マイクロソフトは2021年12月7日、同社が取り組むAI（人工知能）についての取り組みについての説明会を開催。AIについての動向とともに、新たにサービスを開始した「Azure OpenAI Service」について説明した。 日本マイクロソフトは2021年12月7日、同社が取り組むAI（人工知能）についての取り組みについての説明会を開催。AIについての動向とともに、新たにサービスを開始した「Azure OpenAI Service」について説明した。 日本マイクロソフト 業務執行役員 Azureビジネス本部 本部長の上原正太郎氏は「技術進化や新型コロナウイルス感染症の拡大もあり、劇的な転換が起きようとしている。全ての企業がソフトウェア企業でありAI企業になる時代。伝統的な企業でもデータを中心に新たな価値を創出し、新たなサービスやツールを提供することが求められている」とAIを取り巻く環境

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog おはようございます、技術戦略本部テクノロジーインテリジェンス室の鎌田篤慎と申します。 ヤフーでは中長期的な視点で新しいテクノロジーを獲得し、サービスに適用することで得た競争優位性をテコに、事業を成長させていくという取り組みがあります。そうした目的のもと、新しいテクノロジーをリサーチし、経営陣が適切なタイミングで適切な意思決定を行えるようなインテリジェンス活動を行っています。 この記事では、私たちのそうしたインテリジェンス活動の一端をご紹介することで、われわれ、ヤフーが捉える未来のインターネットへの布石がどのようなものなのかという話と、この記事をご覧の読者の方々がお勤めの企業において、技術戦略を策定する際のヒントになればと思い筆を取

# 測度論を勉強せずにルベーグ積分を使うための期待値の性質 ## はじめに 統計・機械学習では確率変数 $X$ に関する期待値 $\mathbb{E} [X]$ について議論することがよくあります

はじめに この記事は、Kaggle Advent Calendar 2021の13日目の記事です。 昨日はtattakaさんによる鳥コンペ三部作を振り返る、でした。明日はymd_さんによる時系列のCross Validationについて、です。 この記事では、最近Kaggleでもよく用いられるようになってきたTPUについてまとめていこうと思います。 想定読者は TPUをまだ使ったことがない人 Kaggleをやってみたいが、安く使える計算リソースがなく困っている人 です。 TPUとは TPUに関する一般的な話はGoogleのTPU紹介を視聴した方が良いので、少し触れるのみにします。 TPUはGoogleが開発した、行列計算に特化した計算デバイスです。機械学習、その中でも特にDeep Learningは行列計算が数多く登場しますが、従来はこれをCPUやGPUなどの汎用性の高い計算デバイスで行っ

ネットワークを「見る」のに役立つツールの実践ガイド Photo by Scott Webb on Unsplash この記事のコードは、このリポジトリですべて公開されています。 【更新情報】2021年2月2日：ネットワーク可視化のためのpythonパッケージJaalをリリースしました。後述のリストのオプション4と考えることができます。ぜひ使ってみてください。詳細については、このブログに記載があります。 はじめに ネットワークまたはグラフは、相互に関係を持つエンティティの特別な表現です。ネットワークは、(1) ノード（エンティティ）と (2) エッジ（2つのノード間の接続）の、2つの汎用オブジェクトのコレクションで構成されています。複雑なネットワークでは、各ノードやエッジに関連付けられた属性や特徴もあります。例えば、人物のノードは、年齢、性別、給与などの属性、「友人」という2人の人物間のエッ

Image credit: Nvidia Nvidiaは11月22日、GauGAN モデルの後継となる GauGAN2 という AI システムの詳細を発表した。これにより、ユーザーは実在しない実物そっくりの風景画像を作成することができる。GauGAN2 は、セグメンテーションマッピング、インペインティング、テキストから画像への生成などの技術を1つのツールにまとめ、言葉と絵が混在するフォトリアリスティックなアートを作成できるように設計されている。 Nvidia のコーポレート・コミュニケーション・チームのメンバー Isha Salian 氏は、次のようにブログに書いている。 GauGAN2 のニューラルネットワークは、テキストから画像へ、あるいはセグメンテーションマップから画像へのアプリケーションに特化した最先端のモデルと比較して、より多様で高品質な画像を生成する。 ユーザは、想像したシーン

Tesla profits fell 55% to $1.13 billion in the first quarter from the same year-ago period as a protracted EV price-cutting strategy and “numerous challenges” cut into the automaker’s bo Tesla has officially revealed a new Performance variant of the recently refreshed Model 3 sedan as the company looks to fight off receding demand. The new version of the Model 3, which starts at $52,9

ディープラーニング　学習する機械　ヤン・ルカン、人工知能を語る (ＫＳ科学一般書) 作者:ヤン・ルカン講談社Amazon 11月に入って勤務先のオフィスが本格的に再開されてから、久しぶりに会社のメールルームを覗きに行ったところ、届いていた（つまりご恵贈いただいていた）のがこちらの一冊です。Deep Learningの三開祖の一人にして2018年度のチューリング賞受賞者の一人でもある、ヤン・ルカン御大その人が著した『ディープラーニング 学習する機械』です。 本書は日本語版が出た直後から絶賛する声が聞こえてきていて、興味はあったのですが気を逸した感が否めなかったので、こうしてご恵贈いただけて有難い限りです。講談社サイエンティフィク様、まことに有難うございます。 ということで、早速ですが簡単にレビューしていこうと思います。 本書の内容 特に個人的に印象に残った点 全てのアルゴリズムに関する記述が