第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理…

GPTとは？ GPT(Generative Pretrained Transformer)とは、米国サンフランシスコの新興人工知能研究所であるOpenAIが開発し、人間のように自然な文章を生成することができる言語モデルです。1億1700万個のパラメータを持つ初期モデルのGPT-1が2018年6月にリリースされて以来、GPT-2, GPT-3, GPT-4など複数のバージョンが発表されています。 [参考] Transformerとは？ GPTは、Transformerと呼ばれるニューラルネットワーク構造を使用しているモデルなので、まずはTransformerの仕組みについてイメージを掴んでおきましょう。 上のイメージ図のように、Transformerにできることは、文章の空欄に入る単語を予測することです。この際、空欄より前の文脈を考慮し、空欄にはどのような単語がどれくらいの確率で入るかを予測

近頃、夜食づくりにはまっているkonnoです。 データ分析もできると話題のChatGPT Code Interpreterを使えば、機械学習もお手軽にできるのでは…？ ということで、Kaggleチュートリアルとして有名な「Titanicの生存者予測」を ChatGPT Code Interpreterを使って分析できるのか 試してみたいと思います！ Titanic生存者予測とは？ かの有名のタイタニック号の乗員名簿と、事故で生存したか否かのデータを機械学習し、乗員の属性（性別、年齢、乗船時の運賃など）から生存したか否かを推定する課題です。 よく考えるとひどい設定ですね。 話題のわかりやすさと、それなりに特徴的な結果が出るところから、機械学習の初学者がやる練習問題として世界的に有名です。 データはKaggleさんから取得できます。 www.kaggle.com 機械学習を利用してTitani

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーで画像処理エンジニアをしている吉橋です。この記事ではヤフーのさまざまなサービスで使われている独自の画像文字認識（OCR）技術と、特に最近のPayPayフリマ「本棚一括持ち物追加機能」での活用事例をご紹介します。 画像文字認識とは 皆さん、ウェブサイトを見ていて「このキーワード気になるな……よしコピーしてヤフーで検索してみよう！　と思ったらこれ画像じゃん、コピーできないよ……」なんて困ったことはありませんか？ ウェブで私たちが目にする情報は“テキスト”と“画像”の2種類が主なものです。 テキスト： 文字列としての情報を保持したデータであり、コピーやウェブ検索に利用したり解析したり、容易に活用できます。 画像データ：

ウチューじん・ささき @uchujin17 攻撃的機械学習 Adversarial Machine Learning (AML)なんて用語が出来ていたのか。そしてAMLに対抗すべくCounter-AML AIが導入されているという。「敵は海賊」の世界はもう現実になっていたんだな。 リンク Wikipedia Adversarial machine learning Adversarial machine learning is a machine learning technique that attempts to fool models by supplying deceptive input. The most common reason is to cause a malfunction in a machine learning model. Most machine learn

連載目次 ※本稿には新バージョンがあります。2021年に向けてのアップデート記事（2020年12月16日公開）はこちらです。 本稿は、ディープラーニング（深層学習）に関心があるビジネスマンから、これから始めてみたいというエンジニア、既に取り組んでいる実務経験者まで、幅広い人に向けて書いた。よって、初歩的な内容も含めつつ説明していくのでご了承いただきたい。 ディープラーニングを実装する場合、フルスクラッチでゼロからコードを書くのは非効率なため、専用のライブラリ／フレームワークが用いられるのが一般的だ。ディープラーニングが流行してから直近4年ほどの間に、次々と新しいフレームワークが登場した。現在、主要なものを挙げると、 TensorFlow： 2015年登場、Google製。一番有名で、特に産業界で人気 PyTorch： 2016年登場、Facebook製。この中では新興だが、特に研究分野で人

マサチューセッツ工科大学（MIT）などの研究者が、古代文字を解読できる機械学習システムを開発し、クレタ島の古代文字である線文字Bを解読させることで、システムの能力を実証した。大規模データベースに頼らずに言語を翻訳する手法を採用しており、今までに解読されていない古代言語を翻訳できるかもしれない。 by Emerging Technology from the arXiv2019.07.04 1229 482 21 0 1886年、英国の考古学者であるアーサー・エヴァンズは、見慣れぬ文字で奇妙な碑文が刻まれた古代の石に出くわした。その石は地中海にあるクレタ島で見つかったもので、エヴァンズはさらなる証拠を探しに、すぐさま島へと向かった。間もなく、似たような文字が記された多数の石と粘土板を発見し、紀元前1400年頃のものであると推定した。 紀元前1400年頃と時代が推定されたことにより、この文字は

「機械学習を誰でもアクセスできるようにしたい。そのために世界中をこうして講演して回っています」 その少年は、若干15歳とは思えない口ぶりで聴衆に語り始めた。 インド生まれの天才少年タンメイ・バクシ。5歳からコードを書くようになり、9歳でiOSの時刻表アプリを開発。プログラミングに取り憑かれた。 そのときの経験をもとにプログラミング言語「Swift」についての本も出版。YouTubeチャンネル「Tanmay Teaches」を立ち上げ、アプリ開発、数学から科学に至るまでの情報を発信し、現在はIBMチャンピオン（IBMのソリューションやソフトウェアに対し、年間を通してそのテクニカル・コミュニティーに優れた貢献をしてきた支持者）として世界中を飛び回る生活を送る。 「将来は10万人がプログラミングを学べるように助けたい」と語る少年が、2019年3月14日、15日にかけて開催されたビジネスカンファレ

はじめての AI Google がめざす、誰もが使える機械学習

はじめての AI Google がめざす、誰もが使える機械学習

＊「機械学習による不適切コンテンツ検出」の実装と成果 https://medium.com/mixi-developers/mixi-20190110-d1cde81cf37c ＊【開催報告】第4回 Amazon SageMaker 事例祭り https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-fes-4/ SNS mixi というプロダクトで、「不適切コンテンツ検出」タスクを Amazon SageMaker, ECS 等の AWS サービス群によって機械化し、安定運用しています。 機械化にいたった経緯と成果、アーキテクチャと運用上のポイントについてお話しさせていただきます。 １．事業紹介 ２．「健全性維持」という課題と対策 ３．アーキテクチャ解説 ⅰ．カスタムアルゴリズム ⅱ．中間生成物の管理 ⅲ．定期実行タスク ４．まとめ 株式

個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）

人工知能（AI)には「機械学習」と「深層学習（ディープラーニング）」というものがあることをご存知でしょうか。現在、多くの人工知能に採用されているのは機械学習の機能です。 コンピュータが進化し、AIの性能が向上していくと同時に深層学習がメインになるともいわれていますが、両者の違いはどこにあるのでしょうか。今回は、現在もっとも多く採用されている機械学習について、その基本的な仕組みや活用事例などを中心に詳しく紹介していきます。 「機械学習」とは？　　まずは簡単に解説 AIの仕組みを知るうえで欠かせないのが「機械学習」というものです。 機械学習とはその名の通り、コンピュータが物事を学習していくことです。これまでの一般的なコンピュータのプログラミングでは、人間と同じように画像を認識したり言語を認識したりすることは難しいものでした。 しかし、AIにおける技術のひとつである機械学習を活用することによって

隠れマルコフモデル（かくれマルコフモデル、英: hidden Markov model; HMM）は、確率モデルのひとつであり、観測されない（隠れた）状態をもつマルコフ過程である。 同じマルコフ過程でも、隠れマルコフモデルより単純なマルコフ連鎖では、状態は直接観測可能であり、そのため、状態の遷移確率のみがパラメータである。一方、隠れマルコフモデルにおいては、状態は直接観測されず、出力（事象）のみが観測される。ただしこの出力は、モデルの状態による確率分布である。従って、ある隠れマルコフモデルによって生成された出力の系列は、内部の状態の系列に関する何らかの情報を与えるものとなる。「隠れ」という語はモデルが遷移した状態系列が外部から直接観測されないことを指しており、モデルのパラメータについてのものではない。たとえパラメータが既知であっても隠れマルコフモデルと呼ばれる。隠れマルコフモデルはごく単純

この連載は いまさら聞けないITの最新トレンドやビジネス戦略を、体系的に整理して分かりやすく解説する連載です。「この用語、案外、分かっているようで分かっていないかも」「IT用語を現場の社員にもっと分かりやすく説明できるようになりたい」――。情シスの皆さんのこんな課題を解決します。 世の中の森羅万象を理解したいという科学者たちの飽くなき探究心が、科学を発展させてきました。彼らは、さまざまな現象を観察し、そこに秘められた規則性や法則性について仮説を立て、実験を行って検証しました。 その事実をさらに考察し、その現象が生じるルールを見つけ出してきたのです。ニュートンの「運動方程式」、アインシュタインの「質量とエネルギーの等価性」を意味する「E＝mc2」方程式などが、これに相当します。 この方程式の変数に入力として数字を当てはめれば、この方程式に組み込まれたルールに従って結果が出力されます。私たちは

逆翻訳 (Back-Translation) を用いた手法が驚くべき快挙を成し遂げました*1． 逆翻訳がヤバいスコアを叩き出しててびっくりした．おそらくAttention以降では最大の性能uphttps://t.co/ssaQw2s22f 深層学習はえげつない手法が突然ポッとでてくるからおもろい pic.twitter.com/RwyrjCn8Rx— Ryobot | りょぼっと (@_Ryobot) 2018年11月15日 毎年開催される機械翻訳の国際会議 WMT18 のシェアードタスク*2にて人手評価の1位を獲得し，機械翻訳のベンチマークでは以前の最高スコアが 29.8 なのに対しこの手法は 35.0 を達成しています． 下図は機械翻訳のベンチマークにおける手法の比較です*3． 昨年登場した翻訳モデル Transformer *4も大きく評価スコアを上げましたが，逆翻訳はそれ以上の上が

2018/10/19に横浜みなとみらいで開催されるNetadashi Meetup #7の発表資料です。 分散表現を用いた文書分類について企業での活用事例を取りあげたり、サンプルデータでの事例を紹介しています。Read less

テクノロジーが発達することで、専門家でなくてもニューラルネットワークを使って翻訳プログラムを作ることが可能になりました。とは言っても、全く知識がない人にその仕組みを理解するのは難しいもの。そこでライターのSamuel Lynn-Evansさんが自分で情報を調べつつ0から翻訳プログラムを作成し、その時に理解した仕組みを数式を使わずに説明しています。 Found in translation: Building a language translator from scratch with deep learning https://blog.floydhub.com/language-translator/ 言語は非常に複雑で、これまで機械翻訳を行うには何人もの専門家が必要でした。しかし、人工知能(AI)の発達により、もはや専門家でなくても機械翻訳を行うことが可能になりました。これまで専門家