Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 所属大学にて9月に1日で機械学習なんもわからん状態から生成モデルを組めるようになろうというワークショップをした。普通に考えて参加者側の視点に立ったら無理なんだが, まあとにかくそういうイベントをやった。やってみたところ, 「何話してるのかわからん」という感想が多く大絶賛だった(反省しています)。 ただワークショップ中にきた質問が結構自分も最初のころは躓いたところだな〜〜というものも多く, ワークショップ中にきた質問点をまとめていけば案外生成AIをフルスクラッチで作れる技術者になるためのTips集が作れるのではないかと思い, この記事を書

大学ではないが、東京大学エクステンション・データサイエンススクール・技術実務者コースでは 前提知識　高校までの理系数学と大学1・2年生の数学の一部（偏微分、積分、行列） 数学科目　統計学、最適化 ざっとレベル感をまとめますと 高校までの計算主体の数学 計算力があればなんとかなる 理工系大学教養レベルの定義・定理で入ってくる数学 抽象度は上がるがまだ図が描ける 理工系大学専門レベル抽象度の上がった数学 位相とかはイメージしずらい、高次元・無限次元とかはもう図もイメージもできない 数学科 超絶 薄い記事では、これらのうちどこを言っているのかとイメージしていない人が言っているのでしょうが、アカデミアの方やエンジニアでもR＆Dで新たなアルゴリズムを開発担当とかでなければ、大体下記をイメージすれば良いのではないかとのところが自論 高校までの数学はほぼ必須 理工系大学教養レベルの数学はできるだけマスタ

前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？

機械学習システムのアーキテクチャを検討する上で考慮すべき課題について調査しまとめた資料です。Money Forward 社内で開かれた MLOps についての勉強会のために作成しました。 ## Reference 澁井 雄介 著 AIエンジニアのための機械学習システムデザインパターン 翔泳社 2021年 https://www.shoeisha.co.jp/book/detail/9784798169453 有賀 康顕 中山 心太 西林 孝　著 仕事ではじめる機械学習 第2版 オライリー・ジャパン 2021年 https://www.shoeisha.co.jp/book/detail/9784798169453 Katrina Clokie 著 風間 裕也, 河原田 政典 訳 A Practical Guide to Testing in DevOps Japanese Edition

確率・統計をわかりやすく解説した、200ページ超えの長編スライド。 図解や具体例をふんだんに盛り込んだ直感的説明が秀逸。 数学カフェ 確率・統計・機械学習回 「速習 確率・統計」 https://t.co/8mGWUd8f4D https://t.co/VkDWjFjfWR

Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概

Pythonコードで理解するニューラルネットワーク入門 ニューラルネットワークの仕組みや挙動を、数学理論からではなく、Pythonコードから理解しよう。フルスクラッチでニューラルネットワーク（DNN：Deep Neural Network）を実装していく。 第1回　Pythonでニューラルネットワークを書いてみよう（2022/02/09） 本連載（基礎編）の目的 ・本連載（基礎編）の特徴 ニューラルネットワークの図 訓練（学習）処理全体の実装 モデルの定義と、仮の訓練データ ステップ1. 順伝播の実装 ・1つのノードにおける順伝播の処理 ・重み付き線形和 ・活性化関数：シグモイド関数 ・活性化関数：恒等関数 ・順伝播の処理全体の実装 ・順伝播による予測の実行例 ・今後のステップの準備：関数への仮引数の追加 第2回　図とコードで必ず分かるニューラルネットワークの逆伝播（2022/02/16）

初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 機械学習を勉強したことのある方であれば，変分ベイズ（VB：variational bayes）の難しさには辟易したことがあるでしょう。私自身，学部生時代に意気揚々と機械学習のバイブルと言われている「パターン認識と機械学習（通称PRML）」を手に取って中身をペラペラめくってみたのですが，あまりの難しさから途方に暮れてしまったことを覚えています。 機械学習の登竜門は，変分ベイズ（変分推論）だと私は考えています。また，VAE（変分オートエンコーダ；variational autoencoder）に代表されるように，変分ベイズは最近の深層学習ブームにおいて理論面の立役者となっている側面もあります。一方で，多くの書籍やWeb上の資料では式変形の行間が詰ま

ZOZO研究所の清水です。弊社の社会人ドクター制度を活用しながら、「社内外に蓄積されているデータからビジネスへの活用が可能な知見を獲得するための技術」の研究開発に取り組んでいます。 弊社の社会人ドクター制度に関しては、以下の記事をご覧ください。 technote.zozo.com 私が現在取り組んでいるテーマの1つに、「機械学習が導き出した意思決定の理由の可視化」があります。この分野は「Explainable Artificial Intelligence（XAI）」と呼ばれ、近年注目を集めています。 図．XAIに関連する文献数の推移（引用：https://arxiv.org/abs/1910.10045） その中でも今回はユーザに対するアイテムの推薦問題に焦点を当て、「なぜこのユーザに対して、このアイテムが推薦されたのか？」という推薦理由の可視化が可能なモデルを紹介します。 本記事の概要

こんにちは AIチームの戸田です 近年、自然言語処理タスクにおいて、BERTを始めとするTransformerをベースとした事前学習モデルを感情分類や質問応答などの下流のタスクでfine-tuningする手法が一般的になっています huggingfaceのTransformersなど、事前学習モデルを簡単に使うことのできるライブラリもありますが、Kaggleなどのコンペティションで上位に入るには素のモデルのままでは難しく、ヘッダや損失関数などの工夫などが必要です 本記事では私がKaggleのコンペティションに参加して得た、事前学習モデルのfine-tuningのTipsを共有させていただきます 書きたい内容が多くなってしまったので、今回は学習の効率化について、次回精度改善について、と２回に分けて書かせていただきます 事前準備 学習データとして、先日終了したKaggleのコンペティション、C

パターン認識・メディア理解研究会（PRMU）2021年10月開催にて発表した資料です。 https://www.ieice.org/ken/program/index.php?tgs_regid=afad0a06f26b0ba058f7a46268673bddbbff4c3927f68a0206a4d…

はじめに 昨今、様々な機械学習（深層学習を含む。以降、ML）の手法が提案されるとともに、社会実装や業務適用に向けたプロジェクトが開始されています。 しかし、現実問題をMLで解き、社会的・実務上の価値に繋げることは容易ではなく、多くのプロジェクトがPoC（Proof of Concept, 技術の概念検証）で止まっています。（PoC疲れ、PoC地獄、PoC貧乏といった単語すら登場しています...） ここ数年で多くのPoCが行われた結果、様々な反省点や改善手法が提案されてきており、本記事では、特に有意義だった下記の2論文+個人的な経験を踏まえて、社会実装・業務適用に向けた機械学習プロジェクトの進め方について、まとめてみたいと思います。 参考文献 Using AntiPatterns to avoid MLOps Mistakes How to avoid machine learning pi

本記事は、2021年度PFN夏季インターンシップで勤務した平川雅人さんと畠山智之さんによる寄稿です。 はじめに 2021年度PFN夏季インターン生の平川雅人と畠山智之です。 今回のインターンでは、表形式データに対して様々な深層学習モデルを試すことができるライブラリを共同で開発しました。開発したライブラリは https://github.com/pfnet-research/deep-table で公開しています。 背景 近年、深層学習は画像や自然言語、音声の分野で目覚ましい成功を収めてきました。しかし表形式データに対しては、深層学習はそのような成功を遂げることは少なく、いまだにXGBoostやLightGBMのような決定木ベースのモデルが主流となっています。 深層学習の有望な手法として、決定木のアンサンブルを模倣して勾配ベースの学習を可能にしたNODE [1] や、スパースなattenti

統計屋のあんちべ（@antibayesian）です。 さまざまな企業でデータ解析やコンサルを請け負ったり、データ活用部署の立ち上げをしたりしながら生活しています。 この記事では、データ活用系職種のキャリアプラン形成に悩んでいる方の参考になればと、私のこれまでのキャリアや、キャリアプランニングの考え方についてシェアしたいと思います。 というのも、データ活用系職種の中でも特に2010年くらいから注目を集めている1データサイエンティスト界隈のキャリアは、まだ職種として歴が浅いこともあって不透明な部分が多く、データサイエンティストなるものの解釈やポジションも多様なため、先行きに懸念を抱いている方も多いかと思います。 また、周辺環境も日進月歩の勢いで成長しています。例えば、全自動で簡単に売上予測や画像の分類などができるCloud AutoMLというサービスも提供されています。この手の仕組みはどんどん

Microsoft Learn では、対話的な方法で、従来の機械学習の概要を理解することができます。 これらのラーニング パスは、ディープ ラーニングのトピックに移行するための優れた基盤にもなり、各自の生産性を向上させます。 最も基本的な従来の機械学習モデルから、探索的データ分析やカスタマイジングのアーキテクチャまで、ブラウザーを離れることなく、概念的内容や対話型の Jupyter Notebook を簡単に把握することができます。 知識と興味に応じて自分のパスを選択してください。 オプション 1: 完全なコース: 機械学習のためのデータ サイエンスの基礎 ほとんどのユーザーには、このパスがお勧めです。 これには、概念の理解を最大限に高めるカスタム フローを備えた、他の 2 つのラーニング パスと同じモジュールがすべて含まれています。 基になる概念と、最も一般的な機械学習ツールでモデルを構

Mohamed Ali Habib氏は、シリアで第2の規模をほこるアレッポ大学（シリア最大規模の大学はダマスカス大学）でコンピュータサイエンスを専攻する大学院生です。同氏がMediumに投稿した記事「アンドリュー・エン教授のアドバイスによる機械学習キャリアの築き方と研究論文の読み方」では、アンドリュー・エン教授のオンライン講座で語られたアドバイスが紹介されています。 アンドリュー・エン（Andrew Ng）氏は、英語圏で最も有名なオンライン講座サービスCourseraを設立してAI関連の講義を担当しているスタンフォード大学の教授です。同氏は、アメリカにおいて日本の松尾豊東京大学教授のような立ち位置にいると言えばわかりやすいでしょう。 研究論文の読み方と機械学習エンジニアのキャリア構築法についてアドバイスした同教授の講座に感銘を受けて、Ali Habib氏は聴講した講座をまとめる記事を執筆す

はじめに AdventCalendar何書こうかなぁと色々考えた結果、最近プログラミングや機械学習のレクチャーをしてくれるYouTuberの動画をよく見ているのでそれをシェアすれば良いのでは？と思い、まとめてみました 嘘です。あまりに過去書いたGCP関連のQiita記事が伸びないからグラドルが脇見せ始めるのと同じように売れ線の記事を書きたくなっただけです。 リンクをクリックするとそのままYouTube動画が開始されることがあるので、音声をオンにしている人(or 職場で見てる人)は注意してください 基本は再生リスト画面に飛ぶので再生されることは少ないですが直接動画に飛ぶリンクについては注記しております。チャンネルのイメージを掴んでいただくため引用の範囲でチャンネルTop画面をキャプチャしてます。 とりあえずここにあげてるのをチャンネル登録しておくと幸せになれる（はず） ジャンル チャンネル

計算機による自律的な学習を目指す機械学習や, 大規模情報源からの知識発見を実現するデータマイニングの理論について, 教師付き学習, 教師なし学習を中心に理解する. 佐久間 淳筑波大学 システム情報系教授2003年3月東京工業大学大学院総合理工学研究科博士後期課程修了. 博士(工学). 同年4月日本アイ・ビー・エム株式会社入社, 東京基礎研究所に配属. 2004年7月, 東京工業大学総合理工学研究科助手, 2007年4月同助教, 2009年4月,筑波大学大学院システム情報工学研究科准教授, 2016年4月同教授. 2009年10月から2012年3月,科学技術振興事業団さきがけ研究員兼任, 2012年2月から2014年3月, 国立情報学研究所客員准教授兼任, 2016年9月,理化学研究所革新統合知能研究センターグループリーダー兼任, 現在に至る.

Accelerate your digital transformation Whether your business is early in its journey or well on its way to digital transformation, Google Cloud can help solve your toughest challenges.