![注目のディープラーニングフレームワーク「PyTorch」入門 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/f1723f193ee9987166286ce593c45826c9e31340/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Fe21174d32bc687f5a229f4049eb9c31fa21a61b9%2Fbackend%3Dimagemagick%3Bheight%3D1200%3Bversion%3D1%3Bwidth%3D1200%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20200203%252F20200203004012.png)
import torch x = torch.tensor([1., -1.]) w = torch.tensor([1.0, 0.5], requires_grad=True) loss = -torch.dot(x, w).sigmoid().log() loss.backward() print(loss.item()) print(w.grad)
はじめに — 機械学習帳
import torch x = torch.tensor([1., -1.]) w = torch.tensor([1.0, 0.5], requires_grad=True) loss = -torch.dot(x, w).sigmoid().log() loss.backward() print(loss.item()) print(w.grad)
本記事では、時系列予測に利用できるpythonのライブラリの使い方について説明をします。 パッとライブラリを使うことを目指すため具体的なアルゴリズムの説明は省きます。 ※説明が間違えている場合があればご指摘いただけると助かります。 目次 利用データ ライブラリ Prophet PyFlux Pyro Pytorch Lightgbm 補足:Darts まとめ ソースコード このブログで記載されているソースコードはGitHubに上げておいたのでもしよろしければ参考にしてください。 github.com 利用データ 今回用いるデータはkaggleのM5 Forecasting - Accuracyと呼ばれるコンペティションで利用されたデータを用います。 作成したランダムなデータよりも実データのほうが予測をしている感があるからです。 予測に使うデータはwalmartの売上データです。 下図はその
自社のディープラーニング（深層学習）フレームワークである「Chainer（チェイナー）」の新機能開発を終了し、米フェイスブックが開発する「PyTorch（パイトーチ）」に移行すると発表した人工知能（AI）開発のPreferred Networks（プリファード・ネットワークス=PFN、東京・千代田）。その決断の背景を探った。Chainer開発の責任者であるPFNの秋葉拓哉執行役員は、「PyTo
開発チームの生産性・健全性を客観的に知るためにリポジトリ履歴から機械的に可視化するツールを作った - Qiita
はじめに ソフトウェア開発のチームの生産性や健全性というものは、内部の体感的として理解できるものの、外部の人間からは見えにくいものです。こういった情報の非対称性は開発チーム外の人々との関係の中での問題の原因になってきました。 また、複数の開発チームやプロダクトを束ねるEM、CTOや、管理職にとってそれぞれの状況を客観的な数字やグラフで可視化することは、全体的な戦略を考える上でも重要な参考情報になります。ですが、アンケートやプロジェクト管理を増やすほど、どんどんと開発メンバーに負担をかけてしまうことになり、計測のし過ぎによる疲れなども誘発してしまいます。 本稿では、gitリポジトリのログ情報から、いくつかのグラフを生成し、チームの状況を可視化するためのツールgilotを作成したので、その目的と意図、そして使い方、注意点を解説します。 アプローチ方法 gilotのアプローチは、git logの
株式会社Preferred Networks（本社：東京都千代田区、代表取締役 最高経営責任者：西川徹、プリファードネットワークス、以下、PFN）は、AIおよびデータサイエンスを基礎から学びたい大学生・社会人向けに、機械学習・深層学習の基礎学習コンテンツ4種を、個人向けオンラインAI人材育成講座 SIGNATE Quest*のマーケットプレイスで本日提供開始します。 各産業の専門分野にAIおよびデータサイエンスを応用することができる人材の大幅な不足が指摘される中、そうした人材の育成が国家戦略の重要テーマの１つとして位置づけられています。 PFNは深層学習フレームワークの開発、深層学習技術の産業応用において培ってきた経験をもとに、これからの社会を担う大学生・社会人向けに、機械学習・深層学習技術の活用に必須となる知識を習得するための4つの基礎学習コンテンツを提供します。 SIGNATE Que
PyTorch の基礎 - Training
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。
数理最適化 Advent Calendar 2022の9日目です。 新緑の頃、新型コロナ流行の合間をぬって、ささやかな結婚披露宴を表参道の式場にて催しました。諸々の準備の中でも席次はこだわるとキリがなく、数理最適化を使って決めました。人間関係をできるだけ保つようなゲスト集合から座席集合への写像を考えます。 ゲスト間人間関係を考慮して良い感じの配席を考えたい tl;dr 披露宴をしました 知り合い関係が複雑かつ長机でゲストの席配置が難しい 組合せ爆発は本物。高々20人の配置に1週間以上悩んだ結果、数理最適化した方が早いと結論 「知り合い同士を近くに配席する」問題は非凸な二次計画になり汎用ソルバでうまく解けない ゲストを席に"輸送"すると考えて最適輸送の一種で解くとうまくいった 本質的に非凸な問題を非凸のまま、しかし性質の良い距離構造を活用するアプローチが奏功したのではないか 再現用Colab
機械学習と自動微分 (2023)
「最適化法」第15回(ゲストトーク), 2023年1月20日, 同志社大学.
(最新SSD IOはPCIe x4でした。ご指摘ありがとうございます。） はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Advent Calendar 2022 8日目です。 突然ですが、あなたはDNN学習時にどの処理で学習速度が律速しているか把握してますか？ DNN学習には図に示すように大きく3つの要素があります： （SSDからの）データ読み込み （CPUによる）データ前処理 （GPUによる）DNN計算 学習時のデータの流れとしては SSDからデータが読み込まれ、CPUに送られる(SATA or PCIe) CPUにてaugmentationや正規化などの前処理が行われ、GPUにデータが送られる(PCIe x16) GPUにてDNNの計算・
GPT-2でブログ記事のタイトルをTogetterまとめ風にする「面白いのでやってみて」 - 詩と創作・思索のひろば
オレ定義だけど Togetter まとめ風というのはこういうやつ。 散歩で急にシロクマと会っても食べるのは肉だけにしたほうがいい「肝臓1gに含まれるビタミンAが致死量を超える」 - Togetter まとめタイトルの終わりに誰かのツイートの引用を挿入する、という形式。よくできたもので、誰かの生の声が入っているだけで、感想やハイライトを抽出し、ちょっと気を引くことができる。まあ一種の演出で、ニュースサイトがやってることもある。 タイトルでアテンションを奪い合わなければならない宿命におけるクリック最適化の手法ということだろう。今回はこれを真似してみることにする。すでに書かれた自分のブログ記事に、括弧書きでセリフっぽいものの引用を捏造して付け加えることで魅力がアップするのか、という実験だ。 こういう生成系のタスクも、とりあえず HuggingFace+Google Colaboratory でや
[1] 本サイトでは、「PyTorch 公式チュートリアル（英語版 version 1.8.0）」を日本語に翻訳してお届けします。 [2] 公式チュートリアルは、①解説ページ、②解説ページと同じ内容のGoogle Colaboratoryファイル、の2つから構成されています。 両者は基本的には同じ内容です。本サイトでは 「Google Colaboratoryファイル」で、チュートリアルの日本語訳を用意しております(未完成分は順次公開いたします)。 [3] 本サイトのチュートリアルの閲覧および実行は、Google Colaboratory環境を前提とします。 （本サイトのライセンスはこちらとなります） [4] 本サイトに掲載している、日本語チュートリアルをまとめて配置したGitHubはこちらとなります。 [0] 目次（table of contents） 日本語解説へ [1] テンソル（T
OpenAIがSpeech-To-Text AIのWhisperを発表しました。Githubからpipでインストールすれば簡単に使えます。私のM1 Max MacBook Proでも動作しましたので、作業内容を書いておきます。 GitHub – openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision Robust Speech Recognition via Large-Scale Weak Supervision – GitHub – openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision Python仮想環境を作る Python自体のインストールは既に終わっているところから書くことにします。私の環境は
米Microsoftは、機械学習ライブラリ「PyTorch」を使った、初学者向けのディープラーニングの教材を公式Webサイトで無償公開している。対応言語は英語のみだが、4時間13分で機械学習モデルの構築方法や自然言語処理、音声認識の概要などを学べるという。教材の利用に、外部ファイルのインストールは不要。Webページのみで完結する。 PyTorchは、米Facebookが2016年に開発したPython向けのオープンソースの機械学習ライブラリ。Microsoftは、2020年にWindows版PyTorchのメンテナーに就任し、2021年5月には「PyTorch Enterprise」を発表。Microsoft Azure上でPyTorchを使う企業へのサポートサービスの提供を始めていた。 無償公開している教材もMicrosoftとPyTorchが提携して作成しており、今後も企業とユーザー、
Deep Learning is such a fast-moving field and the huge number of research papers and ideas can be overwhelming. The goal of this post is to review ideas that have stood the test of time. These ideas, or improvements of them, have been used over and over again. They’re known to work. If you were to start in Deep Learning today, understanding and implementing each of these techniques would probably
ゼロから作るDeep LearningシリーズはGoogle Colaboratoryで写経して学習するのがおすすめ - karaage. [からあげ]
「ゼロから作るDeep Learningシリーズ」が最高 ゼロから作るDeep Learningは、TensorFlow、Keras、PyTorchといったディープラーニングのフレームワークを一切使わず、基本PythonとNumpyのみでディープラーニングのアルゴリズムを作って理解していくというハードコアな内容です。 シリーズは3冊出ていて、1が画像認識、2が自然言語、3がフレームワークに重点を置いた内容です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅発売日: 2016/09/24メディア: 単行本（ソフトカバー） ゼロから作るDeep Learning ❸ ―フレームワーク編 作者:斎藤 康毅発売日: 2020/04/20メディア: 単行本（ソフトカバー） ゼロから作るDeep Learning ❷ ―自然言語処理編 作
![ゼロから作るDeep LearningシリーズはGoogle Colaboratoryで写経して学習するのがおすすめ - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/365e160f7985198b0825782005c70157d0e88576/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200523%2F20200523123857.jpg)
ivy が面白い
ivyとはなにか 機械学習の統一を目指すフレームワークです。現在、JAX, TensorFlow, PyTorch, Numpy をサポートしています。JAXはNumpy互換なので、実質的に Tensorflow&Pytorch の共通APIのフレームワーク(かなり乱暴なまとめ方)です。 研究のペーパーでよく見るのはPytorchですが、産業ではTensorflowがよく使われるようです。 下の表にもありますが、開発者の設計思想を読むと「書き換えの手間」が想像以上に労力を必要とする文面が多く見受けられます。 余談で手元にTensorflowとPytorchの本が2冊あるのですが、実装に互換性があればそういう悩みが減って深層学習の学習が身近になるかもしれないですね。 特に初学者は「最初にどの山に登るのがいいのか」で迷うと思うので。 ivy登場以前から、学習済みモデルを異なるプラットフォームで
データ統括部AI基盤部の竹村( @stakemura )です。本記事では、このたびリリースされた、自分の声をキャラクターの声に変換できるWebサービス VOICE AVATAR 七声ニーナ を支えるバックエンド技術についてお話しします。 本サービスはDelight Boardという部署横断型のプロジェクトにて、1000人を超える社員投票により自分の案がまさかの採択となったことがきっかけとなります。幸運にも、百戦錬磨のプロジェクトメンバーに助けられ今日のリリースを迎えましたが、採択当時は人脈も信用貯金も何もない入社一年目の思いつきにすぎず、言い出しっぺである自分の力不足によりタイトなスケジュールでの開発となってしまいました。本記事では、その限られた開発期間の中で、自分が何を考えて実装したかを中心にお伝えします。 サービングに求められる要件 七声ニーナの音声変換はブラウザから受け取った入力音声
memo.sugyan.com の記事の続き(？)。 ある程度の学習データを収集して学習させたモデルが出来たので、それを使って実際に色々やってみる。 StyleGAN2-ADA 学習 mapping出力と生成画像 生成画像の属性推定結果から潜在空間の偏りを抽出 表情推定 顔姿勢推定 髪領域推定 (顔解析) 年齢 (上手くいかず) 複合 Repository StyleGAN2-ADA 前回の記事でも書いたけど、厳選した16,000枚の画像を使って StyleGAN2-ADA を使って生成モデルを学習させてみた。 github.com これは StyleGAN2 から進化したもので、より少ない枚数からでも安定して学習が成功するようになっていて、さらにparameter数など調整されて学習や推論もより早くなっている、とのこと。 それまでのStyleGANシリーズはTensorFlowで実装され
PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧
PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧：AI・機械学習のデータセット辞典 機械学習やディープラーニング用の主要ライブラリが提供する「画像／音声／テキストなどのデータセット」の名前とリンクを表にまとめ、典型的な使い方を簡単に紹介する。 連載目次 本連載「AI・機械学習のデータセット辞典」では、ここまで主に、scikit-learnやKeras／TensorFlow（tf.keras）、TensorFlow Datasets、PyTorchといった主要なPythonライブラリに共通的に含まれる代表的なデータセットを紹介し、各ライブラリでの典型的な実装コード例を示してきた。しかし、これらの全ライブラリに共通的に含まれているデータセットはまれで非常に少ない。よってこれからは、個々のライブラリに1つしか含まれていないようなこまごまと
真面目なプログラマのためのディープラーニング入門
はじめに: 本講座は「機械学習ってなんか面倒くさそう」と感じている プログラマのためのものである。本講座では 「そもそも機械が『学習する』とはどういうことか?」 「なぜニューラルネットワークで学習できるのか?」といった 根本的な疑問に答えることから始める。 そのうえで「ニューラルネットワークでどのようなことが学習できるのか?」 という疑問に対する具体例として、物体認識や奥行き認識などの問題を扱う。 最終的には、機械学習のブラックボックス性を解消し、所詮は ニューラルネットワークもただのソフトウェアであり、 固有の長所と短所をもっていることを学ぶことが目的である。 なお、この講座では機械学習のソフトウェア的な原理を中心に説明しており、 理論的・数学的な基礎はそれほど厳密には説明しない。 使用環境は Python + PyTorch を使っているが、一度原理を理解してしまえば 環境や使用言語が
本記事では、NVIDIAから発表されているPyTorchでのディープラーニングを高速化するコツ集を紹介します。 【※NEW】22年6月新記事：スクラム関連の研修・資格のまとめ & おすすめの研修受講方法 本記事について 本記事は、NVIDIAのArun Mallyaさんの発表、 「PyTorch Performance Tuning Guide - Szymon Migacz, NVIDIA」 に、説明やプログラムを追加して、解説します。 本記事のポイントは、Andrej KarpathyがTwitterで呟いている通りとなります。 good quick tutorial on optimizing your PyTorch code ⏲️: https://t.co/7CIDWfrI0J quick summary: pic.twitter.com/6J1SJcWJsl — Andrej
プロローグ ※この章は読み飛ばしても構いません 多くの人が挑むも解くことが叶わなかった人類史上の難問といわれるものがいくつかある． 数学界で最も有名な難問といえばおそらく「フェルマーの最終定理」であろう．弁護士であり数学者であったフェルマーが「解答を書くにはこの余白は狭すぎる」と書き残してこの世を去って以来，天才ワイルズが現代数学の成果を結集して証明を完成させるまで300年以上も数学者たちの挑戦を退け続けた．その他にも，京都大学の望月教授が宇宙際タイヒミュラー理論を用いて証明したといわれるABC予想や，7つのうち6つが現在も未解決であるミレニアム懸賞問題などはあまりにも有名である． 一方数学以外でも，例えば宇宙の始まりを巡る議論は多くの人を惹きつけてきた難問であり，アインシュタインやホーキングら天才たちの研究によって徐々にその姿が明らかになってきた．「我々はどこから来たのか，我々は何者か，
背景 はじめまして、JX通信社でインターンをしている原田です。 近年深層学習ではモデルが肥大化する傾向にあります。2020年にopen aiが示したScaling Laws（[2001.08361] Scaling Laws for Neural Language Models） の衝撃は記憶に新しく、MLP-Mixerが示したように、モデルを大きくすればAttention構造やCNNでさえも不必要という説もあります。（[2105.01601] MLP-Mixer: An all-MLP Architecture for Vision） しかし大きな深層学習モデルを利用しようとすると、しばしば以下のような問題に悩まされます。 推論速度が問題でプロダクトに実装不可能 GPU/TPUはコスト上厳しい プロダクトの性質上バッチ処理が不可能（効率的にGPU/TPUが利用できない） 例えばJX通信社
GitHub - JaidedAI/EasyOCR: Ready-to-use OCR with 80+ supported languages and all popular writing scripts including Latin, Chinese, Arabic, Devanagari, Cyrillic and etc.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
PyTorchの習得は、シンプルなニューラルネットワーク（NN）の、まずは1つだけのニューロンを実装することから始めてみよう。ニューロンのモデル定義から始め、フォワードプロパゲーションとバックプロパゲーションといった最低限必要な「核」となる基本機能に絞って解説。自動微分についても簡単に触れる。 連載目次 人気急上昇の「PyTorch」を使いたい。そう考えて、PyTorchの公式チュートリアルを開いて学習を始めてみた、という人は少なくないだろう。しかし、挫折してしまったり、なかなか進まなかったり、という人も少なくないのではないだろうか。 というのも、その公式チュートリアルの、最初の「テンソル」解説だけは（NumPyライクな直観的なAPIなので）難しくないとしても、次が「Autograd（自動微分）」、その次が「ニューラルネットワーク」……と言いつつも、いきなり「CNN（畳み込みニューラルネッ
画像認識と深層学習
日本ロボット学会 ロボット工学セミナー 第126回 ロボットのための画像処理技術 講演資料 https://www.rsj.or.jp/event/seminar/news/2020/s126.html 2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては深層学習，その中でも特に畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNはクラス分類をはじめとして，物体検出やセグメンテーションなど様々なタスクを解くためのベースネットワークとして広く利用されてきている．本講演では，CNNの発展を振り返るとともに，エッジデバイスで動作させる際に重要となる高速化等，関連する深層学習技術の解説を行う． 1. クラス分類向けモデルについて 1.1. ILSVRCで振り返る進化の歴史 1.2. その他重要なモデル 1
【Gradio】爆速で機械学習アプリを作る -PyTorch・TensorFlow・scikit-learnの好きなモデルで遊ぼう-｜はやぶさの技術ノート
【Step1】Google Colaboratory のノートブックを新規作成 Google Colab を起動して、ノートブックを新規作成します。 【Step2】Gradio インストール 以下のコマンドでPythonライブラリの Gradio をインストールします。
Compromised PyTorch-nightly dependency chain between December 25th and December 30th, 2022.
Join us in Silicon Valley September 18-19 at the 2024 PyTorch Conference. Learn more. Learn Get Started Run PyTorch locally or get started quickly with one of the supported cloud platforms Tutorials Whats new in PyTorch tutorials Learn the Basics Familiarize yourself with PyTorch concepts and modules PyTorch Recipes Bite-size, ready-to-deploy PyTorch code examples Intro to PyTorch - YouTube Series
GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめに Pytorchでコードを書き始めるとき、乱数固定やデータローダー、モデルの訓練や学習結果の取得等、毎度色々なサイトを参照するのは面倒だと思い、現時点の個人的ベストプラクティス・テンプレートを作成してみました。 今後のバージョンアップや便利なライブラリの登場で変わるかもしれませんげ、現在はこれで落ち着いています。 個人的な備忘録も兼ねて、前半に簡単な解説付きのコードと最後に全コードを載せています。 もっと便利な書き方やライブラリなどあれば、コメントいただけると嬉しいです。 テンプレート（解説付き） 1. ライブラリインポートと初期設定 torchやよく利用するライブラリ(numpy, matplotlib)のインポート モデルの訓練時（for文）の進捗を表示するtqdmライブラリ（jupyter notebookとコマンドライン版） 進捗表示は待ち時間の見積もりやエラーに気づくこと
記事について 画像はDetectron2より 物体検出をほとんど使っていない方を対象として、2021年末の物体検出ライブラリを俯瞰することが本記事の目的。 ある程度物体検出の経験ある方は学ぶことは少ないと思う。またあくまで書いてあるのは筆者の感想であるので人によっては全く違う意見になることもあるかと。また本記事ではモデルの技術的な説明はありません。それらについて理解を深める際は参考ページや元論文を当ってみると良いかと思います。 また大変遅くなりましたが、本記事はKaggleアドベントカレンダー（裏）の24日目でもあります（年明けちゃってすみません）。 qiita.com 記事について 紹介するライブラリ一覧 所感 アンサンブルについて 精度vs速度トレードオフ ライブラリ紹介 yolov5 学習について 推論について Yolox 学習について Efficientdet 学習コード torc
PyTorch vs. TensorFlow、ディープラーニングフレームワークはどっちを使うべきか問題【2021年】
連載目次 昨年10月、同タイトルの記事を公開して好評だった。今回は、2021年に向けた、そのアップデート記事となる。 ディープラーニング（深層学習）を実装する場合、専用のライブラリ／フレームワークを用いるのが一般的だ。ディープラーニングが流行してから直近5年ほどの間に、次々と新しいフレームワークが登場した。現在、主要なものを挙げると、 TensorFlow： 2015年登場、Google製。一番有名で、特に産業界で人気 Keras： 2015年登場、作者がGoogle社員。使いやすくて簡単。TensorFlow 2に同梱され標準API化 PyTorch： 2016年登場、Facebook製。この中では新興だが、特に研究分野で人気急上昇中 Chainer： 2015年登場、日本のPreferred Networks製。2019年12月に開発を終了し、PyTorchへの移行が推奨されている な
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 【IIJ 2022 TECHアドベントカレンダー 12/8（木）の記事です】 Whisperの追加学習に挑む2022年の冬 2022年アドベントカレンダー企画だそうです。 いかがお過ごしでしょうか。 私はもう興味を引くものに没頭するしか楽しみがないもんで、PCに向かってぼんやり面白いネタはないかなーと探す日々です。 最近はすっかりディープラーニングにズブズブで、とうとう数式かくのが面倒なあまり手書き入力のためのペンタブレットを買いました。てへ。 今回は9月から10月にかけてStabl
機械学習エンジニアの吉田です。 夏ですね。7月はLayerXエンジニアブログを活発にしよう月間 です。 昨年バクラクOCRの機械学習モデルの検証から本番投入までの取り組みについて記事を書きました。 tech.layerx.co.jp その後、運用する中で新たな課題が生まれたり、負債を解消するために当初の開発環境を見直しアップデートしてきました。 今回は機械学習周辺の技術スタックに焦点を当ててその変遷について紹介したいと思います。 MLチームでは各サービスからのリクエストを処理するAPIやデータ基盤、社内のアノテーションツールなどの開発も行っており、これらは主にGo, TypeScriptで開発されていますが今回は対象外としています。 技術スタックの変遷 本番リリース時と現在の主な技術スタックの比較です。 リリース時 現在 言語 Python Python パッケージ管理 pip Poetr
ONNXモデルのチューニングテクニック (基礎編)
基礎編 / 応用編１ / 応用編２ サイバーエージェント AI Lab の Conversational Agent Teamに所属している兵頭です。今回は私が半年ほど蓄積したONNXのチューニングテクニックを全てブログに残したいと思います。皆さんが既にご存知であろう基本的なことから、かなりトリッキーなチューニングまで幅広くご紹介したいと思います。長文になりますがご容赦願います。 このブログのメインターゲット層は「リサーチャーが実装したモデルを実環境へデプロイするタスクを有する方々」です。一部リサーチャーの方々の参考になる情報が混じっていることもあるかもしれませんが、あまり興味を引かない内容だとは思います。リサーチャーメインの組織に属しながらリサーチエンジニアの立ち位置で身を投じていますので、研究の観点の少し手前あるいは少しその先の部分を担っている立場からこのブログを記載しているものとご認
1. はじめに Transformerは2017年に「Attention is all you need」という論文で発表され、自然言語処理界にブレイクスルーを巻き起こした深層学習モデルです。論文内では、英語→ドイツ語翻訳・英語→フランス語翻訳という二つの機械翻訳タスクによる性能評価が行われています。それまで最も高い精度を出すとされていたRNNベースの機械翻訳と比較して、 精度(Bleuスコア) 訓練にかかるコストの少なさ という両方の面で、Transformerはそれらの性能を上回りました。以降、Transformerをベースとした様々なモデルが提案されています。その例としては、BERT,XLNet,GPT-3といった近年のSoTAとされているモデルが挙げられます。 ここで、「Attention is all you need」内に掲載されているTransformerの構造の図を見てみま
測定結果 結果として、間違った測定方法だとCPUとGPUを比較すると「1883倍速くなりました！」という主張をしてしまうことになります。ちなみにGPUで1000倍なんて数字が出てきたら確実にどこか間違えています。実際、今回のケースでは本当は「約59倍速くなりました！」というのが正しい結果になります。 torch.cuda.synchronize()とtorch.cuda.Eventを使った場合の違い 今回torch.cuda.synchronize()とtorch.cuda.Event の2種類を紹介しました。場合によっては使い分けをしたほうがいいのでこの二つの違いを説明していきます。 torch.cuda.synchronize() を利用した場合、簡単なので測定しやすいのでいいので、ぱっと測定したい場合はこちらの方法が楽でよいかと思います。ただ、こちらの方法はkernel関数の発行と測
Raspberry Pi 3 B+ ＆ PyTorchの深層学習で、カメラ映像内の複数物体をリアルタイム分類 - Qiita
Raspberry Pi 3 B+ ＆ PyTorchの深層学習で、カメラ映像内の複数物体をリアルタイム分類PythonOpenCVRaspberryPiDeepLearningPyTorch 大学の授業関係でラズパイ3B+とpicameraをゲット。暇なので、ラズパイに深層学習を用いた分類をさせてみようと思い立ちました。ただ、前もって撮った写真を分類させるのではなく、picameraからのリアルタイムの映像内の物体を分類させ、いい感じに表示させます。 学生レベルかもしれませんが、一部分でも参考になれば幸いです。 思い描いたこと 「固定されたpicameraの視野内に複数の私物を置くと、それをリアルタイムに分類し、表示する機能」をラズパイ内に作ってみようと思いました。 具体的には、背景差分（背景画像と変化した部分を抜き出す手法）で物体を抽出し、PyTorch [ﾊﾟｲﾄｰﾁ]（Keras,
Linux Foundationのプロジェクト、PyTorch Foundationは2022年12月31日（米国時間）、Python用深層学習用フレームワーク「PyTorch」のnightly版ユーザーに対し「すぐにnightly版とtorchtritonをアンインストールし、最新版をインストールしてください」と呼び掛けた。12月25日から30日の間にpipを介してインストールされたパッケージが侵害されていたとしている。 このパッケージは、Python Package Index（PyPI）コードリポジトリで侵害された悪意あるtorchtritonをインストールし、実行するという。 このtorchtritonは、ユーザーの/etc/hosts、/etc/passwdなどのファイルを読み込み、h4ck.cfdというドメインにアップロードする。 PyTorch Foundationは緩和措置
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列予測で使えるpythonライブラリ一覧 - ざこぷろのメモ
GAFAが後追いした国産AIの雄 開発終了の深層 - 日本経済新聞
AIおよび高度IT人材育成のための教材提供を開始 - 株式会社Preferred Networks
https://twitter.com/developer_quant/status/1566417479727222784
披露宴の席次を Gromov-Wasserstein 最適輸送で決めた話
学習が何で律速してるか、把握してますか？ - arutema47's blog
PyTorchチュートリアル（日本語訳版）
OpenAIのSpeech-To-Text AI「Whisper」をM1 Macで試してみる
連休のお供にいかが？ 米Microsoftが「PyTorch」の初学者向け教材を無償公開中
Deep Learning ideas that have stood the test of time
七声ニーナを支えるバックエンド技術 | BLOG - DeNA Engineering
StyleGAN2で属性を指定して顔画像を生成する - すぎゃーんメモ
PyTorchでの学習・推論を高速化するコツ集 - Qiita
【人類最難関の挑戦】サイゼリヤの間違い探しを現代技術を駆使し片面だけで解く（深層学習） - Qiita
BERTの推論速度を最大10倍にしてデプロイした話とそのTips - JX通信社エンジニアブログ
第1回 難しくない！ PyTorchでニューラルネットワークの基本
Pytorch Template 個人的ベストプラクティス（解説付き） - Qiita
物体検出ライブラリの紹介と所感 - arutema47's blog
OpenAI Whisper に追加学習をさせる試み | IIJ Engineers Blog
バクラクMLチームの技術スタックの変遷 - LayerX エンジニアブログ
Python(PyTorch)で自作して理解するTransformer
PyTorchでGPUの計算時間を正しく計測する - まったり勉強ノート
PyTorchのnightlyに侵害 「すぐにアンインストールしてください」
digital.asahi.com
sassy-marketing.com
digital.asahi.com
projectofnapskint.com
support.inkling.com
keibatsugaku.com