PyTorchチームは1月31日、PyTorch® 2.2のリリースを発表した。新機能や最適化が盛りだくさんのこのバージョンは、エンジニアたちの期待を十分に満たすリリースだ。 PyTorch 2.2では、FlashAttention-v2の統合により、SDPA（_scaled_dot_product_attention_）のパフォーマンスが 約2倍向上 した。これにより、A100 GPUsで最大FLOPs/sの約50-73%まで到達する高速なSDPAが実現された。 新しい機能としては、非Pythonサーバーサイド向けのAOTInductorも導入。これにより、PyTorchプログラムのコンパイルとデプロイメントが可能になり、非Python環境での利用が向上した。 その他にも、Optimizersのサポート向上や新しいログメカニズムTORCH_LOGSの追加など、多くの改良が行われた。一方で

問題に感じた箇所や改善すべきと思った点など、コメントいただけますと幸いです。レビューに貢献していただいた方には、感謝の印として、本書に名前を記載させていただく予定です（もちろん、同意のある方のみです）。下記のように、レビューアの方の名前をクレジットとして掲載する予定です。 左は『ゼロから作るDeep Learning ❷』、右は中国語に翻訳された『Deep Learning 2』なお、本のタイトルに「❺」とありますが、前作までの知識がなくても読める内容になっています。前提条件としては、Pythonと数学の基本的な知識が必要になります。数式も多く登場します。ちなみに、本書の概要は次のとおりです。 人気シリーズの第5弾。今回のテーマは「生成モデル」です。本書では「正規分布」から「拡散モデル」に至るまでの技術を繋がりのあるストーリーとして展開します。読者は小さな学びを積み重ねながら、ステップバイ

Chat（チャット）GPTなど話題の生成人工知能（AI）は人間のような自然な文章やイラストをつくりだす。脳の神経回路の働きをモデルとする「深層学習（ディープラーニング）」と呼ぶ技術が基盤となる。登場して20年近くたつが、なぜ優れているのかはわかっていない。数学や統計学を駆使して謎解きに挑む研究が進んでいる。「深層学習はなぜうまくいくのか。正直にいえば、よくわからないところがある」。深層学習の原

Webサイト開発特化型AIサービスのWebエンジニアを募集！ 株式会社Tsunagu.AI @tsunaguai I want to hear a detailed Tsunagu.AI（ツナグドットエーアイ）は、「ヒトとデータを繋ぐ」をコンセプトに2017年4月に設立されたスタートアップです。 弊社では、Webサイト開発特化型AIサービス「FRONT-END.AI」を開発しております。FRONT-END.AIは、フロントエンド開発を自動化することを目指しているエンジニア向けのサービスです。 Webサイトのデザイン画像をFRONT-END.AIにアップロードすると、AIがデザインを認識して初期コーディングを行います。その精度は100％ではないため、初期コーディングの結果を修正するための管理画面も提供しています。サービスはエンジニアの使いやすさを重視しているため、UI UXに力を入れてサービ

株式会社MIXIの家族アルバム「みてね」で Rails エンジニアを大募集！ 株式会社MIXI @mixi Ruby on Rails Machine Learning Ruby Amazon Web Services Python Site Reliability Engineering Google Cloud Software Design GitHub Git Project Management Image Processing Deep Learning JavaScript Android I want to hear a detailed 仕事概要 【Data Engineering グループ】 みてねでは、お客様のアップロードした写真や動画を人物ごとに自動分類する「人物ごとのアルバム機能」や、アップロードした動画を1秒ずつ繋ぎ合わせた「1秒動画」、自動提案フォトブック、D

はじめに 2023年になって日が経ってしまいましたが、今年も深層学習の個人的ハイライトをまとめたいと思います。今回は研究論文5本と応用事例4つを紹介します。他におもしろいトピックがあれば、ぜひコメントなどで教えて下さい。 AIの研究動向に関心のある方には、ステート・オブ・AIガイドの素晴らしい年間レビューもおすすめします。また、私が過去に書いた記事（2021年、2020年、2019年）もよろしければご覧ください。 * 本記事は、私のブログにて英語で書いた記事を翻訳し、適宜加筆修正したものです。元記事の方も拡散いただけると励みになります。 ** 記事中の画像は、ことわりのない限り対象論文からの引用です。 研究論文 Block-NeRF: Scalable Large Scene Neural View Synthesis 著者: Matthew Tancik, Vincent Casser,

共著で執筆した書籍「Kaggleに挑む深層学習プログラミングの極意」が明日(2023/2/2)発売するのでそちらの紹介です。既に書店によっては店頭に並んでいるようです。 Kaggleに挑む深層学習プログラミングの極意 (KS情報科学専門書) 作者:小嵜 耕平,秋葉 拓哉,林 孝紀,石原 祥太郎講談社Amazon https://www.kspub.co.jp/book/detail/5305133.html https://bookclub.kodansha.co.jp/product?item=0000323307 どんな本？ Kaggleを題材に深層学習の技術・活用法を解説している本です。深層学習が得意な分野として、画像処理（画像分類・画像検索）と自然言語処理を扱っています。 3章以降では章ごとに1つのコンテストを取り上げ、必要な技術を解説しつつ、PyTorchを使い実際にある程度高い

機械学習プラットフォームのTensorFlowで実行される、Pythonで記述されたディープラーニング用APIが「Keras」です。このKerasを拡張して画像分類、物体検出、画像分割、画像データ補強などを行うためのモジュール式ビルディングブロック「KerasCV」を使うと、画像生成AIのStable Diffusionが約30％高速になるという報告が、KerasCVの開発者による研究チームからあがっています。 High-performance image generation using Stable Diffusion in KerasCV https://keras.io/guides/keras_cv/generate_images_with_stable_diffusion/ Stable Diffusionは2022年8月に一般公開されたオープンソースの画像生成AIで、入力した

Torishima / INTP @izutorishima アニメリアタイと DTV と技術とﾌﾟﾛｸﾞﾗﾐﾝｸﾞとその他諸々なオタク (⚠⚠⚠AI研究者ではありません!!!フォロー非推奨!!!⚠⚠⚠) IT と AI 関連の情報ウォッチしてます 同IDで Bluesky にもいます 時間掛けて書いた見てほしいツイートはハイライトに (2023/12~) note.com/sumisutori Torishima / INTP @izutorishima 画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってる waifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い（2枚目: Before 3枚目: After） なぜ話題になっていないのか不思議なレベ

TRTorchについて 以降は下記のリンクを元に記述しています。 https://www.nvidia.com/en-us/on-demand/session/gtcfall20-a21864/ PyTorchはpython依存しているがTorchScriptを使用するとC++からも使用可能になります。モデル静的な構造に変換します。 PyTorchのモデルをTorch Script形式に変換してC++から呼ぶ一例は下記になります。 PyTorchのモデル、TorchScriptのモデルはTensorRTで推論高速化が可能です。 TensorRTの特徴は下記になります。 なるべく低い数値精度を保ったままモデルを変換します。 レイヤー、Tensor合成をしてGPUへのカーネル命令の呼び出しをまとめています。 ハードウェアごとに最適なカーネル命令が異なるのですが、自動的に最適なカーネル命令を取得

9月16日、Google AI Blogに、学習時間を短縮し、最先端の性能を実現した、画像認識用の2つのモデルを紹介した「Toward Fast and Accurate Neural Networks for Image Recognition」が公開された。 スクリーンショット: Toward Fast and Accurate Neural Networks for Image Recognition この記事では、画像認識モデルの「EfficientNetV2」と「CoAtNet」を紹介している。 EfficientNetV2は、convolutional neural networksで構成されており、ImageNet1k（128万枚の画像）のような比較的小規模なデータセットに対して、高速な学習速度を目指している。 CoAtNetは、convolutionとself-attent

深層学習の世界では時折・・・と言っても、一ヶ月に一回くらいだが・・・信じられないようなことが起きる。 以前、ゲーム画面を見ただけでパックマンやらマリオやらを再現するAIが出現したと聞いたとき、「嘘だろ」と思ったのだが、まあ言うてパックマン。なんとなくできるのかもしれない。 しかしこの手のものはあまりにも直感に反するので自分の手で確かめないと本当かどうかわからない。 そんな時のために僕の仕事机には7台のGPUマシンがあるわけだが、たまたまRTXが遊んでいたので実行してみたら、「嘘だろ」としか言いようがない結果を目の当たりにすることになった。 GTAVこと「グランセフトオートV」は、自動車泥棒になって架空の街を走り回るゲームだ。 こいつをひたすらAIに学習させると、GTAVをAIが再現するという、全く直感に反することが行われるらしい。3Dゲームというのは、それを作った経験のある人なら誰でも、恐

Posted by Mathieu Guillame-Bert, Sebastian Bruch, Josh Gordon, Jan Pfeifer We are happy to open source TensorFlow Decision Forests (TF-DF). TF-DF is a collection of production-ready state-of-the-art algorithms for training, serving and interpreting decision forest models (including random forests and gradient boosted trees). You can now use these models for classification, regression and ranking t

最終更新日： 2022年11月30日 2010年代後半からAIへの注目が高まり、現在多くの産業分野で活用が進んでいます。急激に発展を続けるAIを支えているのは、多くの研究者です。 現在、大学だけでなく多くの企業がAIの研究に取り組み、日々新しい技術革新が生まれています。 この記事ではAI研究に注目し、研究分野だけでなくAI研究を行う企業から研究室まで幅広く紹介していきます。 ▼AIについて詳しくはこちら

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 中国・北京大学と米テキサスA&M大学の研究チームが開発した「Deep Plastic Surgery」は、ユーザーの手描きスケッチからリアルな顔画像の生成とインタラクティブな編集ができるフレームワークだ。 スケッチベースの画像編集はこれまでも研究されてきたが、訓練用スケッチの収集が難しいため、代わりにカラー画像から検出のエッジマップを用いてモデルを学習してきた。その結果、スケッチとエッジマップとの構造的な不一致による不安定な出力が多かった。 今回の手法では、手描きスケッチ自体を深層学習ネットワークに直接与えて顔画像を生成するのではなく、手描きスケッチをエッジマップに変換し、エッジマップから

$10^{360}$というと，もう「億」や「兆」のような名前すらない規模でイメージもできませんが，観測可能な宇宙に存在する原子の総数と言われている$10^{80}$よりもずっと大きいのですから驚異的です． ちなみに，情報の世界では「天文学的数字」よりも大きい数字がしばしば出てくるので，「組合せ論的数字」なんて言い方も耳にすることがあります． この膨大なパターン数が原因で，AlphaGoが開発されるまでは「AIが囲碁で人間に勝利するまであと10年はかかる」と言われていましたが，2016年にディープラーニングを応用したAlphaGoが李世乭九段を破り世界を驚かせました． AlphaGoのすごさを感じていただけたでしょうか？でも，$10^{360}$の世界で戦う人間の棋士もすごいですよね． ともあれ，囲碁は難しいので私はオセロにしました． 必要なもの ディープラーニングの基礎とChainerの基

2018/5/9（水）に表題のイベントに参加してきました。 kaggle関連の催しは初めてなのでワクワク。 お話を聞きながらタイピングしてそのまま載せているので、多少間違っているところがあるかもしれません。あらかじめご容赦下さい。 メルカリコンペの趣旨 海外から入賞者を招き、同時通訳を用意するなどしてイベントのために1000万かけた。 日本人のkaggler少ないな、もっと活性化したい！ という想いで、ハウツーを共有するためにイベントを開催した。 第一部 1位のお二人 3つの異なるデータセット データセットにつき4つのモデル いくつか使った方が品質が上がる スコアを高くするためにも色々な施策を試した Sparseのデータセットを使って、4モデルを同時に学習させた テキストの結合をさせることが大事だった 宣言型と命令型の前処理をした とても複雑なコードを使ったので理解しづらくなっている 前処

Lesson 3　機械学習＆ディープラーニングの、基本的なワークフローを知ろう：機械学習＆ディープラーニング入門（概要編）（1/3 ページ） 機械学習／ディープラーニングの作業フローの基礎を学び、実践へ踏み出す準備をしよう。機械学習モデルは、どのようなステップで作成していくのか？ データ収集～学習～運用の一連の流れをできるだけシンプルに紹介する。