この記事は CyberAgent Developers Advent Calendar 2024 8日目の記事です。また、 自由入力解像度対応 Detection Transformer を錬成するトリック の続編です。 CyberAgent AI Lab の Agent Development チームで対話エージェント・ロボットの研究開発に従事しているリサーチエンジニアの兵頭です。 CyberAgent の Developer Experts としても、Labの研究活動だけではなく事業横断的に全社を技術で支援しています。 すべてのエッセンスを盛り込むといつも数十万文字超の長大な記事を書いてしまいバックエンドのブログシステムを破壊してしまうため、今回はデモコードなどをすべて排除して一年分の成果をできるかぎりコンパクトにまとめ、行間の質量を高めます。 1. 取り組んだタスク ２Dエージェント

第57回 コンピュータビジョン勉強会＠関東 https://kantocv.connpass.com/event/260132/ で読みました。CNNとViTの争いの現時点の情報をお届けしています。ただECCV 2022の論文を読んだのかと言われると怪しい…（ECCV2022の論文「も」読んだというのが正しい）

2019/9/29 投稿 2019/11/8 やや見やすく編集(主観) 2020/2/1 SGDの解説Link追加 2020/8/17 図がないとよくわからないと思い図を追加 2020/9/21 コメントより補足説明追加と図の更新 2022/7/2 図の更新、新たな図の追加、文章修正 2022/11/6 畳み込みの映像更新 0. この記事の対象者 Pythonを触ったことがあり,実行環境が整っている人 PyTorchをある程度触ったことがある人 PyTorchによるCNNの実装でより深くコード理解がしたい人 この長くて大変恐縮な記事を読み切る根気がある人 1. はじめに 昨今では機械学習に対してPython言語による研究が主である. なぜならPythonにはデータ分析や計算を高速で行うためのライブラリ(moduleと呼ばれる)がたくさん存在するからだ. その中でも今回はPyTorchと呼ば

3つの要点 ✔️ ViTは、すべての層でより均一な表現（特徴量）を持っている。つまり各層での表現が似ている。 ✔️ ViTは、自己注意（self-attention）により早期にグローバルな情報を集約できる。 ✔️ ViTは、表現を下位層から上位層へ強く伝搬させる。 Do Vision Transformers See Like Convolutional Neural Networks? written by Maithra Raghu, Thomas Unterthiner, Simon Kornblith, Chiyuan Zhang, Alexey Dosovitskiy (Submitted on 19 Aug 2021 (v1), last revised 3 Mar 2022 (this version, v2)) Comments: Published on arxiv.

本記事は20分程度でお読みいただけます。 こんにちは。TC3データサイエンス部門の梅本です。 普段はPyTorchを使っているのですが、新しいライブラリを触るのも勉強になると思いますので、今日は新進気鋭の深層学習ライブラリであるJAX/Flaxを使って、MNISTを学習させてみようと思います。 はじめに 皆さんご存知の通り、TensorFlow、Keras、PyTorch(Chainer…)と近年は様々な深層学習ライブラリが使われています。最近、JAXというライブラリが話題になっているものの、十分すぎるライブラリがある中でなぜJAXが新たに出てきたのでしょうか？（そしてなぜ使うべきなのか）。この理由には後発ライブラリの強みとして、先行ライブラリの問題点を改良しているという点が挙げられます。現状以下のような利点が挙げられます XLAコンパイルによる高速性 厳密な乱数の管理による再現性の担保

この記事は、論文の内容を5分くらいで読めるようにまとめた記事です。そのため、前提となる知識や関連研究に関する説明は大幅に省略しています。 基本的には筆者の備忘録ですが、面白そうと思ったら是非ご自身でも読んでみてください。 概要 Vision Transformer以降、Visionの世界の中心はConvNetからTransformerへと移りつつある。しかし、ConvNetの設計空間は後発のTransformerのようには十分に「近代化」されておらず、古い慣習が残ったままであることも確かである。 本研究では、ConvNetの設計空間を再検討したConvNeXtを提案している。ConvNeXtは標準的なConvNetモジュールから構成され、標準的なConvNetのシンプルさと効率性を維持しながら、精度や拡張性において最先端のTransformer系手法と遜色なく、87.8%のImageNet

3つの要点 ✔️ Googleが軽量なCNN音声認識モデルを提案 ✔️ squeeze-and-excitationモジュールによってグローバルコンテキストを考慮 ✔️ Progressive Downsamplingによってコンピューティングコストを削減 ContextNet: Improving Convolutional Neural Networks for Automatic Speech Recognition with Global Context written by Wei Han, Zhengdong Zhang, Yu Zhang, Jiahui Yu, Chung-Cheng Chiu, James Qin, Anmol Gulati, Ruoming Pang, Yonghui Wu (Submitted on 7 May 2020 (v1), last revi

オリンパスは、AI病理診断支援ソフトウェアの実用化に向けた共同研究を呉医療センター・中国がんセンターなど6施設と実施した。病理標本に対して感度100％、特異度50％以上の精度を達成し、胃がんを対象とした汎用性を実証した。 オリンパスは2021年8月25日、AI（人工知能）病理診断支援ソフトウェアの実用化に向けた共同研究で、同ソフトウェアが胃生検の病理標本に対して感度100％、特異度50％以上の精度で腺がんの判定をし、汎用性を実証したと発表した。 同社は、2017年から呉医療センター・中国がんセンターと共同で、AI病理診断支援ソフトウェアの開発に取り組んできた。2020年からは製品化に向けた汎用性の検証、精度向上を目指し、呉医療センター・中国がんセンターを含む国内6施設との共同研究を進めている。

This article is about most probably the next generation of neural networks for all computer vision applications: The transformer architecture. You’ve certainly already heard about this architecture in the field of natural language processing, or NLP, mainly with GPT3 that made a lot of noise in 2020. Transformers can be used as a general-purpose backbone for many different applications and not onl

はじめに 最近ずっと悩んでいたのが、PyTorchで乱数の種を固定したつもりでも、結果が一定しない問題。環境はGoogle ColabのGPUです。 (2021-04-10) 対策もわかったので修正 (2021-07-06) 従来の方式でGoogle Colabでエラーになったので対策を追記 (2021-08-01) pytorchのバージョンアップに伴い、関数が変わったのでコード修正 どのような問題か 次のようなコードで定義したCNNモデルです。 CIFAR-10学習用に作ったモデルです。 class CNN_v2(nn.Module): def __init__(self, num_classes): super().__init__() self.conv1 = nn.Conv2d(3, 32, 3, padding=(1,1), padding_mode='replicate')

3つの要点 ✔️ 双方向プーリング手法"LiftPool"の提案 ✔️ 古典的な信号処理理論をもとに、プーリング処理での情報欠落を回避 ✔️ 画像分類・セグメンテーション等の様々なタスクで優れた性能・ロバスト性を発揮 LiftPool: Bidirectional ConvNet Pooling written by Jiaojiao Zhao, Cees G. M. Snoek (Submitted on 29 Sept 2020 (modified: 24 Feb 2021)) Comments: Accepted to ICLR2021. Subjects: bidirectional, pooling code： はじめに CNNにおけるプーリングは、受容野を広げること、入力変動に対するロバスト性を高めるなどのために非常に重要な動作です。しかしながら、既存のプーリングによる特徴量マ

はじめに はじめまして。株式会社キカガクの河原です。 キカガクは、「AI を含めた先端技術の研修」を行っている会社です。 さっそくですが、CNN の構造ってどのように決めるのか、難しいと感じた方も多いのではないでしょうか。 フィルタのサイズは、なぜ $3\times3$ が多いのか Convolution と Pooling は何回繰り返したらいいのか Convolution を何度も繰り返すと、計算量膨大になるのでは みなさん、様々な疑問を抱いてるかと思います。 私自身、学び初めの頃は、どのように CNN のアーキテクチャを構成すればいいのか、理解出来ずにいました。 そこで、CNN の過去のモデルから紐解いて学ぶ事によって、上記の疑問が解消された背景から、本記事を書いていきます。 本記事を通して、皆様の抱いていた疑問が少しでも解消されれば幸いです。 本記事を参考にして欲しい方 ニューラル

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

3つの要点 ✔️ TransformerとCNNを組み合わせたモデル，Conformerを音声認識に応用 ✔️ 畳み込みモジュールがConformerにおいて最も重要であることがわかった ✔️ 既存の音声認識研究の中でも最高の精度を確認 Conformer: Convolution-augmented Transformer for Speech Recognition written by Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, Ruoming Pang (Submitted on 16 May 2020) Comments: Accepted at Interspeech20

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

https://blog.tensorflow.org/2020/07/pixelopolis-self-driving-car-demo-tensorflow-lite.html https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhs4gaxC1c-8T8Ei8rgaCqf6BoyUQRfPllTIcLCnkECygff-sSAHYUfJBu4Z4ZGtSwksvzRki32WFGSYiFPtlv19oacze5SpcU9c4spZF8a2KMU3hzT2LD7G3TwDglWqHj6JFEFZSdZbGo/s1600/106.gif July 13, 2020 — Posted by Miguel de Andrés-Clavera, Product Manager, Google PI In this post, I