はじめに 深層学習モデルを動作させるためのソフトウェアは数多くあります。 PyTorch や TensorFlow などのフレームワークはそれ自身がモデルを実行する機能を持っていますし、ONNX Runtime のようにモデルを動作させることに特化したソフトウェアも存在します。 これらのソフトウェアは大抵、Python などから簡単に扱うことができます。 しかしながら、それらがどのように動作しているのか疑問に思うことはないでしょうか。 この記事では、0 から深層学習モデルの推論ランタイム（長いので以下「深層学習ランタイム」）を作った過程で学んだことを、とりとめもなく紹介していきます。ほとんど、自分用のメモのようになってしまうかもしれません。 作ったものは以下のリポジトリにあります。 （技術的にはかなり適当なことを書いてしまうかもしれません。） 深層学習ランタイムは何をするのか 深層学習ラン

本記事は、2022年夏季インターンシッププログラムで勤務された早川知志さんによる寄稿です。 はじめまして。2022年度のPFN夏季インターンに参加した早川知志です。普段はオックスフォード大学で数学（確率論・数値解析）の博士学生をしており、確率測度の離散化やそれにまつわる理論や応用に興味があります。 今回は、大学でやっていることとは趣旨を変えて、深層学習のエンターテインメント応用として二次元キャラクターの学習・生成タスクに取り組みました。 学んだキャラクターのCLIP embeddingを用いた生成例 1. Motivation オリジナルのキャラクターを描くときに角度や表情を微調整するのには途轍もない労力が必要です。筆者はイギリスでのロックダウン以来趣味でイラストや漫画を描こうとすることが増えたのですが、その過程でこのことに気付きました。生成モデルの力を借りて今までに描いたことのない構図で

PyTorch, ONNX, Caffe, OpenVINO (NCHW) のモデルをTensorflow / TensorflowLite (NHWC) へお手軽に変換するDeepLearningCaffeTensorFlowPyTorchONNX 日本語　English 1. はじめに いつも左中間を狙うようなプチニッチなふざけた記事ばかりを量産しています。 この記事の手順を実施すると、 最終的に PyTorch製 高精度Semantic Segmentation の U^2-Net を TensorFlow Lite へ変換することができます。 下図のような感じです。 TensorFlow めちゃくちゃ扱いにくいです。 日々公開される最新のとても面白いモデルは軒並みPyTorch実装ですし、なんでTensorFlowで実装してくれないんだ！！ と、常日頃思っています。 論文のベンチマ

「生成Deep Learning」を読みました 生成に特化したAIの本「生成Deep Learning」を読みました。 生成 Deep Learning ―絵を描き、物語や音楽を作り、ゲームをプレイする 作者:David Foster発売日: 2020/10/05メディア: 単行本（ソフトカバー） 独創力とは、思慮深い模倣以外の何ものでもない とは18世紀フランスの哲学者ヴォルテールの言葉とのことですが、AIによる模倣と創造の境界に関して考えさせられるような本でした。 本の内容は、オートエンコーダからはじまりGANでの画像生成、文章生成、音楽生成。アテンション、強化学習の世界モデルまでとタイトル通り生成系のAI技術を幅広くカバーしています。 結構骨太で、AIの本は1冊目という人が読む本ではなくて、何冊かAI関係の書籍を読んで、ある程度自分で実践して、生成系のAI（Auto Encoderと

はじめに 微分可能レンダラーという研究があります。これは画像の描画過程を微分可能に近似することで、レンダラーへの入力（3次元モデルやカメラ姿勢など）とその出力（画像）の関係をディープラーニングで扱うことが出来るようになるというものです。 この考え方をアスキーアートに適用してみたところ、教師なし学習による精密なアスキーアート生成が可能となりました。 *趣味の活動ですので内容の正確さには期待しないでください。 背景 ディープラーニングでアスキーアートの自動生成を扱った研究として、2017年のDeepAA（日本語解説記事）があります。これはテキストとその描画結果である画像のデータを用意したうえで、逆向きの変換を一文字ずつ教師あり学習させるというものです。 この方法はそれなりの精度が出ているのですが、一文字ずつ学習している構成であることから精密な線の位置合わせができないという問題があります。また、

最後にブログを書いてから１ヶ月が経ってしまいました。この期間の振り返りもしたいところですが、それはまた別の機会に。 今回はこの２週間くらいDeep Learningを使って画像を分類したりする遊びをしていましたのでそれについて。 まずは成果物から。 yuheinakasaka.github.io 画像をアップするとJuice=Juiceというハロプロのアイドルにどれだけ似てる顔なのかを判定できるサイトです(herokuの無料枠で動いてるのでサーバーはいともカンタンに死にます...😇)。 見せられるようなコードではないですが、一応ソースコードも置いておきます。 GitHub - YuheiNakasaka/yukanya: Juice=Juiceのメンバーを画像から判定する分類器 GitHub - YuheiNakasaka/yukanya-api GitHub - YuheiNakasa

.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads

TL;DR せっかくトレーニング済みの著名OSSディープラーニング・モデルがあっても、モデルだけじゃ専門家でないと再利用できないじゃん MAXなら1コマンドでDLモデルをRESTサービス化してくれるので、ややこしいことを知らない初心者でもモデルを楽に再利用できますよ～ (2019/04) Node-REDからも使えるよ って話です。 (2019/04/17) MAXが公開されて約１年たちましたが、Blog: 「Expanding the reach of the IBM Model Asset eXchange (2019/03/29)」に、この一年の振り返りと各種記事への（まとめ的な）リンクがあります。 (2019/04/08) MAX、久々に見たらモデルが+8で30個に増えていたので、記事をアップデートしました。 はじめに こんにちわ！石田です。今日はModel Asset Excha

はじめに 顔認識 (face recognition) 等の個体識別問題において、距離学習は非常に重要です。ここで個体識別問題というのは、顔認識を例に取ると下記のようなものです。 2つの顔画像ペアが与えられた際にその顔画像ペアが同一人物のものであるかを判定する1:1認証 N人の顔画像データが予め与えられた状態で、個人が特定されていない顔画像が入力された際に、その顔画像がN人のうちどれであるか、またはどれでもないかを判定する1:N認証 何故距離学習が重要かというと、クラス分類問題とは異なりクラス数が不定で各クラスに属する画像を事前に得ることができず1、クラス分類問題として解くことができないためである。このため、何かしらの学習済みモデルを利用して各画像から特徴ベクトルを抽出し、その特徴ベクトル間の距離がしきい値以下であれば同一人物、しきい値より大きければ異なる人物と判定する（コサイン類似度等の

面白いダジャレを言うと、何が起こるでしょうか。 そうです。布団が吹っ飛びます。 今回は、ダジャレを心から愛するブレインパッドのメンバー4人が制作した、最新ダジャレAIを搭載した次世代型おもしろダジャレ検知マシン『オフトゥンフライングシステム』のご紹介をさせて頂きます。 ※補足＆感謝 面白いと布団が吹っ飛ぶという発想は日テレ系列の大喜利番組「フットンダ」のリスペクトです 「オフトゥンフライングシステム」という名前はボーカロイドソング、『オフトゥンフライングシステム』があまりにもイメージとぴったり合ったため、名前を使わせていただきました。こちらの曲を無限ループしながら記事を読んでいただけると、より楽しめる仕組みになっております Product Summary オフトゥンフライングシステムとは何か。分かりやすく説明すると、ダジャレ検知AI『Shareka』とダジャレ評価AI『Ukeruka』が搭

Overview AI/基盤モデルが必要とする計算資源はこれまでのスーパーコンピュータの進化の速度を大幅に上回り、爆発的に増加しています。技術の社会実装に向けて、低コスト/低環境負荷な計算資源が求められています。 Preferred Networks（PFN）は、AI/基盤モデルに要する高速かつ莫大な計算能力を賄うため、深層学習を高速化するプロセッサー（アクセラレータ）MN-Core™シリーズを神戸大学と共同開発し、MN-Core™シリーズを用いた大規模コンピュータクラスター（スーパーコンピュータ）の構築を進めています。 MN-Core Series 莫大な計算量を必要とする深層学習において、計算の高速化は大きな課題のひとつです。 AI/基盤モデルの学習フェーズに最適化した専用チップは、汎用用途のチップに比べ、機能を限定することで高い処理性能を発揮することができます。 PFNが神戸大学と共

ハイパーパラメータ自動最適化フレームワーク「Optuna」のベータ版を OSS として公開しました。この記事では、Optuna の開発に至った動機や特徴を紹介します。 公式ページ 公式ドキュメント チュートリアル GitHub ハイパーパラメータとは？ ハイパーパラメータとは、機械学習アルゴリズムの挙動を制御するパラメータのことです。特に深層学習では勾配法によって最適化できない・しないパラメータに相当します。例えば、学習率やバッチサイズ、学習イテレーション数といったようなものがハイパーパラメータとなります。また、ニューラルネットワークの層数やチャンネル数といったようなものもハイパーパラメータです。更に、そのような数値だけでなく、学習に Momentum SGD を用いるかそれとも Adam を用いるか、といったような選択もハイパーパラメータと言えます。 ハイパーパラメータの調整は機械学習ア

メンヘラちゃんが最新論文をバリバリ語ってくれるシリーズのまとめです．論文とコーヒーを片手にお楽しみください．

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 深層学習を使った音声データによる楽曲分類を実施しました！楽曲の特徴を表すメル周波数スペクトログラムを用いて、その楽曲のアーティストを推定します。 こんにちは、アナリティクスサービス本部の井出です。 今回のブログは、音声データをテーマとして取り上げ、 音声データの特徴量 深層学習による楽曲のアーティスト分類 についてご紹介します。 ブレインパッドでは、深層学習の技術を駆使した活用事例が増えてきています。特に、画像認識の分野における活用事例は多く、当社の公開されている事例だけでも以下のようなものがあります。 ブレインパッド、キユーピーの食品工場における不良品の検知をディープラーニングによる画像解析で支援 八千代エンジニヤリングとブレインパッド、洪水を安全に流す役割を担う河川のコンクリート護岸の

この記事はドワンゴアドベントカレンダー26日目(延長戦!)の記事です。 私は、Dwango Media Villageで研究を行なっている古澤です。Dwango Media Villageは、ドワンゴの機械学習系の研究とその応用を行なっているチームです。 今回紹介するのは白黒漫画にDeep Learningで着色する研究です。さらに、応用としてプロジェクタを用いて実世界のイラストにも着色結果を投影できるようにしました。 出来ること一覧 本記事では、以下の2つの事柄がどのようなテクニックを元に可能になったかのおはなしを書いていきます。 Deep Learningで白黒漫画１タイトル＋参照画像を入力とした白黒漫画の自動着色 Deep Learning+Jetsonで実世界に描かれたイラストの色塗り(自動着色結果のプロジェクション) 動画あり! Comicolorization 最近、タイのバン

Chainerでディープラーニング ここのところ、ディープラーニングのフレームワークはTensorFlowを使っています。以前はChainerも使っていたのですが、Chainer v2.0になり、以前画像認識とか試していたコードも動かなくなってしまい、やる気を失っていたのですよね。 そんな折、たまたまNVIDIAの機械学習のセミナを受ける機会があったのですが、GPU(Titan)積んだサーバに、Jupyterの環境が構築されていて、参加者はサーバにアクセスしてエンターキー連打していくだけでそれっぽい結果が出て、凄いやった気分になるし、絶対初心者は自分で環境出来ないからNVIDIAの環境にお金払うことになるしで、とてもよく設計されたセミナでした。 と書くと凄い悪徳セミナのようですが、Jupyterを使って、説明を読んでから、実際にコードを実行してその結果を確認していくというハンズオン形式は、

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ディープラーニングは特定分野で非常に高い精度が出せることもあり、その応用範囲はどんどん広がっています。 しかし、そんなディープラーニングにも弱点はあります。その中でも大きい問題点が、「何を根拠に判断しているかよくわからない」ということです。 ディープラーニングは、学習の過程でデータ内の特徴それ自体を学習するのが得意という特性があります。これにより「人が特徴を抽出する必要がない」と言われたりもしますが、逆に言えばどんな特徴を抽出するかはネットワーク任せということです。抽出された特徴はその名の通りディープなネットワークの中の重みに潜在してお