画像処理ライブラリ OpenCV で 出来ること・出来ないこと
•Download as PPTX, PDF•
161 likes•224,336 views
Design solusion forum2016での発表資料． http://www.dsforum.jp/2016/timetable.html
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
- 1. 画像処理ライブラリOpenCVで 出来ること・出来ないこと 名古屋工業大学 福嶋 慶繁 http://fukushima.web.nitech.ac.jp/ セッション番号I-6 2016/10/14 Design Solution Forum 2016
- 2. 経歴 – 2004 名古屋大学 卒業（村瀬研究室） – 2009 名古屋大学大学院 博士課程 修了（谷本研究室） – 2009 名古屋工業大学 助教 – 2015 名古屋工業大学 准教授 – http://fukushima.web.nitech.ac.jp/ 著書，記事など – コンピュータビジョン～アルゴリズムと応用 – Qiita：OpenCV Advent Calendar 2015 – OpenCV.jp（の一部） 略歴 2
- 3. 専門 – 画像処理 • 画像符号化，映像符号化 • 画像のノイズ除去 • エッジ保存平滑化フィルタの高速化 – 3次元画像処理 • ステレオマッチング • 任意視点画像合成 • デプスマップのデノイズ • デプスセンサのキャリブレーション • マルチカメラアレイ • AR，VR – 並列画像処理 • 画像処理のベクトル化・並列化 • 画像処理コンパイラ 略歴 3
- 5. イントロダクション 5
- 6. コンピュータビジョンのオープンソースラ イブラリ 世界でもっとも使われてるオープンソース の画像処理のライブラリ –10Mダウンロード –500K+行のコード Open Computer Vision (OpenCV) 6
- 7. 公式 –C++ –Python –Java –Matlab –C（サポート対象外） 非公式 –C#, Go, Processing, Lua, Ruby, PHP, Haskell, etc… –https://github.com/atinfinity/lab/wiki/OpenCV- binding%E3%81%BE%E3%81%A8%E3%82%81 対応言語 7
- 9. OpenCVの歴史 9 OpenCV Started Alpha Release at CVPR 2000. Windows only. Beta 1. Linux support Release 1.0 Release 1.1 Release 2.0. C++ Release 2.1. Full Python support Release 2.4 LTS Release 2.2. Android Support Release 3.0 Refactored Willow Support OpenCV Foundation Intel Support Google Summer of Code Nvidia Support Renewed Intel Support Release 2.3. GPU Support. Modules Magic Leap Development team has moved to Itseez
- 10. 1997 前身であるIntel Processing Library (IPL)の登場 2000 OpenCV alpha 2001～2005 OpenCV betaが５つ 2006 OpenCV 1.0 2008 Willow Garageがサポート， OpenCV 1.1pre 2009 OpenCV 2.0 2015 Itseezに移管，OpenCV 3.0，OpenCV3.1 2016年 IntelがItseezを買収 現在：OpenCV 3.1（2015-12-21） OpenCVの歴史 10
- 11. これまでの「ずっと枯れないライブラリ」 という評判を一新するために OpenCV＋Contribに分離 – OpenCV：枯れたアルゴリズム．本体がコミット – Contrib：最新のアルゴリズム．各自がコミット． 開発モデルの変更 11 OpenCV 2.x OpenCV 3.x contributions OpenCV 3.x
- 13. CPU – IPP-ICV： OpenCV3.0からロイヤリティフリー – HALモジュール：ハードウェア最適化 – Universal Intrinsics：NEONとSSEの一般化 – Parallel_for_：マルチコア並列化の一般化 GPU – CUDA • 独自実装 • NVIDIA 実装の関数群のラッパー – OpenCL • Transparent API (T-API) • UMatを使えば，実行ファイルが自動でGPU,CPUの切り替えを行ってくれ るexeを作成可能に． • おまけ：OpenCLの独自カーネルが書きやすい． アクセラレータ２ 13
- 14. Intelから無償提供された，画像処理ライブ ラリIntel Performance Primitive (IPP) のサブ セットで，様々な処理が高速化する –例えば，OpenCVのネイティブFFTは相当遅い IPP-ICV 14
- 15. 現在１００個程度の関数をカバー CPUを１として何倍高速化したか？ T-APIのパフォーマンス 15 CPU - AMD A10-6800k, iGPU - HD8670D, dGPU - Radeon HD7790
- 17. まだ，全てをやってはいけません！ –OpenCLはiOSやAndriod, Windows Phoneで公式 サポートされていない –大きな画像や複雑な画像以外は，コピーのオー バーヘッドが大きすぎます． • メディアンフィルタはFullHDくらいで初めて OpenCLが早くなる • Farnebackオプティカルフロー推定は480pですら OpenCLが早い –CPUのコードとOpenCLのコードの結果がまだ 違ったりする． すべてUMatにすべきか？ 17
- 18. そもそも誰がRGBが正しいと決めたんだ？ – 昔はRGBとBGRどちらも良く使われていた． • OpenCVの大元は，Intel Processing Library（1997） – 波長的にはBGRでは？ – WindowsのビットマップはBGR順 でも，実はOpenCVのコード自体も間違っている ことも．．． – cvtColor(src, dest, COLOR_BGR2YUV) • このコード，公式がRGBとBGRを間違えている． OpenCVはなぜBGR？ 18
- 20. データ構造，行列演算 (core) 基本的な画像処理 (imgproc) 画像入出力，符号化 (imgcodecs) カメラ，映像入出力 (videoio) 簡易GUI (highgui) 3次元可視化 (viz) 形状マッチング (shape) 動きベクトル推定，特徴点追跡 (video) カメラキャリブレーション・ステレ オマッチング，ポイントクラウド (calib3d) コンピュテーショナルフォトグラ フィ・デノイズ・HDR (photo) パノラマ生成 (stitching) 手振れ補正 (videostab) 超解像 (superres) 機械学習 (ml) 特徴点・特徴量計算 (features2d) 物体検出 (objectdetect) 多次元空間のクラスタリングや サーチ問題 (flann) CUDA使った高速化関連モジュー ル(cudaarithm, cudabgsegm, cudacodec, cudafeatures2d, cudafilters, cudaimgproc, cudalegacy, cudaobjdetect, cudaoptflow, cudastereo, cudawarping, cudev) 出来ること（OpenCV 3.x） 20 ※モジュール単位で記述：分解の粒度は開発した時期で分類によるのでばらばら．
- 21. ARマーカー (aruco) 背景セグメンテーション (bgsegm) 知覚モデルに従う処理 (bioinspired) キャリブレーションパタンのカスタム (ccalib) ビジュアルデバッガ (cvv) 様々なデータセットをダウンロード(datasets) ディープラーニング (dnn) デフォマブル パートモデル (dpm) 顔認識 (face) ファジー (fuzzy) Hdf5フォーマット (hdf) 線記述子 (line_descriptor) Matlab連携ブリッジ (matlab) オプティカルフロー推定 (optflow) グラフプロット (plot) 画像のレジストレーション (reg) RGB+デプス処理 (rgbd) 顕著性マップ (saliency) ストラクチャーフロムモーション (sfm) ステレオマッチング (stereo) カメラープロジェクタ用パタン投影 (structured_light) 3次元点マッチング (surface_matching) 文字認識 (text) トラッキング (tracking) 拡張特徴量計算モジュール (xfeatures2d) 拡張画像処理モジュール (ximgproc) 拡張物体検出モジュール (xobjdetect) 拡張コンピュテーショナルフォトグラフィモジュール (xphoto) 出来ること（OpenCV Contrib.） 21
- 23. 豊富なUSBカメラからのIO Kinect，CREATIVE SENZ3DからのIO 動画像からの入力，保存 –MPEG1,2,4,H.264, H.265, … カメラ，映像入出力 (videoio) 23
- 24. 画像表示が１行：imshow トラックバーをつけることが出来る Qtを使った拡張をするともっと便利に –画値値表示，保存，ズーム，ボタン追加など 簡易GUI (highgui) 24 デフォルト With Qt
- 26. ニューラルネットワーク（ANN） サポートベクターマシン (SVM) 期待値最大化法 (EM) 決定木 (DTrees) ブースティング木 (Boost) ランダムフォレスト (RTrees) K近傍法 (KNearest) ロジスティック回帰 (LogisticRegression) 単純ベイズ分類器 (NormalBayesClassifier) 機械学習 (ml) 26
- 28. ３次元処理 (calib3d) 28３次元処理 (calib3d)
- 32. コンピュテーショナルフォトグラフィ（photo） 32 High Dynamic Range Imaging (HDRI)
- 33. ArUco: a minimal library for Augmented Reality applications based on OpenCV OpenCVベースのシンプルなARツール ARマーカー (aruco) 33 https://www.youtube.com/watch?v=CzD48UkGsK8
- 38. 1D/2D グラフプロットモジュール その他 –私が公開しているライブラリOpenCPにもプ ロッターは付いてくる • https://github.com/norishigefukushima/OpenCP –Pythonで使えるプロッターであるmatplotlibと C++を連携するmatplotlib-cppでもいい • https://github.com/lava/matplotlib-cpp グラフプロット (plot) 38
- 39. OpenCVが苦手なこと１ 数値計算 –SVDがfloat入力，float出力 －＞丸め誤差大 –PCAがfloat入力，float出力 －＞丸め誤差大 –行列の分解の精度 最適化計算 –ニュートン法すら無かった 機械学習 –古典的な基本は十分そろえているが，最新のもの のサポートは不十分 –Pythonの充実ぶりに比べると．．． • 必要なら別のライブラリを使うほうが良い 39
- 41. 今後に期待～少しづつ強化中 Coreへ最適化アルゴリズムが追加など – 共役勾配ソルバ – 滑降シンプレックスソルバ – リニアプログラミングソルバ Algorithmクラスの導入 – 基底クラスを導入して類似したアルゴリズムをまとめる仕組 みを導入 機械学習モジュールのリファクタリング – 3.0から一気に使いやすく． HALモジュールの追加 – 独自実装や外部ライブラリで数値計算を強化 Contrib環境の整備 – 積極的なコミットや，Google Summer Codeには注目 41
- 45. Matlab：商用．行列演算ライブラリ FFTW：FFTライブラリ Eigen：高速な行列演算ライブラリ –#define EIGEN_NO_DEBUGで高速化 Intel MKL：インテルの数値計算ライブラリ Intel IPP：インテルのマルチメディアライ ブラリ その他のライブラリ１ 45
- 48. 並列プログラムを書くためのライブラリ， がOS，コンパイラに応じてたくさんの種類 があるため，それらをバックエンドとする 抽象化した並列化プログラミングの記述方 式 –GCD (OSX, iOS), OpenMP, Pthreads (new in 3.0), TBB, Concurrency (Windows, WinRT), C= –cv::Mutex を使えば，map-reduce も作れます． マルチコア並列化parallel_for_ 48
- 49. オートバッファ –Mallocよりも100倍速い（時もある） –型安全でクロスプラットフォームなalloca –バッファは，関数内のスコープでのみ有効 alloca + malloc = AutoBuffer<> 49 using namespace cv; void foo() { AutoBuffer<float> buf; … buf.allocate(n); // allocate buffer for n floats on stack or, if n is big, on the heap float* bufptr = buf; … } // buf is invalid at this point … AutoBuffer<float, 100> buf(n); // allocate on stack if n<=100 … 閾値を用いて，ヒープとスタックを切り替えてもOK
- 50. Matなど，OpenCV固有のものを使わない独立 したスタティックライブラリとして構築予定 CPUだけに対応 サードパーティのオープンソース，クローズ ドソースのアドオンとして追加 –EIGEN,BLAS, FFTW, FastCV, OpenVXなど？ –もし，Intel MKLが取り込まれたらかなり解決？ 対象とする範囲は，例えば， –高速なLU分解，コレスキー分解がしたい –高速にexp, log, sqrt, sinが計算したい HAL 50
- 55. "We should forget about small efficiencies, say about 97% of the time: premature optimization is the root of all evil. Yet we should not pass up our opportunities in that critical 3%” Donald Knuth … especially when you are doing computer vision on a cell phone OpenCV team Questions? CVPR 2015チュートリアルより
- 57. 参考書・参考URL 57
- 58. OpenCV入門（Build INSIDER） – http://www.buildinsider.net/small/opencv – 入門向けの記事 電子情報通信学会総合大会PRMU研究会企画セッ ション：OpenCV 3.0 ― コンピュータビジョンを簡 単化するライブラリ – http://www.ieice.org/~prmu/jpn/ieice2016.html – 本：OpenCV３プログラミングブックの著者の一人です． OpenCV.jp – http://opencv.jp/ – 担当者が忙しいため，2.2くらいで更新がほぼ停止． – マニュアルの英語がどうしても読みたくない人用 日本語情報 58
- 61. Pythonによるコンピュータビジョン入門書 OpenCVに限定しているわけではない． 原著のpdfのゲラは公開されている –Programming Computer Vision with Python –http://programmingcomputervision.com/ 実践 コンピュータビジョン 61