ARにおいて，現実の世界に3次元CGが違和感なく存在しているように見せるための条件の１つに，オクルージョンの実現があります．オクルージョンとは隠れのことで，実物体の背後にCGがあるときにCGの一部またはすべてが隠れて見えなくなっている状態をきちんと表現しようというものです． 今回はこういうもの↓に挑戦してみましょう． しくみ TV番組や映画の制作で用いられているクロマキー合成の技法を使います．まず，シーンの背景色を緑色に設定し，実物体と同形状の緑色のCGと，重畳したいCGを一緒に描画します．これによりCGが実物体でマスクされた画像を得ることができます．このデータをいったんバッファに保存します．次にカメラ画像を描画し，バッファ中の緑色でないピクセルだけを画面上に描画していけば，合成完了です． 実装してみる ProcessingとNyAR4psg（Processing版のARToolKit）を

ARに使えるOpenCVで作る画像認識Androidアプリ：モバイルARアプリ開発“超”入門（6）（1/3 ページ） オープンソースの「OpenCV」で画像認識しよう これまでの連載第2回「NyARToolKitでマーカー型ARのAndroidアプリを作る」や第3回「NyARToolKit for Androidよりも簡単なAndARとは」で紹介した、Androidで利用可能なオープンソースのAR（拡張現実）ライブラリ「NyARToolkit for Android」「AndAR」では、「縁が黒いマーカー」を認識していました。 しかし、そういったマーカーしか使えないと、デザイン面などで大きな制限があることになります。 そこで今回は、オープンソースのコンピュータヴィジョンライブラリである「OpenCV」（Open Source Computer Vision）を利用した、画像認識アプリの作成

はじめに いつもは「創活ノート」でマンガを描いている柳井です。その裏ではゴリゴリとコードを書いています。 今回公開したライブラリ「crocro.jscam」は、Webカメラの情報を取得したり、マーカー情報を取得したりするためのライブラリです。 簡単な設定で「2値化」「ラベリング」「マーカーの取得」を行えます。また、コールバック設定で「Webカメラの画素データ」や「ラベル情報」「マーカー情報」など、多彩な情報を取得できます。 最新のライブラリやサンプルコード、リファレンスは、下記のサイトで公開されています。ソースコード付きのサンプルを見れば、どういったことが行えるのか、イメージがつかめると思います。 「crocro.jscam」JavaScriptでWebカメラの画像を取得するライブラリ というわけで、どういったことができるのかイメージをつかんでもらうために、キャプチャした画像を掲載します。

最近これらを使うことが多いのですが、それぞれ目的が少しずつ違うので、 カメラからの入力が簡単: OpenCV, ARToolkit GUIの利用が簡単: GLUT(ARToolkit), OpenCV 3次元物体の描画が簡単: GLUT(ARToolkit) 画像処理が簡単: OpenCV というように得意分野が違うわけです。なので、必然的にこれらを組み合わせて使う必要がでてきたりするので、個人的なメモとして書いときます。環境はWindows XP, VS2008, OpenCV2.1, ARToolkit2.72.1, GLUT3.7。 ARToolkit ベースで OpenCV を使う この場合、GUIとカメラキャプチャはARToolkitということになるので、カメラからの取得画像の変換ができればよい。 ARUint8 *dataPtr; // ARToolkit によるカメラ画像への

プログラミング未経験でも手軽にAndroidアプリが作れるApp Inventor。本連載では、App Inventorでアプリを作り、使用しているコンポーネントに関して実際にJavaのAPIと比較して、できることを検証していきます Webアプリ開発者がモバイルARアプリを作るために 「AR（augmented reality）」という言葉が、ごく一部の研究者や技術者の中でしか知られていなかったものから、徐々に一般への認知が広まりつつある状況が生まれてきています。例えばカーナビのようなものに「AR」と名の付く機能が搭載されたり、携帯型ゲーム機にもARを体験できる機能が付いたりなど、身近な応用例も増えてきています。 一般的になりつつあるとはいえ、では実際に「ARを使ったものを作ってみよう」といって「何から手を付ければいいのか」「どう始めればいいのか」興味はあっても踏み込めていない方が、読者の

Android、流行ってきましたね。アプリも大流行りです。現実世界とインタラクションをするようなアプリケーションを作ろうとしている人も多いんではないでしょうか。 ということで、今回はAndroidでマーカー型AR(拡張現実感)を実現する手法を改めて紹介します。ARについては id:akio0911 辺りを見てください。今修論で、初期のARが割とバーチャルリアリティに敵意むき出しだった事情とかを書いていますが、その辺は置いておきます。 マーカー型ARの代表格がARToolKitで、一時期とても流行っていました。大体流行した時期は、3-4年くらい前ですね。電脳コイルというARを基調にしたアニメをやっていて、あと初音ミクが登場していよいよ二次元が実現したということで、本職の方々やそうでない方がARToolKitを使ってニコ動に初音ミクを現実に召喚する動画を上げまくっていました。そのうちまともに3

ARUint8 *dataPtr; IplImage *image_opencv, *gray_opencv; //ARToolkit→OpenCV image_opencv = cvCreateImage(cvSize(arImXsize, arImYsize), IPL_DEPTH_8U, 4); memcpy(image_opencv->imageData, dataPtr, image_opencv->imageSize); //何らかの処理 gray_opencv = cvCreateImage(cvSize(arImXsize, arImYsize), IPL_DEPTH_8U, 1); cvCvtColor(image_opencv, gray_opencv, CV_BGRA2GRAY); cvAdaptiveThreshold(gray_opencv, gray_openc

Linuxで組み込み機器を開発するテクニックを実践で会得しましょう。AndroidとBeagleBoardを使い、「拡張現実感」（AR）デバイスを作る手順を紹介します。

1ヵ月ぐらい前になりますが、クアルコムからAR(拡張現実)向けSDK「QCAR」が発表されました。 AndroidでのARを支援するための仕組みです。週末に時間を作って試してみました。 百聞は一見にしかず。 紙ではなくてディスプレイでPDFを映しているあたりが残念ですが、試してみました。 (プリンタがなかったのです) 技術的にも興味深かったですが、実際に動かしてみると とても楽しいです(ポットが見えているだけでも面白いです) きちんと追従して見え方も変わります。 Androidのなかで画像処理、位置推定までやっているようです。 GPSベースのARと上手く補完関係を築ければ…、と今後が楽しみな技術です インストール方法をまとめました QCARのためにAndroid SDK入れる人は少ないかもしれないですが、一応 SDKとNDKのインストール手順も紹介しておきます。 Android SDKのイ

男性であればだれでも、戦闘機やミサイルに憧れた時期が子供の頃にあったはずです。 この『AR Missile 』は、「ミサイルを撃ってみたい」という夢を叶えてくれる、iPhone向けのAR(拡張現実)アプリです。 カメラを通して画面に映し出される現実の世界でターゲットを定め、画面をタップして標的をロックオン。 3Dグラフィクスで描かれるリアルなミサイルを、簡単に撃ち込むことができます。 使い方は、人や乗り物といった標的となるものにカメラを向け、タップしてミサイルを発射するだけ、といたってシンプルです。 しかしながら、タップすると照準がロックされ、ターゲットを自動で追尾する「ロックオン」と呼ばれる本格的な機能を搭載。 実際にプレイしている動画がこちら。 ARにつきものの「マーカー」を使わず、リアルタイムに画像解析を行うことで、動いているものに対しても高い精度でミサイルを命中させることができます

@nakamura001さんところで知ったネタですが、"Photorealistic rendering for Augmented reality (2010) "という動画がちょっとおもしろいですね。 http://d.hatena.ne.jp/nakamura001/20101110/1289404331 ピンポン球使って前処理で周囲の照明環境の取得をしてCGモデルのライティングに利用してるようですね。 今までCGのレンダリングというとコンピューター内で完全に計算された空間だけでやればよかったですが、今後は現実空間と混ぜながらやるって話しがどんどん出てきて、コンピューター内だけの計算された空間だけじゃないネタってどんどんくるよなぁ。映画なんかで使われる合成とかマッチムーブとかの知識はリアルタイムの人も取り入れていかないとなぁ。 そういや、ARといえば、任天堂3DSがARを使えるように

AndroidをBeableBoardに移植 AndroidをBeagleBoardに実装するために、Androidのソースコードを取得してBeagleBoard用にコンパイルします。パソコンでは通常、利用する機種上でコンパイルすれば実行コードが作られますが、組み込み分野ではターゲットとなる機種上で開発できない場合がほとんどです。そのため、別の機器でコンパイルする「クロスコンパイル」を実施します。 具体的には、OESF（Open Embedded Software Foundation、文末の囲み記事「組み込み向けAndroidを普及させるOESF」参照）が一般公開している組み込み向けAndroidディストリビューションである「Embedded Master」をベースに、バージョン管理システムの「git」（ギット）を使ってソースコードを取得。LinuxディストリビューションのUbuntu上

VPVP wikiは、サイト「VPVP」で公開されている 「VOCALOIDモデル付属の 3DCG動画制作ツール『MikuMikuDance』（通称 MMD）」 に関するまとめwiki（情報蓄積サイト）です。 基本的にニコニコ動画としたらば掲示板 MikuMikuDance板各該当スレからの情報です。 このサイトをご利用される際は、まずはじめに「VPVP wikiに関して」をお読みください。 お知らせ（総合） ニコニコのサービス停止による当サイトへの影響について（2024/06/17） いつもVPVP wikiをご利用いただきありがとうございます。 株式会社ドワンゴ様の運営する「ニコニコ」のサービスが、2024/06/08早朝からの大規模サイバー攻撃により利用できない状況になっていることに伴い、当サイトの各記事にある「ニコニコ動画」・「ニコニコ静画」・「ニコニ立体」等のニコニコ関連ページへ

家電製品や通信機器をはじめ、組み込み機器へのLinux搭載はますます広まっています。Linuxで組み込み機器を開発するには、機器だけでなく、Linuxのライブラリやデバイス、Linux上のアプリケーション開発などの知識や技術が必要です。本連載では、組み込み機器を実際に開発する作業を通して、これらの知識や技術を詳しく紹介します。 デバイスの開発には、組み込みLinuxで今注目の「Android」を使います。Androidは米Google社とOpen Handset Allianceが開発しているモバイル機器向けLinuxです。パソコンやカーナビなど各種機器への搭載も期待されています。本連載では、Androidのアプリケーション開発の知識や技術も解説していきます。 開発する機器は、「拡張現実感」（Augmented Reality：AR）を実現するデバイスです。拡張現実感とは、現実の状況にコン