FLASH+α

この前赤色検知でやってみたけどイマイチだったので普通に動体検知をやってみました。
内容としては映像を入力し、色を取得して●に変換。カメラで動体検知して、動いた場所の●を反応させます。

とりあえずは動きいたけど、かなり頭の悪いやり方になってるはず。
●が２０ｘ１５になってるのも単にCPU負荷的にこのくらいじゃないとダメだっただけで
ほんとはもっと細かくしてみたい。ちゃんとしたやり方でやれば軽くなるはず。。

今回は下記のような考え方でやってます。

●動体検知
FLASHでやる時と同じ考え方です。
１つ前のコマと比べて色が違ってる部分が動いた部分として認識します。

１）カメラの取得
jit.dx.grab 20 15

Macだとjit.qt.grabです。
20x15のサイズで取得します。
20x15なのは処理軽減のため。。
最初から20x15にするのと、最初は320x240で後から20x15にするのとでどの程度違いがあるかは分からないけど、これでも一応大丈夫でした。

２）カメラ映像の調整
jit.brcosa

映像の明るさ、コントラストを調整し、検知しやすくします。
環境によって変わると思うので数値をいじれるようにしておきます。

３）滑らかに変化させる
jit.slide @slide_up 4 @slide_down 8

暗い場所だとカメラのフレームレートがかなり落ちるので、反応が悪くなります。
元映像をjit.slideで滑らかに変化させることでごまかそうという考えです。

４）反転
jit.dimmap @map 0 1 @invert 1 0

鏡っぽくしたいので映像を反転します。

５）Matrixへ
jit.matrix 7 float32 20 15

最終的なMatrixは色（ARGB）、座標（X,Y）、大きさ（scale）の７つの要素を持たせたいので
plane数が７のMatrixに入れ込みます。
このへんがまず効率悪そう。

６）現在のコマを取っておく
jit.matrix oldmt 4 float32 20 15

次のフレームで１つ前のコマとの違いを調べるために今のコマを取っておきます。

７）１つ前のコマとの違いを調べる
jit.op @op absdiff @val 0.

「absdiff」で違いを調べます。
FLASHでいうブレンドモードのdifferenceみたいなものです。
右のインレットには「jit.matrix oldmt 4 float32 20 15」を入力します。
これは「６」でやった１つ前のコマになります。
このへんは頭使いました。処理の順番が分かりにくい。
これで合ってるのかも分からないけど動いてるからOK。

８）値の調整
jit.op @op * @val 5.

色の違いを使って●のサイズを決めるので、そのへんの調整ができるようにしときます。

９）Matrixへ
jit.matrix 7 float32 20 15

これいらないんじゃないかな。。

１０）Matrixの値の変更
jit.expr @expr 0. 0. 0. 0. (cell[0]/6-2.6) -(cell[1]/6-1.2) (in[0].p[1]+in[0].p[2]+in[0].p[3])*0.1+0.05

左から、アルファ、赤、緑、青、X、Y、サイズとなるようにMatrixの中身を変更します。
アルファ、赤、緑、青は別で処理するのでここでは０にしておきます。
「cell[0]」はセルのX値、「cell[1]」がY値になります。表示位置を調整するために少し値をいじります。
「in[0].p[1]」、「in[0].p[2]」、「in[0].p[3]」はそれぞれＲＧＢ値。値が大きいほどたくさん動いた部分になります。

１１）Matrixへ
jit.matrix 7 float32 20 15

これもいらないんじゃないかな。。

●映像ファイルの入力
１）映像ファイルの読み込み
jit.qt.movie

「read」メッセージを送ることで映像ファイルを読み込みます。
ほんとは外部のDVD映像とかを読み込みたい。

２）滑らかに変化
jit.slide @slide_up 4 @slide_down 8

滑らかに変わったほうがいい感じだったので。

３）plane7のMatrixへ
jit.matrix 7 float32 20 15

動体検知したMatrixと合体させるためにplane数７のMatrixへ。

４）空いてる部分の数値を初期化
jit.op @op * pass pass pass pass 0. 0. 0.

「３」のままだと後ろの３つのplaneは前のplaneの値が繰り返し入ってしまうのでここで０に初期化します。

●Matrixの合成、表示
１）Matrixの合成
jit.op @op +

映像のMatrixと動体検知のMatrixを合体させます。
映像のはアルファ、赤、緑、青、０、０、０になってます。
動体検知のは０、０、０、０、X、Y、サイズになってます。
それぞれを足します。

２）Matrixの中身を１セルずつリストにしする
jit.iter

Matrixの各セルの値の全plane分をリストで出力します。
アルファ、赤、緑、青、X、Y、サイズのリストがセル数分出力されていきます。

３）黒いとこは表示しない
if $f1+$f2+$f3 > 0. then bang

黒いとこは見た目的にあんまり分からないので、処理の軽減のためにも表示させないようにします。
黒じゃない時だけbangを出力します。

４）●の描画
jit.gl.gridshape jit17 @color 0.2 0.9 0.6 0.1 @scale 0.08 0.08 0.08 @shape circle @depth_enable 1 @smooth_shading @automatic 0 @blend_enable 1 @blend_mode 3 1

「２」の出力結果を使ってjit.gl.gridshapeに色、座標、サイズのメッセージを送り、●を描画します。

こんな効率の悪そうな内容になってます。
ほんと誰かに教えてもらいたい。。