• OpenGL ES 2.0 情報のまとめページ
• ステレオ 3D 立体視の開発環境まとめ
• 当 blog より multitouch 関連の情報
• Android/iOS 端末一覧
• Android 端末の CPU/GPU 調査結果

↓実際に開発に使用している、または所有しており自分で触ってみたもの。

• Mebius PC-NJ70A はタッチパッドに内蔵されたサブ画面のみマルチタッチ可能です。SDK が無いのでマルチタッチを活用したアプリケーションを作ることはできません。サンプリングも極めて低速でお勧めしません。

↓店頭で実際に触って確認したもの。ペイントがわかりやすい。

↓情報提供していただいた物。

↓その他マルチタッチ可能と判明しているものや発売予定のものなど。

• 据え置き(一体型)でモニタサイズが大きく 20inch 以上のものは、ほとんど全部が赤外線の光学式で 2点タッチのもの。
• 安価なノート PC 向けは 抵抗膜式(resistive) が多いが、Lenovo IdeaPad S10-3t は静電容量式(capacitive)。
• マルチタッチとはいえ一般向けは 2点までのものが多く、3点以上取れるものはかなり少ない。

• EeePC 901-X のようにタッチパッドのみマルチタッチ対応のものも多い。(capacitive) これらのマルチタッチはドライバと専用ユーティリティのみで Windows 7 touch API には非対応。

参考にしたページ

• 基本的に 2点タッチ以上はマルチタッチ扱いです。

• multi touch の情報を受け取った場合処理の仕方は全体をひとつの sequence とみなすか、タッチ点毎に独立して判定するかの二通りあります。
  • 一人が複数点タッチを同時に行なったとみなすか複数人が各々好き勝手にタッチしたかの違いで、扱い方はアプリの実装依存となります。
  • 複数人が同時にマルチタッチした場合の判別は簡単にはできません。操作対象の場所や対象オブジェクトで区別することになるでしょう。

• どの OS も同時に最大何点識別できるかどうかを返すプロパティを発見出来ていません。
  • Windows 7 は、タッチパネルがあるかどうか、シングルタッチのみなのか、マルチタッチデバイスを接続しているか、の区別はできます。

• ハードウエアの限界以上の点を同時にタッチした時の挙動は不定となっているようです。
  • 例えば同時 2点タッチできるデバイスに 3箇所触ったとき。

複数のセンサーからの入力を受け取れる。

WM_TOUCH と WM_GESTURE の 2種類あり

• WM_TOUCH : 低レベル API、直接複数ポイントの座標を参照できる。ID 分離は行われている。1 point 目の touch はマウスと同じ扱いになる。
• WM_GESTURE : フリックやズームなどのよく使う動作を簡単にイベントとして受け取ることができる。WM_TOUCH の上位機能。

WM_GESTURE の方が一見簡単に使えそうですが、判定はモーション完了後に行われるためワンテンポ遅れてあまり直感的ではありません。 最初にタッチしたオブジェクトで判定を切り替えたい場合も多く、意外にできないことも多くあります。 タッチを使った直接操作というより、ジェスチャーを使ったショートカットに近い。 実際に使うなら WM_TOUCH の方が良いと思います。

WM_TOUCH は WM_GESTURE より低レベルとはいえ、タッチ点がシステムで分離されているので扱いは容易です。 ID 分けされた各タッチ点毎に TOUCHEVENTF_MOVE/DOWN/UP で区別可能です。 識別 ID TOUCHINPUT::dwID は必ずしも 0 から始まるわけではないので要注意。

座標は整数値ですがサブピクセル情報を含んでおり TOUCH_COORD_TO_PIXEL() マクロで変換します。( 1/100 倍)

最初のタッチ点は特別に TOUCHEVENTF_PRIMARY としてマークされています。Primary はマウス扱いになります。 Primary 点を離した後は、いったんすべての接地点が無くなるまで Primary 扱いにはなりません。 例えば下記の 4 は Primary にならないので、他の点をタッチしたまま Primary だけダブルタップする場合注意が必要です。 このフラグはあてにしない方が良いかもしれません。

1. pointA DOWN (Primary)
2. pointB DOWN
3. pointA UP (Primary)
4. すぐ同じ場所に pointA DOWN

連続する MOVE message は多くの TOUCHEVENTF_NOCOALESCE で送られてきますが、このフラグが無いメッセージのみサンプルすることで、 ある程度取りまとめて判定することが可能です。 RegisterTouchWindow() 時に TWF_FINETOUCH を指定するとすべて NOCOALESCE になります。

cxContact/cyContact は設置面積 (pixel 数) を表します。dwMask に TOUCHINPUTMASKF_CONTACTAREA がある場合のみ有効です。 光学式でも値が取れることを確認。

デフォルトは WM_GESTURE なので、あらかじめ RegisterTouchWindow( hWnd, 0 ) を実行しておく必要があります。

TOUCHEVENTF_PRIMARY のタッチは WM_LBUTTONDOWN/WM_LBUTTONUP/WM_MOUSEMOVE 等のマウスイベントも発生させます。 アプリケーションをマウスとマルチタッチの両操作対応にすると、マルチタッチ中なのに同時にマウス側の処理も多重に行われる可能性があります。 MSDN Troubleshooting Applications によると下記の方法で判別できるそうです。

#define MOUSEEVENTF_FROMTOUCH 0xFF515700
if( (GetMessageExtraInfo() & MOUSEEVENTF_FROMTOUCH) == MOUSEEVENTF_FROMTOUCH ){ 
	// Click was generated by wisptis / Windows Touch
}else{ 
	// Click was generated by the mouse.
}

Windows 7 のデフォルト設定では、最初のタッチ時に即座に TOUCHEVENTF_DOWN が発生しません。 下記の何らかの動作を行って初めて DOWN と UP (または MOVE) が同時に発生します。

• 指を離したとき
• 位置をずらしたとき
• そのまま押し続けて円の描画が終わってから

Windows 7 で プレス アンド ホールド (長押し) 操作が有効になっていることが原因です。 タッチしたタイミングが分からずディレイが発生するのでゲームなどに向きません。 下記の設定で直るようです。

1. コントロールパネルから「ペンとタッチ」を開く
2. 「タッチ」のタブを開く
3. “プレスアンドホールド” を選択してその下の [設定] を押す。
4. 「プレス アンド ホールド を右クリックとして認識する」のチェックを外す
5. [OK] → [OK]

これで最初のタッチですぐに TOUCHEVENTF_DOWN が発生するようになります。 ただし通常のウィンドウ操作でも長押し(プレス アンド ホールド)で右ボタンメニューが出なくなるので注が必要です。

• MSDN Getting Started with Windows Touch Messages
• MSDN Detecting and Tracking Multiple Touch Points
• MSDN Windows Touch Gestures
• MSDN Troubleshooting Applications

Android OS 2.0 (API Level 5) で導入されています。

タッチ点の ID 分離をシステムが行ってくれるため扱いは容易です。 ただし pointer Index 値は 0 からの連番となり絶対 ID ではないので要注意。 2 点タッチ中に Primary が ACTION_UP すると Secondary が index 0 に繰り上げられます。

index の代わりに固有 ID (pointerId) を使った識別ができます。この場合 index と違い繰上問題が起こりません。詳細は後述。

タッチ操作の精度を上げるには大量のサンプリング点が必要ですが、 イベントの発生頻度を抑える工夫が行われているようです。 Windows7 でいえばおそらく TOUCHEVENTF_NOCOALESCE がついていない (COALESCE された) メッセージに相当し、その間のポイントは History として参照できます。

ACTION_DOWN, ACTION_UP でも同時にタッチされている点がすべて報告されるので、実際に変化のあったタッチ点を得るには下記の演算で求まる index 値が必要です。

 (event.getAction() & event.ACTION_POINTER_ID_MASK) >> event.ACTION_POINTER_ID_SHIFT 

API Level 8 (Android OS 2.2 Froyo) からは上の計算の代わりに event.getActionIndex() が使えるようになります。

座標値は Windows7 と違い浮動小数 float が用いられています。

マルチタッチ時に、タッチされている点への情報アクセスに使う index。0 ～ event.getPointerCount()-1。 event.getPointerCount() は同時にタッチされている点の数。

なお ACTION_UP 時は UP された座標の通知のために 2点送られて来るが、厳密にはこのタイミングでは触っているのは 1点になっている。

History Table の index 番号。 0 ～ event.getHistorySize()-1 。 ACTION_MOVE 時に軌跡を補間する。 マルチタッチの場合は、各点毎に HistorySize 分の値が入っている。

ACTION_MOVE 以外では使わない。このとき event.getHistorySize() は常に 0 となる。

タッチ点を識別する固有 ID 値。 pointerIndex と違って繰上が行われず、固有値として用いることができる。 pointerIndex と相互変換して使う。

HTC Desire のパネルは 10msec サンプリング。 およそ 100Hz。 Move Event は約 30msec 毎に取りまとめられている。 移動値が少ないと頻度が下がるので、時間ではなく移動量かもしれません。

• Android : android.view.MotionEvent

タッチポイント分、複数の UITouch がそのまま通知されます。 マルチタッチ時の通知は変化があったポイント座標のみで必要最小限です。 Android のように同時にタッチされている点が全部通知されることがありません。

個々のタッチ点の固有の追跡は行われていないようで、タッチ点を分離しての ID の割り振り処理はアプリケーションに委ねられています。 その分シンプルで非常にわかりやすい構造となっています。

iOS 3.2 からは上位 API として UIGesureRecognizer が追加されたそうです。 ( [iPhone] iPhone OS 3.2(iPad用OS)の特徴)

android 同様浮動小数値が用いられています。 タッチ点の ID 分離はない代わりに、タップ回数の判定はシステムで行ってくれます。 このあたり他の OS と違って特徴的です。

• Windows 7
  • システムでタッチ点の ID 分離が行われている。
  • 分離した各点がそれぞれ独立して UP/DOWN/MOVE の状態が送られてくる。ただし互換性のために Mouse 相当となる Primary 点のみシーケンス判定あり。
  • 一度のイベントで、タッチされているすべての点の情報が更新される。同時に 2点触っているなら必ず 2点分の情報がくる。
  • Move Event の融合を行うかどうかは選択できる。
  • マウス操作や Tablet PC など古い single touch 時代のアプリと互換性を保つ必要があるため、タッチ操作がマウスとしても通知されるなど少々複雑。
• Android
  • 一度のイベント通知に必要な情報がほとんど全部含まれている。例えば現在タッチされている 2点間の距離などは、保持データが無くても一度のイベント情報だけで求めることができる。
  • システムでタッチ点を分離して ID 割付が行われている。
  • Move Event は融合されており、その間の詳細な座標の遷移は History 情報に含まれる。より細かい精度での Event 通知が可能かどうかは不明。
  • 後発ながらもともと single touch だった API を拡張しているため少々わかりにくい部分もある。multi touch できない端末も多く、対応していても3点以上判別可能とは限らない。互換性を考えて使い分ける必要がある。
  • マルチタップは自分で判断する必要あり。イベント発生時のタイムスタンプが含まれているのでそれを元にする。
• iOS (iPhoneOS)
  • 必要最小限の情報(差分)だけが送られてくる。例えば同時に 2点触っていても、移動したのが片方だけなら情報は 1点分だけ送られてくる。よってタッチ判定点が増えても無駄が無い。
  • その代わり以前送られてきた点の情報を自分で保持しておく必要がある。
  • 送られてきた座標が前回のどのタッチ点に相当するのか、ID の割り当てを自分で行う必要がある。
  • 最初から multi touch であり、ハードウエアも統一されているので制限なく使える。同時タッチ点が最低でも 5点あるので安心。
  • 唯一マルチタップ判定がある。

• Apple Developer イベント処理

           PRIMARY
WM_TOUCH:  id3 (x,y) DOWN
WM_TOUCH:  id3 (x,y) MOVE
WM_TOUCH:  id3 (x,y) MOVE   id4 (x,y) DOWN
WM_TOUCH:  id3 (x,y) MOVE   id4 (x,y) MOVE
WM_TOUCH:  id3 (x,y) MOVE   id4 (x,y) MOVE   id5 (x,y) DOWN
WM_TOUCH:  id3 (x,y) UP     id4 (x,y) MOVE   id5 (x,y) MOVE
WM_TOUCH:                   id4 (x,y) MOVE   id5 (x,y) MOVE
WM_TOUCH:                   id4 (x,y) MOVE   id5 (x,y) UP
WM_TOUCH:                   id4 (x,y) UP

• なぜか dwID が 3から始まる。
• 複数の UP/DOWN を同時に受け取れる構造だが、イベントは同時に発生しない。必ず個別に発生する。(ドライバの仕様かもしれない)

             pointerIndex/pointerId (x,y)
ACTION_DOWN:  0/id0 (x,y)
ACTION_MOVE:  0/id0 (x,y)
ACTION_MOVE:  0/id0 (x,y)
ACTION_DOWN:  0/id0 (x,y)   1/id1 (x,y)                 actionPointerId=1
ACTION_MOVE:  0/id0 (x,y)   1/id1 (x,y)
ACTION_DOWN:  0/id0 (x,y)   1/id1 (x,y)   2/id2 (x,y)   actionPointerId=2
ACTION_MOVE:  0/id0 (x,y)   1/id1 (x,y)   2/id2 (x,y)
ACTION_UP:    0/id0 (x,y)   1/id1 (x,y)   2/id2 (x,y)   actionPointerId=0
ACTION_MOVE:                0/id1 (x,y)   1/id2 (x,y)
ACTION_MOVE:                0/id1 (x,y)   1/id2 (x,y)
ACTION_UP:                  0/id1 (x,y)   1/id2 (x,y)   actionPointerId=1
ACTION_UP:                  0/id1 (x,y)                 actionPointerId=0

• DOWN/UP 発生時、実際に変化したタッチ場所を得るには actionPointerId 番目の情報を参照する。
• イベントの構造上、複数の点の UP/DOWN を同時に受け取ることが出来ない。

touchesBegan:  (x,y)
touchesMoved:  (x,y)
touchesMoved:  (x,y)
touchesBegan:               (x,y)
touchesMoved:  (x,y)
touchesMoved:  (x,y)        (x,y)
touchesBegan:                             (x,y)
touchesMoved:  (x,y)        (x,y)         (x,y)
touchesMoved:  (x,y)        (x,y)         (x,y)
touchesEnded:  (x,y)
touchesMoved:               (x,y)         (x,y)
touchesMoved:                             (x,y)
touchesEnded:               (x,y)         (x,y)

• 複数の点を同時にタッチ＆離したときは、1つの Began/Ended イベントで複数点の情報が送られてくる。

• 抵抗膜式 (resistive)
  • 軽く触れただけでは反応せずさらに押し込む必要がある。物理的なスイッチに近い。指が触れただけで反応しないため、尖ったペンや爪での操作に向いている。精度は高いが画面の上にセンサーのレイヤがあるため見栄えに影響があり。表面の強度も劣る。
• 静電容量式 (capacitive)
  • 指で触れるだけで反応するが、座標の精度が低くペンに反応しない。ノートPC のタッチパッドなど、指での操作に向いており広く使われている。接地面積である程度の押し付け状態を取ることができる。
• 光学式 (optical)
  • 大きなモニタに対応可能。横方向への光学遮断で判定する。そのため光さえ遮れば、ペン、手、その他何でも軽く触れるだけで反応する。衣服やゴミ、虫等も認識する。垂直方向の圧力(筆圧)を取ることが出来ないが、その代わりおおまかな接地面積を取れる。
• 電磁誘導 active デジタイザ (electromagnetic digitizer)
  • 専用のペンを用いる方法で精度が高い。専用のペン以外は認識しないので手をついても大丈夫。指操作できるがペン認識しない静電誘導方式とはちょうど欠点を補間しあう関係となるため、マルチタッチ UI 向けは両者を組み合わせて使うことが多い。

• マルチタッチでタッチ点の移動を厳密に追跡することは意外に難しい。高速なサンプリングが必要。
• 指タッチは点ではなく面積なので、マルチタッチの位置が近いと融合してしまうことがある。光学式は近い点を1つとみなしてしまう。分離精度があまり高くない。静電容量式も制度が悪いものは、X-Y それぞれで近い点を融合してしまう。

• http://www.nextwindow.com/optical/index-jp.html NextWindow optical imaging