顔画像処理技術の研究動向と応用事例

情報処理に2ヶ月連続で顔画像処理技術のサーベイが掲載されている*1,*2。サーベイ著者らの研究業績紹介にやや偏っている印象があるが、興味深く、有用なサーベイとなっているのでポイントだけ整理してまとめておく。なお、最近話題になったモノを中心に元論文にはない複数の項目を追加している。

顔画像処理技術

• 顔検出
  • 画像の中から漏れなく誤りなくリアルタイムで顔の位置を検出する技術。動画処理時にはトラッキングも必要。
  • ViolaとJonesによるHaarタイプの特徴量を用いた高速顔検出手法*3をベースとして多くの改善手法が提案されている。
• 顔特徴点検出
  • 顔の性別、年齢を含めた属性推定や個人識別を行うために、顔の各器官の特徴点の検出を行う技術。
  • 多種特徴点抽出に対応したCootesらのActive Shape Model(ASM)やActive Appearance Model(AAM)が有名*4。拡張・改良に関する提案多数。
• 顔認識
  • 検出された顔特徴点位置に基づき、個人を特定するための個人特徴量を生成する技術。
  • 検出された特徴点間の配置の関係や特徴点付近のローカルな特徴記述子に基づくFeature-basedアプローチと、顔全体の輝度情報に基づき各特徴点を3次元的に正規化した顔パタンの抽出を行うAppearance-basedアプローチに分けられる。
  • サーベイ*5参照。
• 顔属性・表情推定技術
  • 顔から性別、年齢などの属性を推定する技術、顔の向きや視線を測定する技術、顔の表情を推定する技術。

デジタル機器における応用事例

• デジタルカメラ、プリンタへの応用
  • 顔オートフォーカス・オートアイリス
    • 国内初は2005年ニコンのCOOLPIX 5900など。Visionics社のFaceIt技術の応用。ソフトウェア処理。
    • 2006年頃よりハードウェア化。現在はほぼ全てのカメラメーカーが顔検出機能をもつ製品を発売。
  • 笑顔シャッター
    • 2005年10月にキヤノンがデモ。
    • 2007年9月にソニーより「スマイルシャッター」として商品化。同時期にオムロンが笑顔の度合いを推定するリアルタイム笑顔度測定技術を発表*6。
  • 赤目除去
    • FotoNation(現Tessera)が有名。多くのカメラメーカーにライセンスされている。
  • 美肌補正
    • 2003年に発売されたキヤノンPIXUSの添付ソフトウェアEasy-PhotoPrint Plusに顔部分の肌を検出し、綺麗に補正する美肌補正機能が搭載された。
    • 頬の部分、目や口の輪郭部分を認識、各部分に最適なスムージングを行うことで、細部をそのまま残し、皺、しみ、そばかす等を見えにくくなるよう処理する。
• PCへの応用
  • PCログイン、スクリーンセーバー
    • 1998年、ネクサスがVisionicsのパソコン用顔認識ソフトウェアFaceItを国内発売。1999年5月にBiometric Screensaver for VAIOとしてソニーPCG-C1Sに搭載。
    • 1999年6月、東芝Libretto ff 1100のバンドルソフト「Smartface」において、スクリーンロック解除、アプリケーション起動、顔画像へのデコレーション装飾などを実現*7。
    • 2007年、NECがLaVie Cに顔認識によるログイン機能を実現。
  • 映像インデクシング
    • 東芝Qosimoではビデオの見所を一覧表示し、出演者の顔をグラフィカルに表示する"顔deナビ"を搭載。画面上部にコンテンツ内の顔画像サムネイルが時系列に表示され、クリックすることでシーン再生可能。メディア処理専用チップSpursEngine SE1000による支援。
    • 米Viewdleは顔認識技術を用いてビデオファイルをリアルタイムにインデックス化するメディアプラットフォームViewdleを開発。ビデオ内容の検索を可能とする。
  • 写真整理・スライドショー
    • 2009年1月に発売されたアップルのiPhoto'09では、顔を自動的に認識し、同じ人物の写真をまとめて整理可能。顔で写真を検索することもできる。
    • ソニーPlayStation3のポートレートスライドショーやVAIO付属のMovie Story等では顔検出により効果的に人に焦点を当てたエフェクト「フェイスフレーミング」が搭載。
• 携帯電話への応用
  • 顔認証
    • 2005年2月、オムロンが携帯電話に搭載可能な顔認証技術OKAO Visionを開発*8
    • 2005年6月、ドコモP901iSが最初に顔認識による持ち主認証機能を搭載。

エンタテインメント、サービス分野での応用事例

• 携帯、ネットサービスにおける応用
  • 携帯サイトの有名人検索、占い
    • 2001年、オムロンが「おかおネット」を開始。顔認識による人相占い、メイクアドバイス、顔の似ている有名人の紹介。
    • 2007年4月、ジェイマジックが似ている有名人を鑑定する「顔ちぇき！〜誰に似てる？〜」を開始。
  • デジタル写真の化粧、変装サービス
    • プリクラにおいては顔検出や顔部品検出技術を応用した写真加工が一般的
    • 2008年1月、オンライン化粧サービスTAZZ開始。写真をアップロードし、インタラクティブに化粧ができる。
  • オンラインアルバム
    • 2008年9月、Picasaは顔認識技術により人物別に写真を自動分類する機能を実現。
    • 2010年5月、Facebookは顔画像認識APIを公開（デベロッパコミュニティ）。
  • アニメ絵
    • 2009年4月、Perlでアニメ顔を検出＆解析するImager::AnimeFaceが公開され、早速Yukkurizer - アニメキャラゆっくり化CGI実装。
  • API
    • 2010年5月、顔認識WebサービスdetectFace();公開。
• ゲームにおける顔画像処理
  • ニンテンドーDS用ソフト「大人のDS顔トレーニング」では、表情を豊かにするために顔の筋肉をバランス良く鍛えるフェイスニングが可能。
  • ニンテンドーDS用ソフト「プロジェクトビューティー」では、ユーザの顔を解析し、顔立ちにあったメイクアップの提案や、バーチャルなメイク機能を実現。
  • ニンテンドーDSiは搭載されたカメラにより、2人の顔写真の合成、似てる度の計測、任意の表情への変更などの画像効果が可能。コミュニケーションツールとして顔画像処理が利用されている。
  • 2009年4月、TEATIME（成人向け閲覧注意）が、USBカメラを使ってユーザーの顔を認識し、それによりゲーム内のキャラクターの挙動が変わるというシステムを採用したTech48（成人向け閲覧注意）の開発を発表。
• デジタルサイネージにおける応用
  • 米TruMedia Technologiesの視聴者測定システムiCaptureは、顔認識技術を使って視聴者の映像を分析し、視聴者数・視聴時間・性別・年齢群といったデータを測定。広告効果測定や視聴者毎の広告動的切替を実現。

車載分野での応用事例

• わき見、居眠りモニタリング
  • 豪Seeing Machine社がステレオカメラを用いた顔向き、視線推定システムDSSを開発
  • トヨタとアイシン精機がステアリングコラムに搭載したカメラによる、わき見、閉眼検知システムを開発
  • オムロンは単眼のカメラを用いた「ドライバ モニタ センサ」を開発。

セキュリティ分野での応用事例

• アクセスコントロール、入退室装置
  • 東芝入室管理システムFacePass。顔がカメラ内に入ると自動的に顔の照合を開始。
• 空港、出入国管理
  • バイオメトリクスを搭載したパスポートに関して、2003年5月ICAOが、顔認識を標準手段とし、虹彩や指紋認証を補助手段として加える方向で導入するよう勧告を発表。
  • 駅や空港などの監視や出入国管理に利用が進む。
• 自由歩行者認識
  • 重なりあいながら複数人が歩行して移動することから顔向きや照明変動が大きくなる上、時間的制約もあるため技術的な困難性がある。

関連エントリ

• 監視カメラの違法性を排除するためにはリアルタイム笑い男マスク機能の実装が不可欠である。 - A Successful Failure
• 人の顔のように見える地形 - A Successful Failure

*1:勞世蘐, 山口修: 顔画像処理技術の動向, 情報処理, Vol.50, No.4, pp.319-326 (2009).

*2:勞世蘐, 山口修: 顔画像処理の応用事例, 情報処理, Vol.50, No.5, pp.436-443 (2009).

*3:Viola, P. and Jones, M.: Rapid Object Detection using a Boosted Cascade of Simple Features, In Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Kauai, USA (2001).

*4:Edwards, G., Taylor, C. J. and Cootes, T. F.: Interpreting Face Images using Active Appearance Models, In IEEE Conf. on Automatic Face and Gesture Recognition 1998, pp.300-305, Japan, (1998).

*5:岩井儀雄, 勞世蘐, 山口修, 平山高嗣: 画像処理による顔検出と顔認識, 情報処理学会研究報告CVIM, Vol.2005, No.38, pp.343-368 (2005).

*6:小西嘉典, 木下航一, 勞世蘐, 川出雅人: リアルタイム笑顔度推定, 情報処理学会インタラクション2008予稿集 (2008).

*7:山口修, 福井和広: 顔向きや表情の変化にロバストな顔認識システム"Smartface", 電子情報真学会論文誌, D-II, Vol.J84-D-II, No.6, pp.1045-1052 (2001).

*8:井尻善久: 組み込み顔認識技術, 画像ラボ Vol.15, No.11, pp.50-54 (2005).