インタビュー
スマホカメラ技術で「ソニー×クアルコム」協力発表から1年、キーパーソンに聞くその成果とは
2022年11月21日 06:00
約1年前の2021年12月、クアルコムとソニーがカメラ分野での協業を発表した。両社は、サンディエゴのクアルコム本社に共同ラボを開設し、この1年の成果が、11月15日に開催された「Snapdragon Summit」のなかで発表された。
会場では、ソニーセミコンダクターソリューションズのキーパーソンである、御厨道樹モバイルシステム事業部副事業部長が日本の報道陣によるグループインタビューに急遽、応じた。なお、インタビューは、発表当日とその翌日に実施された。本稿では、その内容をジャンルごとに分類してご紹介しよう。
新技術をイメージセンサーに
15日（現地時間）、クアルコムがスマートフォン向けの最新チップセット「Snapdragon 8 Gen 2」を発表した。Snapdragonシリーズでも、もっとも高性能な8シリーズの最新製品だ。
ユーザーがスマートフォンで、もっとも利用する機能のひとつは、「カメラ」だ。そこで、クアルコムでは新たなAI処理を導入し、その機能を実行するハードウェア（ニューラルプロセッサー）を強化した。
そして、もうひとつ、発表されたのが、カメラの中枢パーツである「イメージセンサー」での取り組みだ。それは2億画素センサーを提供するサムスンとの取り組みで、サムスンのイメージセンサー「ISO CELL HP 3」が、「Snapdragon 8 Gen 2」に最適化される。
Snapdragon 8 Gen 2では、「HP 3」の2億画素モード、5000万画素モード、暗い場所に適した1250万画素モードでの撮影に対応。写真だけではなく、動画撮影でも、標準のHDRモードで、8Kサイズの動画を記録できる。
サムスンとのコラボレーションに続いて発表されたのが、ソニーとのプロジェクトだ。これは、1年前、共同ラボを開設した取り組みの成果として紹介されたもの。「Snapdragon 8 Gen 2」に向けて、ソニーセミコンダクターソリューションズのイメージセンサーが最適化される。
そのソニーセミコンダクターソリューションズのイメージセンサーに盛り込まれる新機能が「QDOL4（Quad Digital OverLap 4、キュードルフォー）」と名付けられた技術。動画の各フレームに4種類の露出を組み合わせ、HDRの効果を高めてくれる。
イメージセンサー「IMX 800」と、1インチの「IMX 989」が、その最適化され、QDOL 4に対応するセンサーになる。
ジョイントラボの成果
――Snapdragon 8 Gen 2の発表では、サムスンのイメージセンサーとあわせて紹介されました。
御厨氏
たとえば、iPhoneは垂直統合で、信号処理もOSも含めて最適化しやすいのでしょう。
一方、Android陣営は、（イメージセンサーやOSなどを手掛ける企業が異なる）水平分業です。そしてカメラシステムが複雑になっています。アプリケーションプロセッサーとイメージセンサーがつながってデータをやり取りすることが増えてきたので、サムスンさんと含めて、最適化しようということになります。
サムスンさんの戦略はわかりませんが、ソニー側としては深いシステムレベルでの最適化を目指して取り組んでいます。
――スマートフォンメーカーからすると、開発しやすくなるということですよね。
御厨氏
それは間違いないですね。
――7シリーズや6シリーズのSnapdragonではどうなりますか。
永田氏（ソニーセミコンダクターソリューションズアメリカ、ジョイントラボにエンジニアとして参画）
そこはチップセット側の設計次第ですね。（Snapdragon 8 Gen 2と同等の設計であれば）
――Snapdragonとソニーのセンサーが一体になって、というかたちでしょうか。
御厨氏
そこまで、クアルコムとの1対1との関係を強化するというわけではありません。エクスクルーシブ（独占）な関係ではないです。（スマホ向けチップセットメーカーとしては）メディアテックさんもいます。基本的には等距離外交です。
（ソニーのイメージセンサーのシェアが高く）これだけメジャーなポジションですので、どこかの企業と排他的な関係を構築することは、業界にとっても良くないと思っています。
ただ、たとえば「ソニーが新しいHDRを提案した」というときに、アプリケーションプロセッサーに適用できない、といったことはなくなります。そういう意味で、メーカーさんにとっては導入のハードルが下がるでしょう。
――クアルコムとのジョイントラボではどういった取り組みをしているのでしょうか。
御厨氏
より良いHDRを実現させようとすると、イメージセンサーが担えることと、アプリケーションプロセッサーでできる、あるいは、やったほうがいいことをうまく組み合わせていかないといけないんです。
ソニー側だけで閉じていてもダメですし、Snapdragon側としても「センサーがこういう振る舞いをしてくれたほうがありがたい」といったお話があります。ですので、システムレベルでの最適化を議論してきました。
また、現場のエンジニアも手掛けることの動作確認をしています。
――クアルコムとのジョイントラボの成果として、発注増につながるのでしょうか。
御厨氏
ジョイントラボは2021年7月に立ち上がりました。発注量についてはこれからですね。新しい機能を早くお客さまへ届けられることが大事なポイントかなと思います。
「QDOL4」はどんな技術？
――1年経って成果が出始めてきたと。
御厨氏
「QDOL4」はそのひとつです。
マルチカメラもあります。カメラの数が主題ではなく、メイン以外のカメラを低電力で動かして、自動露出などのデータを得られるようにしていくと。
で、ズームして写真を撮ろうとして、カメラが切り替わる場面で、カメラの動作がおかしくならないようにするわけです。
カメラはそれなりに電力を消費します。複数のカメラをすべて動かしていく一方で、どう低電力にするか。その仕組みに対応するイメージセンサーをソニー側が作る、システムとして整合的に動かす部分をSnapdragonがやることになります。
Snapdragonだけで動作するものではありません。また、プライオリティをつけているわけでもありません。
――低電力はどう実現したのでしょうか。
永田氏
単純にカメラを起動したままですと、電力は消費されます。フレームレートを落とした上で、画像を出さない間の電力を下げることになります。
実際に必要なのは、フレームのタイミング、露光時間だけです。フレームとフレームの間は休み、電力を削減しています。
――そのタイミングは何をフラグにしているのでしょうか。
永田氏
そこをまさに、クアルコムと協業して取り組んだ部分です。別のセンサーを活用して、カメラを切り替えるときにどういう信号を出したら使いやすいのか、といった議論をしてきました。
御厨氏
今後の取り組みとして、センサー側の新しい設計が必要になりますが、動いていないカメラがより低電力になるような、ディープスリープモードでも実際に記録している、というものを目指します。
――Snapdragon側の電力管理と密接に連動する必要がありそうです。
御厨氏
そうですね。
――ウェイクアップの時間がかからないように、と。
御厨氏
はい、その時間がかからない、でも電力ができるだけ下がるように、という細かいセンサーの動作の仕様をしっかり検討しようとしています。
――QDOL4という技術は、CMOSイメージセンサー上で画像を処理した上で、Snapdragonにデータを渡す、という流れでしょうか。
御厨氏
はい、そうです。ソニーのセンサーは積層構造で、技術自体は、従来の動態検出補正という処理をしています。
永田氏（ソニーセミコンダクターソリューションズアメリカ、ジョイントラボにエンジニアとして参画）
今回、QDOL4の新しい技術は、センサー内での合成と、アプリケーションプロセッサー側の合成を組み合わせて、4つの露光を実現するというものです。
――AI処理はSoC（チップセット）側に任せることになりますか？
御厨氏
今でも、イメージセンサー側でもある程度、処理しています。カラーフィルターのリモザイクをスマートフォン内のイメージセンサーで処理する、といったものです。
イメージセンサーのサイズが大きれば、（AI処理用の）回路規模を大きくできます。イメージセンサーのサイズが小さいものは、コスト面を追求するといったかたちがありえます。すべてのイメージセンサーでAI処理、というわけではありません。
名前からわかる仕組み
――「QDOL4」という名称ですが、Quad（4つを意味する英単語）に4が付いてますね。
御厨氏
そう思われますよね（笑）。正しくは、「Quad」がクワッドベイヤーコーディング（R/赤が4つ、といったかたちで隣接する4画素が同じ色のカラーフィルターになるイメージセンサーの配列）を意味するのです。
DOLの「デジタルオーバーラップ」は、「1つ目のフレームと2つ目のフレームが重なっていいよ」という方式のことなんです。最後の「4」は4露光のことです。
クワッドベイヤーコーディング配列で、空間的に長露光を実現すると。時間軸上で1枚、そして2枚と撮影し、アプリケーションプロセッサーで合成するわけです。
――同じレンズで、時間軸の異なる4枚を撮影すると。
御厨氏
そうです。
――ソニー独自技術ですか？
永田氏
今のところ、そうですね。
――イメージセンサー内ですべて担うのは処理能力として難しいのでしょうか。
永田氏
はい、センサー内で、複数の「違う時間軸で撮られたもの」を合成しようと思うと、1枚分をメモリーに溜めておいて合成する必要があります。そうした処理はアプリケーションプロセッサー側が得意ですので、最適化したということになります。
1インチセンサーについて
――11月に入って、イメージセンサーのブランド「LYTIA（ライティア）」を発表したとのことですが、これまでソニーのイメージセンサーと言えば「IMX◯◯」といった型番でした。今後は、LYTIAブランドになるということでしょうか。たとえば1インチセンサーは「LYTIA 1」になるような。
御厨氏
はい、まだ詳細はお伝えできませんが、そのようなイメージです。
――来年、1インチセンサーを搭載する機種は増えそうでしょうか。
御厨氏
採用は増えていますが、どこまでボリュームが出るか、市場で存在感が出るかはわからないところがあります。
どうしてもレンズが長くなりますので（スマホのカメラ部が厚くなりやすく）、どこまで受け入れられるか、という点はもう少し見極めが必要かと思います。
最近聞くのは、光学防振（光学手ブレ補正）といった話です。センサーサイズが大きいほど、そこも大変になりますので、どのサイズがいいのか、というのは、いろいろ意見があるかなと思います。
――スマートカメラなどの用途に向けた「IMX500」というセンサーでは、推論用の回路が搭載されていますが、モバイル向けでもあり得るシナリオでしょうか。
御厨氏
可能性としてはありますが、一般的にAI用の回路は大きいです。
しかし、（スマホ向けの）アプリケーションプロセッサーは、5ナノプロセスなどを採用していて、面積が圧倒的に小さい。
でもイメージセンサーは、最先端でも22ナノプロセスです。回路をどっちに持つほうがいいのか、センサーに近いほうの回路が何を担うのか、どういう分担をしていくのか、という検討は必要でしょう。
――モバイル向けは、やはり1インチセンサーが現実的な限界でしょうか。
御厨氏
3～5年後でも、1インチがまだ限界かなと思います。
クアルコム、メディアテックなどとは「等距離」で
――同じイメージセンサーでも、Snapdragonのほうがよりよい写真が撮れるということに……。
御厨氏
さきほど（クアルコムやメディアテックと）等距離、とお伝えしましたが、今回の活動もSnapdragonだけに最適化しているわけではなく、同じような会話はメディアテックとも進めています。性能が変わるとは一概には言えません。
――性能の高低ではなく、違い（個性）が出ることはある？
御厨氏
企業によって、どの機能を優先するか変わるところがあります。スマートフォンメーカーの声もありますので、違いは出てくると思います。
――コンシューマーに向けて、どんなメッセージを今回伝えたいですか？
御厨氏
少なくともアプリケーションプロセッサー（Snapdragon）とソニーのイメージセンサーが協力して、オープンなイノベーションを推進し、よりよい映像体験を提供していきます。
――ユーザーが違いを体験できるのはどういった場面になるでしょうか。
御厨氏
全てにおいて最適化を進めています。ダイナミックレンジも、マルチカメラもそうです。今後は深度計測もありますし、今後はイベントセンサーとの連携や、まだ存在しない機能を導入したり、既存機能を高度化するといった流れで進めていきます。
――ありがとうございました。