AIによる検索の未来はこうなる！ 画面内のテキストや画像を自在に読み取る「Click to Do」

「Click to Do」って何だ？

検証に使用した「Copilot+ PC」、「Surface Laptop 13.8インチ（第7世代）」

　「Copilot+ PC」の新機能として実装予定の「Click to Do」を、Insider Previewビルドで試してみた。画面内にあるテキストや画像をAIが読み取り、クリックするだけで検索などに繋げられる機能だ。

　他のAI機能に比べると地味なのだが、実用性ではトップクラスだと筆者は感じている。言葉で説明するとわかりにくいので、とにかく実物を見ていただこう。ただし現時点では、同じくInsider Previewビルドでプレビュー版が提供されている「Recall」内に限り使えようになっている。

スナップショットのテキストや画像を簡単に読み取り

　「Recall」を立ち上げてスナップショットを見ると、画面全体を走査するようなエフェクトが表示される。スナップショットの画像をAIが調べる操作で、1秒程度の短い時間で完了する。

　この状態でスナップショット内のテキストをクリックすると、テキスト部分を範囲選択できるのがわかる。

テキストのある部分が囲われ、選択可能になる

　さらに右クリックすると、［コピー］、［プログラムから開く］、［Webを検索する］というオプションが表示される。［プログラムから開く］では［メモ帳］を選択でき、選ぶと「メモ帳」が立ち上がり、選択した範囲のテキストが書かれている。スナップショットは単なる画像であり、そこからAIがテキストを認識し、内容を読み取ってコピーできるという仕組みだ。

範囲選択したテキストをコピーしたり、メモ帳に貼り付けたりできる

試しにメモ帳を選んでみると、きちんとテキストを読みだしてくれた

　テキストだけでなく、画像も選択が可能。調べたい画像をクリックすると、今度は［保存］や［共有］、［Bingで画像検索］、［フォトで背景をぼかす］、［ペイントで背景を削除］など、多数のオプションが表示される。

画像も選択可能。PCの画像をクリックしただけで選択できた

　試しに［Bingで画像検索］を選んでみると、選んだ画像に類似した画像がBingで検索された。スナップショットに映り込んだ画像を選ぶだけで、その画像が何なのかを簡単に調べられる。

［Bingで画像検索］を選ぶと、類似する画像があるリンクが示された

　調べられる情報は、必ずしもきっちり組まれた記事である必要はない。例えば街の様子を撮影した画像がスナップショットされれば、映り込んだ看板の文字を読み取り、コピーや検索もできる。縦書きの文字や、画角的に斜めになった文字もある程度読み取ってくれるが、解像度やフォントの違いなどで正しく読み取れないことはある。

街の写真を見てみると、看板の文字などを認識しているのがわかる

いつでもどこでも使えるようになった時が本番

　現時点では「Recall」内でのみ機能するが、最終的には［Windows］キーを押しながらマウスクリックまたは［Q］キーでいつでも実行できるようになる予定。Windowsのデスクトップ上に表示できるものなら、テキストでも画像でも動画でも何でも読み取り（その瞬間のスナップショットを撮影するという形になると思われる）、検索が可能になるはずだ。

　従来の検索は、Webブラウザーを立ち上げてそれっぽい単語を入力するという形。最近では画像ファイルを読み取って検索も可能になり、利便性が高くなった。スマートフォンで写真を撮って検索という手法は、既に多くの方が使っているのではないかと思う。

　「Click to Do」はそれをさらに一歩進め、Windows上で見えたものは何でも検索可能にしてくれる。しかもAIのサポートにより、テキストの認識や画像の範囲選択といった作業の手間もない。まさに未来の検索システムと呼ぶべきものであり、「AIはこう活用すべき」というわかりやすい一例と言えるだろう。

著者プロフィール：石田賀津男（いしだ かつお）

1977年生まれ、滋賀県出身

ゲーム専門誌『GAME Watch』（インプレス）の記者を経てフリージャーナリスト。ゲーム等のエンターテイメントと、PC・スマホ・ネットワーク等のIT系にまたがる分野を中心に幅広く執筆中。1990年代からのオンラインゲーマー。窓の杜では連載『初月100円！ オススメGame Pass作品』、『週末ゲーム』などを執筆。

・著者Webサイト：https://ougi.net/