AIを使ってしたい100のこと

生成AIの可能性と、それを使って自分自身を表現する楽しさを伝えることを目指しています。

ChatGPT-4のマルチモーダル機能とその活用例：洗濯表示の解読

生成AI 理解する

1. はじめに

ChatGPT-4は、テキスト入力だけでなく画像入力も理解・処理できるマルチモーダル機能を持っています。これにより、ChatGPTに画像を見せて、そこから直接テキストの回答を得ることが可能です。

2. マルチモーダル機能とは

ChatGPT-4のマルチモーダル機能は、テキスト入力に加えて画像入力も理解・処理できる能力を指します。以下にその特徴と具体的な機能について説明します。

プロンプト

ChatGPT-4oの、マルチモーダルとはどういった機能でしょうか？

回答

ChatGPT-4のマルチモーダル機能は、テキスト入力に加えて画像入力も理解・処理できる能力を指します。以下にその特徴と具体的な機能について説明します。

特徴と機能

  1. 画像理解:

    • 画像の内容を認識し、その内容について質問に答えることができます。例えば、画像に写っている物体の名前や画像内のテキストの読み取りなどが可能です。

  2. テキストと画像の統合:

    • テキストと画像を組み合わせた入力に対応できます。例えば、ユーザーがテキストで質問をし、関連する画像をアップロードすることで、より詳細な回答が得られる場合があります。

  3. 説明と注釈:

    • 画像の詳細な説明や、特定の部分についての注釈を提供できます。例えば、画像に含まれる要素やその意味について説明することができます。

  4. 多様な応用:

    • 教育、医療、eコマース、ソーシャルメディアなど、さまざまな分野での応用が考えられます。例えば、教育分野では、図やグラフの説明を通して学習支援を行うことができます。

使用例

  1. 商品説明:

    • 画像をアップロードして、その商品の特徴や詳細について質問できます。
    • 例: 「この靴のブランドは何ですか？」

  2. 観光地情報:

    • 観光地の写真をアップロードし、その場所についての情報を得ることができます。
    • 例: 「この写真はどこで撮られたものですか？」

  3. 医療診断の補助:

    • 医療画像を提供し、症状についての初歩的な診断をサポートすることができます（ただし、専門的な医師の診断を代替するものではありません）。
    • 例: 「このX線写真に異常はありますか？」

  4. クリエイティブ作業:

    • 画像を基にしたストーリーテリングやアートのアイデア出しを支援できます。
    • 例: 「この風景画に基づいて短編小説を書いてください。」

まとめ

ChatGPT-4のマルチモーダル機能は、テキストと画像の両方を理解し、それらに基づいて回答や説明を行う能力を持っています。これにより、ユーザーはより直感的かつ多様な方法で情報をやり取りできるようになります。

3. マルチモーダル機能を活用した洗濯表示の解読

先日、洋服を洗濯する際に、ラベルに書いてある洗濯表示が全然わからなくて困りました。その時は検索して調べた（新しい洗濯表示 | 消費者庁）のですが、実はこれ、スマホで写真を撮って、ChatGPTに直接見せれば、すぐに回答が得られるんじゃないの？と思いました。やってみたところ、結果は予想以上にうまくいきました。

ã‚„ã‚Šæ–¹

  1. スマホにChatGPTのアプリをインストールします。
  2. ChatGPTにサインインします。
  3. スマホで選択表示のラベルを撮影します。（広角カメラに切り替えると、近くで撮ることができます。）
  4. 画像をChatGPTに送信します。
  5. 「このラベルの洗濯表示の意味を教えてください。」と書いて、チャットを送信します。

プロンプト

このラベルの洗濯表示の意味を教えてください。

回答

このラベルには、以下の洗濯表示が記載されています。

  1. 水洗い（洗濯機）: 30°Cまでの水温で洗濯機を使用して洗濯が可能です。表示には「30」とバケツのアイコンが描かれています。
  2. 漂白: 漂白剤の使用は禁止されています。アイコンは三角形に「×」が付いています。
  3. 乾燥機: 乾燥機の使用は禁止されています。アイコンは四角形に「×」が付いています。
  4. アイロン: 低温（110°Cまで）でのアイロン掛けが可能です。アイロンのアイコンには1つの点が描かれています。
  5. ドライクリーニング: ドライクリーニングは不可です。アイコンは丸に「×」が付いています。

上部の「PFC FREE DWR」は、環境に有害なパーフルオロ化合物（PFC）を含まない耐久撥水（DWR）加工が施されていることを示しています。

やってみた感想

  • 完全にできたので、すごい！と思いました。
  • 画像はぼんやりしていましたが、うまくいきました。
  • 「PFC FREE DWR」の意味まで教えてくれるとは思っていませんでした。意外な発見です。
  • これは実用的だと感じました。
  • 「観光地の写真をアップロードし、その場所についての情報を得ることができます」これは面白そうですね。やってみたいです。