品川です。このアプリはPixel 7とブレイルセンス6ミニで、TalkBackによる読み上げ操作を確認しています。Bing: AI＆GPT-4とチャット - Google Play のアプリhttps://play.google.com/store/apps/details?id=com.microsoft.bing &hl=ja&gl=USOpenAI社の生成AIであるChatGPT-4を利用することのできるBingですが、画像をアップロードできるようになりさらに活用する場面が増えそうです。画像は、アプリ内で写真撮影、ギャラリーからの選択に対応しています。これまで視覚障害者向けに画像を説明してくれるアプリとしては、VizWizやTapTapSeeなどがありましたが、漠然とした内容であるという印象でした。生成AIを活用することで、具体的にイメージできる説明を得られそうです。使い方の手順としては、1. 「チャット」タブを選択。iOSアプリでのタブ名は「Bing」になっているので、名前は変更されるかもしれません。2. 会話のスタイルを三つの中からどれか一つを選択。3 「検索する画像の追加」ボタンをタップして、写真を撮影するかギャラリーから選びます。4 質問は「マイクを使用する」ボタンをタップして声で入力すると、生成された答えは合成音声で読み上げられます。ただ、たまに関係のない答えを返すこともあったので、文字入力して送信したほうが確実かもしれません。編集ボックスに文字入力して送信した場合は、答えはTTSで読み上げられないので画面を確認する必要があります。質問の内容としては、「写真を説明して」「写真を描写して」答えが返ってきたら、さらに追加の質問を続けることができます。私はMicrosoftアカウントでログインした状態で試していますが、質問は30回、30ターンまで続けることができるようです。たとえば衣服の写真を撮影した場合、「シャツのデザインを説明して」「ボタンの数はいくつ?」など。新しい画像で試すときは「新しいトピック」をタップしてから行います。このBingアプリの操作はiOSとほぼ同じですね。ところで、GPT-4を利用した画像分析はBe My Eyesアプリでも実装される予定になっています。バーチャルアシスタントという名前で紹介されていましたが、今はBe My AIという機能名に変わったようです。ベータ機能としての提供になりますが、iOSでは数日前から使えるようになったところです。Android向けには年末ごろの開始予定みたいです。Be My AIを実際に試してみると、さすがは視覚障害者向けに工夫されています。写真を撮影すると自動的にアップロードされて、生成された答えが自動的に読み上げられます。ただし、分析結果は英語。「Aks more」、質問内容として「日本語に翻訳して」などと送信すれば、その内容は日本語で表示されます。追加質問は日本語でOK。日本語で質問すればその結果は日本語で返してくれます。英語のデモでは、レストランメニューの写真を送信し、質問内容として「デザートメニューを教えて」。と伝えれば、該当箇所を読み上げてくれる。そんな便利な使い方も紹介されていました。現時点でのBe My AIでは日本語の文字認識は苦手のようで、そのような質問は失敗しました。ちなみにBe My AI機能でアップロードする画像ですが、アプリ内での写真撮影に加えて、カメラロールから共有機能を使用することもできます。なので、Bingアプリと同じく、これまで保存していた写真を1枚ずつ分析させることもできますね。