品川です。このアプリはPixel 7とブレイルセンス6ミニで、TalkBackによる読み上げ操作を確認しています。Bing: AI＆GPT-4とチャット - Google Play のアプリhttps://play.google.com/store/apps/details?id=com.microsoft.bing &hl=ja&gl=USOpenAI社の生成AIであるChatGPT-4を利用することのできるBingですが、画像をアップロードできるようになりさらに活用する場面が増えそうです。画像は、アプリ内で写真撮影、ギャラリーからの選択に対応しています。これまで視覚障害者向けに画像を説明してくれるアプリとしては、VizWizやTapTapSeeなどがありましたが、漠然とした内容であるという印象でした。生成AIを活用することで、具体的にイメージできる説明を得られそうです。使い方の手順としては、1. 「チャット」タブを選択。iOSアプリでのタブ名は「Bing」になっているので、名前は変更されるかもしれません。2. 会話のスタイルを三つの中からどれか一つを選択。3 「検索する画像の追加」ボタンをタップして、写真を撮影するかギャラリーから選びます。4 質問は「マイクを使用する」ボタンをタップして声で入力すると、生成された答えは合成音声で読み上げられます。ただ、たまに関係のない答えを返すこともあったので、文字入力して送信したほうが確実かもしれません。編集ボックスに文字入力して送信した場合は、答えはTTSで読み上げられないので画面を確認する必要があります。質問の内容としては、「写真を説明して」「写真を描写して」答えが返ってきたら、さらに追加の質問を続けることができます。私はMicrosoftアカウントでログインした状態で試していますが、質問は30回、30ターンまで続けることができるようです。たとえば衣服の写真を撮影した場合、「シャツのデザインを説明して」「ボタンの数はいくつ?」など。新しい画像で試すときは「新しいトピック」をタップしてから行います。このBingアプリの操作はiOSとほぼ同じですね。ところで、GPT-4を利用した画像分析はBe My Eyesアプリでも実装される予定になっています。バーチャルアシスタントという名前で紹介されていましたが、今はBe My AIという機能名に変わったようです。ベータ機能としての提供になりますが、iOSでは数日前から使えるようになったところです。Android向けには年末ごろの開始予定みたいです。Be My AIを実際に試してみると、さすがは視覚障害者向けに工夫されています。写真を撮影すると自動的にアップロードされて、生成された答えが自動的に読み上げられます。ただし、分析結果は英語。「Aks more」、質問内容として「日本語に翻訳して」などと送信すれば、その内容は日本語で表示されます。追加質問は日本語でOK。日本語で質問すればその結果は日本語で返してくれます。英語のデモでは、レストランメニューの写真を送信し、質問内容として「デザートメニューを教えて」。と伝えれば、該当箇所を読み上げてくれる。そんな便利な使い方も紹介されていました。現時点でのBe My AIでは日本語の文字認識は苦手のようで、そのような質問は失敗しました。ちなみにBe My AI機能でアップロードする画像ですが、アプリ内での写真撮影に加えて、カメラロールから共有機能を使用することもできます。なので、Bingアプリと同じく、これまで保存していた写真を1枚ずつ分析させることもできますね。
品川です。Bingアプリのチャット画面、会話のスタイルを選ぶ個所が消えていました。代わりに「GPT-4」のオン・オフ切り替えボタンになっています。インターネットで見つけた写真を勝手に解析してみました。怒られるかなぁ…おめでとうございます!!まずはGPT-4をオフにして解析してみました。■質問: この写真を説明して。受信したメッセージ. この写真は、海辺で結婚式を挙げたカップルの写真です。左側の人物は白いシャツ、サスペンダー、ボウタイを着用しており、右側の人物は白いドレスを着用し、赤いバラの花束を持っています。カップルの顔はプライバシー保護のためにぼかされています。背景は砂浜と海で、晴れた青空が広がっています 。私が見つけた情報によると、海辺で結婚式を挙げるカップルが多いようです。もし、あなたが海辺で結婚式を挙げることを考えている場合は、以下のリンク先にアイデアがあります。ここから三つはGPT-4をオンにして質問してみました。■質問: この写真を説明して。受信したメッセージ. この写真は、海辺で仲睦まじく立っているカップルの写真です。左側の人は白いシャツにサスペンダーとボウタイを着ており、右側の人は白いドレスに赤いバラの花束を持っています。カップルの顔はプライバシーを守るためにぼかされています。背景には砂浜と海が広がり、空は澄んだ青色です。この写真は、結婚式や記念日などの特別な日に撮られたものかもしれません。カップルは幸せそうに笑っており、お互いに愛情を感じていることが伝わってきます。この写真から、私は以下のような詩を思いつきました。海辺で微笑む二人白い服に赤い花愛の証しを手にして永遠の誓いを交わす太陽が照らす景色青い空と波の音二人だけの世界に幸せが溢れる顔は見えなくても心は分かるからこの写真に残る美しい思い出■質問: ブーケについて詳しく描写して。受信したメッセージ. ブーケについて詳しく描写しますね。??このブーケは、赤いバラの花を中心に、白いカーネーションやグリーンの葉をあしらったものです。赤いバラは愛情や情熱を表す花言葉を持ち、白いカーネーションは純潔や清らかさを意味します。グリーンの葉は、新しい命や成長を象徴します。このブーケは、カップルの強い愛と清らかな絆、そして新たなスタートを祝福するものと言えるでしょう。このブーケの形は、ラウンドブーケと呼ばれるものです。ラウンドブーケは、花を丸く束ねたシンプルで上品なデザインで、結婚式では最も人気のあるブーケのスタイルです。ラウンドブーケは、どんなドレスにも合わせやすく、花嫁の美しさを引き立てます。このブーケに合わせて、私はあなたにこの写真に関する絵画を作ってみました。どうぞご覧ください。■質問: 写真の背景について詳しく説明して。受信したメッセージ. 写真の背景について詳しく説明しますね。??この写真の背景は、海辺の風景です。海は青く澄んでおり、波が穏やかに打ち寄せています。空は快晴で、雲一つなく、太陽が輝いています。砂浜は白く広がり、カップルの足跡が残っています。海辺には、パームツリーやビーチパラソルなどのアイテムがあります。これらのアイテムは、南国の雰囲気を感じさせます。この写真の背景からは、カップルが暖かくて快適な気候の場所で結婚式を挙げたことがわかります。海辺での結婚式は、自然と一体になって祝うことができるという魅力があります。海の色や音、匂いなどは、カップルにとって忘れられない思い出になるでしょう。この写真に合わせて、私はあなたにこの写真に関する歌を作ってみました。どうぞお聞きください。