ニュース

視覚障害者とボランティアをつなぐアプリ「Be My Eyes」に言語モデル「GPT-4」搭載

 視覚障害者や低視力者をサポートするアプリ「Be My Eyes」に、「ChatGPT」などを手掛けるOpenAIの言語モデル「GPT-4」が搭載された。

 「GPT-4」が搭載されたことにより、AIが画像からテキストを読み取ることで、ユーザーはその画像の情報を瞬時に得ることができるようになった。従来のデジタルアシスタントに比べ、より深いレベルで思考し質問に答えてくれるという。たとえば、冷蔵庫の中の写真を送ると、何が入っているかという情報だけではなく、その材料で何が作れるかを推定、分析をし、そのレシピを提示できるようになった。

 また、AIでは回答できない場合は、自動的にボランティアに接続し、サポートを受けることができる。

 この新機能は、今後数週間以内に法人向けにベータテストを開始し、年末には、法人向けのカスタマーサポートプラットフォーム「Specialized Help」として利用される予定。

 「Be My Eyes」は、視覚障害者や低視力者のユーザーが支援を必要とした場合に、ボランティアであるユーザーとビデオ通信ができるアプリ。たとえば、消費期限の確認や落とし物の捜索などを、目の見えないユーザーはボランティアにスマホのカメラを通じて支援を受けることができる。