グーグル「Gemini」、カメラと音声でスマホ操作を助ける「シンプルガイド」提供　介護向け活用ガイドも

　グーグルは、AndroidスマートフォンのGeminiアプリで、音声とカメラを活用してユーザーを視覚的に支援する新機能「シンプルガイド」を順次提供すると発表した。あわせて、介護現場における業務効率化を後押しする「介護の現場を支えるGemini活用ガイド」を公開した。

カメラ越しの状況をAIが把握、スマホ操作も音声で案内

　シンプルガイドは、Gemini Liveを通じてリアルタイムな視覚支援を提供する機能。作業を代行するのではなく、ユーザー自身ができることを増やすための伴走者として機能する。

　スマートフォンのカメラで捉えた映像や画面の共有機能を利用し、周囲の状況や画面内の情報をGeminiが瞬時に把握。文章の読み上げや要約、操作のヒントなどを自然な言葉の音声で伝える。カメラの向きがずれている場合には「もう少し近づけてみてください」などと位置調整を促す。

　想定する利用シーンは多岐にわたる。日常的なスマートフォンの操作では、YouTubeでの動画検索や写真の保存方法などを画面を見ながら案内する。ポスターの情報からカレンダーへ予定を登録するといった自律的なタスク実行もサポートする。

　視覚認知の補助としては、お薬手帳や処方箋の細かい文字の読み上げ、リモコン操作の確認などに活用できる。不審なSMSが届いた際に画面を共有して安全な対処法を学んだり、音声だけでメッセージカード用のイラストを生成したりといった使い方もできる。

設定方法と対応環境

　利用には、Geminiアプリのプロフィール設定から「Liveでシンプルガイドを使用する」を有効にする。その後Gemini Liveを起動し、カメラを共有して使用する。

　Androidのユーザー補助設定からショートカットを割り当てることもできる。フローティングボタンや2本指のスワイプ、両方の音量キーの同時押しなどで即座に起動できる。Google TalkBack利用時は、3本指タップで表示するメニューから直接選択可能。

　対応環境はAndroid 9以降を搭載するAndroid端末。Geminiアプリとシステムソフトウェアを最新の状態にする必要がある。なお、同機能はあくまで補助的な機能であり、医療機器や移動補助具の代替を目的としたものではないとしている。

介護現場のリアルな声を取り入れたガイドブック

　同日、介護現場の業務支援を目的とした「介護の現場を支えるGemini活用ガイド」を公開した。グーグルはこれまでもGeminiの機能を通じたケア記録アシストなどを提供してきたが、今回は介護職員やケアマネジャーの声をもとに、具体的な活用シーンやプロンプトをまとめた。

　ガイドブックでは、短いメモや音声入力からSOAP形式の介護記録を自動作成する方法や、利用者の状態に合わせた声かけのアイデア出し、身体機能に合わせたレクリエーション案の作成などを紹介。Gemini Liveを使ったトラブル対応の事前練習にも活用できる。

　施設管理の面では、家族への報告文作成、外国人職員向けの専門用語の多言語解説や申し送りの翻訳などを支援する。

　これらの機能は医療診断を目的としたものではなく、業務効率化やアイデア出しが想定されている。生成した草案は必ず専門スタッフが確認と修正を行う「Human-in-the-loop」を前提とした安全な運用を呼びかけている。