Google、Geminiアプリにライブビュー機能を追加 iOS/Androidでリアルタイムな視覚支援

Googleは、iOSおよびAndroid版Geminiアプリに、周囲の状況をリアルタイムでGeminiにストリーミングし、フィードバックを得られる「ライブビュー」機能を追加しました。本日より順次展開されます。

ライブビュー機能は、ユーザーが見ているものを認識し、誤った認識を修正、質問に答えることで状況に応じた情報を提供します。DIYやホームインプルーブメントの支援、整理整頓、ショッピングなど、さまざまな用途での活用が期待されます。

また、iPhoneやiPadの画面を共有することで、オンラインで見ているものに関するフィードバックを得ることも可能です。

特に、視覚障碍者にとっては、周囲の状況を音声でリアルタイムに伝える機能として役立つ可能性があります。ライブビューは、Googleが昨年I/Oで発表した「Project Astra」を基に開発されており、Pixelデバイスには既に展開されています。

さらにGoogleは今夏、Gmailのスマートリプライなどの機能において、Geminiに個人コンテキストを追加する予定です。GmailのAIリプライ機能は、過去のメールのトーンやスタイル、言葉の選択を学習し、Googleドライブのメモやドキュメントなどを参照して、よりパーソナライズされた返信を作成できるようになります。