みんなのケータイ

Gemini nanoを使ったオンデバイスAIな食材認識アプリで高血圧対策してみた

【Pixel 10 Pro】

 いきなりのオッサントークですが、筆者、高血圧になりました。放置するのはよろしくないので、病院に通ったり、生活習慣を少しずつ変えようとしたりしているところです。

 で、血圧の改善方法の1つは食生活。塩分を摂りすぎない、アルコールは控える、といったあたりが基本ですね。ただ、お酒の方はアルコール度数が明記されていますし、飲む・飲まないの話でもあるので分かりやすいものの、塩分の方はなかなか難しい。

 塩分はだいたいの食材に含まれていますし、これくらいならヘルシーでしょ、と自分では思っていても、実際には想像以上に塩分が多いのはよくあることです。反対に、高血圧対策になるとされている食材がどういうものか、というのも完全にはよく分かっていません。

高血圧な人にとってラーメン、特にスープは御法度……

 もちろん多少は把握しているけれど、塩分とカロリー量に加えて、栄養素も考えて食材や料理を選ぶ、というのはなかなか困難です。「食べてもヤバくないもの」「食べたらヤバいもの」を簡単に見分けることはできないものでしょうか……。

 と、いろいろ考えていたときに、ふとマイGoogle Pixel 10 ProにオンデバイスAIを実現する「Gemini nano」が搭載されていることを思い出しました。「ML Kit 生成AI API」というものを利用すれば一般のアプリからもデバイス上のGemini nanoにアクセスできるので、食材の画像認識をして情報表示し、高血圧対策ができるようなアプリも作れるのでは、と考えたわけです。

Google Pixel 10 ProにはオンデバイスAIを実現するGemini nanoが搭載

 クラウドAIで画像認識した方が正確だし話も早そうですが、通信が必要になるうえ、場合によっては追加でお金がかかります。でもオンデバイスAIなら少なくとも画像認識はPixel 10 Pro上で完結します。問題は食材を認識したところで、そのカロリーや塩分まで推定できるのか。

 しかしこれも、ありがたいことに文部科学省が「日本食品標準成分表」というものを公開していて、一般的な食材や料理ごとの詳細な成分表が無料で得られます。最新は「日本食品標準成分表(八訂)増補2023年」で、いろいろなデータがあるうち「第2章(データ) (Excel:1.9MB) Excel」というのが今回のアプリでは使えそうでした。

 個人利用はもちろんのこと商用も可能で、アプリなどで二次利用する際には出典を明記すればOK。扱いやすいとは言えないExcelデータしかないのが「もう少しどうにかならんのかな」と思わないこともないのですが、これをアプリ内部のDBにフィットするように変換すれば問題ありません。

日本食品標準成分表のExcelデータをダウンロード

 そんなこんなでClaude Codeにお願いして、「Gemini nanoでカメラ映像から食材認識→認識結果をもとにDBと照合→分量推定して食品名、カロリー、塩分、カリウム量などを表示」というような流れの、完全ローカルな画像認識アプリを作りました。朝8時から作り始めて動作検証を繰り返し、午前中でほぼ完成、というようなスピード感です。

Claude Codeにプログラムを作ってもらっているところ

 こういった食材や料理画像からカロリーなどを推定するアプリは他にもありますが、だいたいがクラウドAIなので、オンデバイスAIのみで処理しているのはまだ珍しいのではないでしょうか。

 あとは親指の大きさを基準にして分量を推定していたり、それが不正確な場合でもスライダー操作で分量調節してカロリーや塩分の目安を把握できたりするところは、まあまあ便利じゃないかなあと。

「そば」を正しく認識してくれた
ちょっとだけ詳細な情報を表示することもできる
過去の写真を分析する機能も追加。ラーメン怖い
親指を一緒に写すと分量推定をより正確にできるようになる
塩分ゼロの(カロリーはすごい)アボカドも認識。重量は実測162gだったので親指補正がうまくいっている

 認識精度はそこそこで、誤っていても他の認識候補に切り替える機能によってある程度カバー。チューニング次第というか、やはりクラウドAIに頼らないと難しい部分もあるとはいえ、それでも参考にはなります。推論(画像認識)にずいぶん時間がかかるようで、レスポンスはあまり良くないのですが。

 こうやって分析できるようになると、あらためて塩分控えめの食生活にするのは大変なことだな、と思うことしきり。

 まあでも、最近はサラダを毎日の食事メニューに取り入れるのが楽しみになってきていますし、あれだけ好きだったラーメンも「別に食べなくていっか」みたいな気持ちになっているので、アプリと一緒に減塩生活を進められそうな気がします。