みんなのケータイ

Pixelスマホの文字起こしをPCで表示・編集できるようにしよう!

 Pixelスマホにはリアルタイムで文字起こししてくれるレコーダーアプリがあります。GoogleのTPUとGemini Nanoを使った完全ローカルなAI処理で、そこそこ認識精度も高いので取材などでは大変重宝しています。

Pixel 10 Proのレコーダーアプリ

 ただ、もっとこうだったらいいのになあ、と思うところもあります。たいていはノートPCと一緒に使うので、文字起こしした内容をPC画面にも表示させたい。そして、あわよくば文字起こしの最中に誤認識したテキストをすぐ編集できるようにしたい。

 もしそれが可能になれば、スマホは画面を伏せておいてもいいですし、PC側では修正がその場でできるだけでなく、補足情報をセリフの近くにメモしておくこともできます。

 これを実現しようとすると、レコーダーアプリだけでは不可能です。Google MeetをスマホとPCで立ち上げて、スマホ側から「画面共有」して文字起こし中のテキストをPC画面に映し出す、という裏ワザもありますが、回りくどいうえにオフライン環境では使えません。

 なので、これはもうやっぱり作るしかないなと。PixelスマホのGemini Nanoによる音声認識は活かしつつ、それで文字起こしした内容をPC側に送信し、いい感じにあれこれできるようにしようじゃないかと。ってことで、Claude CodeのSonnet 5.5先生を召喚しました。

Sonnet 5.5先生、オナシャス!

 スマホとPCとを連携する方法はいくつかありますが、外出先で使うことを考えるとモバイルネットワークやWi-Fiが使えない場合があること、文字起こしテキストだけでなく音声データも同時にやりとりする可能性があること、といった理由からWi-Fiテザリングで連携することを前提にしました。

 人間の手間が一番かかったのは、この連携部分のテストです。スマホ側でWebサーバーを起動し、そこにPCからテザリングでつないで、録音しながらネットワークをオンオフしたり、スマホがロック状態でも動くか確認したり。

 あと、こういうアプリをAIコーディングで作ろうとすると、UIがなぜか紫色ベースになりがちです。悲しいことに、今やそういう画面を見ると明らかにバイブコーディング感があふれてしまうので、初めにデザイン案をいくつか作ってもらうことが大切な気がします。

複数のデザイン案から方向性を固めておくと多少はバイブコーディング感が薄れる、かも

 アイコン類については、筆者は極力Lucide Icon(https://lucide.dev/icons/)を使うようにしています。Google FontsのアイコンやWinUI 3のアイコンでもいいのですが、どれかに統一することでダサさが軽減されます。

Lucide Iconなどの商用可能な素材を積極的に使ってダサさを軽減

 機能面では、PC側で文字起こしの最中に編集できるようにした、というのも普段の使い勝手としては重要なのですが、ちゃんとデータが残ること、というのも大事です。たとえばレコーダーアプリでは端末のストレージだけでなくGoogleのクラウドにもアップロードされるので、二重の安心があります。

スマホアプリ画面
PC側のWeb画面

 レコーダーアプリの代替にするなら、このクラウド送信機能は欠かせません。最近筆者が使っているのはCloudflareのR2 Object Storageで、保存容量は10GB/月まで、書き込み回数は100万回/月までなら無料です。個人レベルならほぼノーコストなので、Cloudflareのアカウントを1つ持っておくと便利かもしれません。

CloudflareのR2 Object Storageに録音終了後に自動でアップロードするようにした
今回作った文字起こしアプリの仕組み

 仕事で実用できる完成度になったところで、Claude(Proプラン)の使用量は5時間制限の7割程度の消費でした。Sonnet 5.5先生だとそれなりに複雑なタスクも軽快に、目立ったミスも少なくこなしてくれるので、趣味グラマーとしても月額約3000円で十分に遊べるのではないかと思います。