インカメラでスマホの持ち方を推定、UI改善や疾病予防に期待――ヤフーなど3者

　ヤフーと慶應義塾大学、東京工科大学は、インカメラで捉えた目の中の反射像からスマートフォンの持ち方を推定する手法を開発した。

　スマートフォンを操作する際に、ユーザーの目に反射する画面の像を活用した手法。この「角膜反射像」は、スマートフォンの持ち方次第で指の影などにより形が異なる。インカメラでユーザーを撮影し、機械学習により角膜反射像を分類することで、ユーザーのスマートフォンの持ち方を推定できるようになったという。

　これまでの同様の研究では、持ち方を推定するためのセンサーが必要でスマートフォンの機種によっても結果に影響が出るという課題があった。今回開発の手法では、必要なデバイスはスマートフォンのインカメラのみでさまざまな機種に対応できるほか、アプリへの組み込みも容易としている。

　ユーザーの持ち方に合わせた画面表示の最適化や操作ボタン、キーボード位置の自動切り替えに活用が見込める。加えて、スマートフォンを長時間にわたって同じ姿勢で操作していることを検知し、警告を表示するなどして、それに起因する疾患の予防への応用が期待できるという。

　実験では、被験者13人を対象にして85％の精度で6種類の持ち方の識別に成功しており、今後はより大規模かつ実環境に近い状態での実験やカメラ以外のセンサー活用、アルゴリズムの改善でさらなる高精度化を目指すとしている。