ニュース

Google「Tango」の技術、レノボ担当者が語る長所と短所とは

PHAB2 Proに搭載の新世代AR技術

 レノボ・ジャパンは、12月2日に発売したAndroidスマートフォン「PHAB2 Pro」に関連し、搭載された「Tango」テクノロジーの技術を解説する説明会を開催した。

「PHAB2 Pro」

 Tango自体の概要は、対応端末の1号機である「PHAB2 Pro」の国内販売を発表した際のニュース記事や、日本での発表会の模様を伝えたニュース記事でお伝えしている。

 なお、同端末は想定以上の注文があったとして、レノボ直販サイトでは一時的に販売が停止されている(12月22日時点)。

 本稿では主にTangoの技術的な側面にフォーカスした内容をお伝えする。

2017年には他社からもTango対応モデルが登場する見込み

 TangoはGoogleとレノボが共同で開発を進めた空間認識の技術で、奥行きや距離を正確に反映したAR表示を行えるのが特徴。センサーやカメラからなる専用ユニットを搭載する。

床や奥行を正確に認識して表示する「Tango」の技術

 レノボは、Tangoのコンシューマ向け端末のローンチパートナーになっており、他社に対して6~12カ月早く先行開発を実施し、今回の「PHAB2 Pro」の発売に至っている。レノボはTango対応の後継モデルも開発中で、継続して取り組んでいく方針。

 一方、Googleは将来的にあらゆるモバイル端末にTangoテクノロジーを搭載するとしており、2017年には他社製のTango対応端末が登場する見込み。発表自体は2017年初頭にも行われるものとみられる。

Tango、VSLAMによる測位ソリューション

 Tangoの技術は、具体的にはVSLAM(Visual Simultaneous Localization and Mapping)技術を基本にした空間測位と自己測位のトータルソリューションになっている。VSLAMは、動画や画像を解析して物体の特徴点をリアルタイムに追跡し、位置や姿勢などの3D情報を推定する手法で、これにより、壁や地面の検出、物体の感知を行うことができ、空間測位や現在位置の推定などを可能にしている。

 Tangoは、商用化1号機の「PHAB2 Pro」が登場するまで、3年をかけて開発されている。第1世代は5インチのスマートフォンとして開発され、第2世代はタブレットだった。第3世代は今回発売された「PHAB2 Pro」で、タブレットとスマートフォンの中間を指す「ファブレット」として登場することになった。

Motion Tracking(運動解析)

 Motion Tracking(運動解析)は、まず9軸IMUと呼ぶユニットで計測される。これは3軸電子コンパス、3軸加速度センサー、3軸ジャイロスコープからなるもので、6DOF(Degrees Of Freedom)アルゴリズムの情報が取得され、姿勢が検出される。

 運動解析では9軸IMUによる姿勢検出に加えて、専用に搭載された魚眼レンズカメラからの視覚特徴点の情報を利用することで累積誤差を補正、処理負荷を軽減し、モバイル端末での利用を可能にしている。魚眼カメラでは、捉えているコマ間で特徴点の相対位置(位置変化)を計算し、端末の移動距離を推定している。

 Tangoの運動解析技術は、上記のような処理負荷を軽減する技術を採用することでスマートフォン上での処理を実現、ほとんどのケースでは正しく動作するという。一方で、解析に使うカメラは1つ(単眼カメラ)で、面積が広く特徴点がない環境や、白壁、暗い環境、ガラスが多い環境などでは、正常に動作しない場合があるという。また光の変化が激しい環境(ライブハウスなど)や、移動スピードが早い環境でも特徴点の取得が難しく、やはり正常に動作しない場合があるとしている。これらのことから、Tangoは、あくまで人が手に持って使うような、日常的な環境を想定して開発されている。

Deep Perception(奥行認識)

 Deep Perception(奥行認識)のセンサーは、開発中の世代の進化により、変更されてきた。開発当初の第1世代の試作機ではPrimeSense社のレーザーセンサーが搭載されていたが、同社はAppleに買収されたため、第2世代ではMantis Vision社のレーザーセンサーに変更された。しかしこのレーザーセンサーも変更され、第3世代の商用機「PHAB2 Pro」では赤外線センサーを利用する方式になっている。

 開発中は、併用するカメラについて複眼カメラも検討されたが、最終的には赤外線ベースのTOF(Time Of Flight、光線の照射と反射による測距技術)ソリューションになった。

 赤外線センサーは、正確に計測できるのが4~5mと、レーザーセンサーと比較して到達距離が短くなるが、コストが安く、省電力で駆動できるなどのメリットが大きいという。

 Tangoでは端末が移動しながらリアルタイムに空間を計測するため、奥行認識センサーと3Dマッピング情報との整合や比較が課題になるが、特殊なアルゴリズムと魚眼レンズカメラが抽出する特徴点を利用して処理負荷を軽減、高速モデリングを可能にしている。

 これらにより、奥行認識では床検出、壁検出、平面検出、端面検出が可能になっている。

 深度情報量については、3Dマッピングにおいて30fps以上で奥行検出が行えると、ほぼ完全に空間情報を復元できるとされる。Tangoでは5~10fps程度で奥行検出を行っており、技術的に最高度の精度を実現しているわけではない。これは、奥行認識が運動解析の処理と連動しているためで、運動解析の精度、特に計算量軽減のために3Dマッピングの密度を下げていることが影響しているという。なお、Googleが提供している計測アプリ「Measure」などでは、cm単位の精度は実現されている。

Area Learning(空間記憶)

 Area Learning(空間記憶)は、Tangoの端末が、自分のいる空間と場所を認識する技術。場面毎の学習機能が搭載されており、上記のセンサーで捉えた情報を空間データとして保存、新たに取得する空間データとの差を検出することで自身をマップしていく。

 このTangoに搭載される空間記憶技術は、SLAM(Simultaneous Localization and Mapping)の簡易版として、モバイル端末への搭載が実現されている。

 例えば外から屋内に入るといった場面で、GPSの信号が途切れた場合なども、空間記憶の機能が作動すれば、自身の位置の追跡が可能になるという。

 なお、「Tangoコア」では、2Dオブジェクト認識、3Dオブジェクト認識、オブジェクトトラッキング、オブジェクトスキャンの各機能は提供されていないが、APIとして提供されており、アプリ上では実装できるようになっている。

2016年度内に130のTangoアプリが登場予定

 Tangoの利用シーンについては、「PHAB2 Pro」の発表会などでも触れられたように、施設や売り場案内などの「ショッピング」のほか、「ゲーム」、家具の設置といった「ユーティリティ」の3つの場面が代表的な利用シーンとして紹介されている。

 このうち、ショッピングについては、現在シンガポールのショッピングセンターでトライアルが行われているとのこと。今後は香港や東京でも実施予定という。

 アプリはすでにいくつかがGoogle Playを通じて配信されている。2016年度内には130のアプリが登場する予定という。日本企業を含めて多数のパートナーが名を連ねている。

 Tangoアプリを開発するためのSDKも配布されており、「PHAB2 Pro」があれば、すぐにアプリが開発できる環境になっているとのことだった。