インタビュー
「AQUOS R3」開発者インタビュー
カメラや液晶にユーザー目線のひと工夫
2019年6月3日 11:42
NTTドコモ、au、ソフトバンクから2019年夏モデルとして発売された「AQUOS R3」。フラッグシップモデルであるAQUOS Rシリーズの3代目で、10億色を表現できるという「Pro IGZO」ディスプレイや、動画専用の「ドラマティックワイドカメラ」を搭載する。
動画撮影時に全自動で約15秒のダイジェストムービーを作成する「AIライブストーリー」などの目玉機能のほかにも、AQUOS R3にはユーザー目線のさまざまな工夫が凝らされている。
今回はAQUOS R3のカメラやディスプレイの魅力について、シャープの開発担当者に聞いた。お答えいただいたのは、シャープ 通信事業本部 パーソナル通信事業部 事業部長 小林繁氏、同事業部 商品企画部 係長 小野直樹氏、システム開発部 技師 関文隆氏、第一ソフト開発部 技師 河野広岳氏の4名。
動画優先というわけではない、ユーザー目線のコンセプト
――静止画＋動画のデュアルカメラなどを見ると、AQUOS R3は1年前の「AQUOS R2」の正当進化という風にも受け止められますが、初期段階でのコンセプトはどのようなものだったのでしょうか。
小林氏
AQUOS R2の売れ行きが好調に推移していたこともあり、2018年の成果として、カメラ機能の中でも動画を前面に出していくことには手応えがありました。ですので、動画の機能をもっと強化していくというのは最初から決めていました。
それ以前にも、5Gになると動画でのコミュニケーションはもっと増えていくだろうとは漠然と考えていました。AQUOS R2ユーザーの反響から「（動画機能は）やっぱり使っていただけるんだ」と確証を得られました。
――一方で、スマートフォンのカメラのトレンドとしては静止画の撮影機能がどんどん進化しています。動画機能を強化するというコンセプトを定める上で葛藤はありませんでしたか。
小林氏
この機種を考える上で「写真より動画のほうが大事」と考えていたわけではありません。AQUOS R3では静止画もしっかり撮れるように、イメージセンサーを変えて画質調整などもゼロベースでやり直しました。
小野氏
デュアルカメラの機種に求められる機能として、たとえばズーム機能の要望が多いことは我々も解っています。一方でお客様の声を聞くと、スマートフォンでの撮影シーンとしてはしっかり構えて構図を決めて撮ることよりも、スナップショット的な感覚でパッと取り出して撮ることが多いのも事実です。まずはそのようなシーンで活きる動画機能の強みを押し出していく、そして静止画もしっかり撮れるということを重視しました。
――AQUOS R3のカメラは“R2と同じカメラ構成”というよりも、ユーザーと向き合った結果なのですね。
小野氏
ミラクルな機能を発表して話題になるのも素敵なことですが、我々としてはお客様に寄り添う製品作りをしていきたい、本当に使われるものは何なのかを追求し続ける会社でいたいと考えています。
動画を撮りながら写真も――「被写体ブレ」の壁
――先日の発表会では暗い場所でも明るく撮れるカメラ性能や動画撮影の機能をアピールされていましたが、他にカメラ関連でこだわった点はありますか。
小野氏
動画を撮るにはある程度被写体が動いてくれないと面白くないですが、静止画を撮るなら一般的には止まっていてくれたほうが撮りやすく、暗い場所ならなおさらです。
――確かにそうですね。
小野氏
動画と写真を同時に撮影できるようにすると自ずと出てくる課題として、「被写体ブレ」を抑える必要があります。「動いている物を止めて撮る」技術がなければ、動画と静止画の両方を同時に納得できる仕上がりでは撮れません。
河野氏
AQUOS R2では、動画と静止画を同時に撮影したユーザーから「写真がブレる」と言われてしまいました。暗い場所で動いている被写体であっても、動画を撮りながら静止画をきっちり止まった状態で撮れるように、AQUOS R3では被写体ブレを改善しています。
――具体的には、どのような方法で被写体ブレの問題を解決されたのでしょうか。
河野氏
今回、被写体ブレを補正するために大きく分けて3つのことをしました。1つは基本的なことですが、シャッタースピードを上げて撮影します。それ自体はフィーチャーフォン時代からやっているのですが、今回はAIを使い、人やペットなどの被写体を認識した上で動きを予測し、ブレないようなシャッタースピードに設定する仕組みです。
シャッタースピードを上げると感度が上がるので、トレードオフとしてノイズが増えます。これを防ぐために、複数枚の画像を合成してノイズを除去する技術を使いました。
ただし、動いている被写体なので合成できない部分もあります。そこで、複数枚の画像から最もブレが少ない画像を選び、そこに他の画像を合成してノイズを消していくという処理をしています。
カメラの画質向上のためにAIを使う事例は多いですが、被写体ブレを抑えるために被写体を認識させる、そして被写体に応じたシャッタースピードを決めるという使い方は珍しいかと思います。
新機能「AIライブストーリー」の仕組み、使い方のコツ
――目玉機能としてアピールされている「AIライブストーリー」についても教えていただけますか。
小林氏
動画って、撮るのは楽しいけれど見るのはしんどいんですよ。たとえばテレビCMなら15秒の映像を作るために膨大な時間をかけるように、人が気持ち良く見られる動画を作るには何倍もの時間がかかります。動画を撮って投稿したときに、誰でも楽しく観られるものが出来上がっているのが理想形です。
――そのような動画作りの勘所は開発当初から分かっていらっしゃったのですか。
小野氏
当初は我々も手探りで、プロのクリエイターさんに協力をお願いしました。15秒の中に動画をどう収めるのか、何度も相談しながら機能を作っていきました。機械的に素材を組み合わせるのではなく、人の感性が反映されるようでなければと考えてテストを繰り返しました。
開発に協力していただいたある新進気鋭のクリエイターさんにAIライブストーリーを使ってもらったところ、「AIと協力して動画を作ることに慣れてきた」と言っていただけました。単に自動生成された動画ではなく、AIの力を借りながら自分の感性で動画を作った感覚が味わえる機能になっています。
小林氏
曲のリズムに合わせて映像を切り替えていくので、見ていて気持ち良く、切れ味の良いシーンの切り替えができます。実はリズムに合わせてあらかじめ枠を決めてあり、それに合わせてAIが動画をはめていく仕組みです。
小野氏
ダイジェストムービーに使われるシーンは、AIによって決められます。構図や表情、あるいは人間が静止画を撮ったタイミングなどを基準にスコア化されています。このスコアをもとに優先順位が付けられ、良いシーンがダイジェストムービーに使われます。
読者の方にお伝えしたい「AIライブストーリー」のコツとしては、同じ構図でずっと撮るよりは、構図を変えたり人に寄ったり、変化をつけた動画を撮ることで、つくりだされる動画が面白くなりやすいです。色々な構図で撮っておくことで、単調なシチュエーションの動画でも、メリハリのある楽しい動画になります。
2倍明るい「Pro IGZO」、屋外でも見やすいアウトドアビュー
――ここまでは「撮る」ことについて伺ってきましたが、R3で撮ったものを含めて各種コンテンツを綺麗に見せる「ディスプレイ」の特徴も教えてください。
関氏
AQUOS R3のディスプレイには「Pro IGZO」液晶を採用しました。OLEDなど良いデバイスは色々ありますが、Pro IGZOを使うメリットとしては色域の広さやコントラストなどもそうですが、明るくできること、省電力にできること、それから我々の独自技術であるハイスピードIGZOや液晶アイドリングストップを実現できることが挙げられます。
従来の2倍の明るさを実現したPro IGZOですが、ディスプレイが明るいことのメリットとしては、1つは映像、HDRコンテンツだとディスプレイが明るくないと表現の幅が狭くなってしまいます。
そしてモバイル機器ですので、外で画面を見る場面も多いでしょう。屋外で見づらいというお客様の声は以前から聞いていて、そこで今回、アウトドアビューという機能を追加しました。
見やすくできる要素としては2つあり、1つはディスプレイ全体の明るさで、これはPro IGZOで解決できています。しかしそれだけでは十分ではありません。外で見ると画面の表面で反射した光が目に入ってきてしまうので、画面上の暗い部分は全体の輝度を上げても見えなくなってしまいます。そこで2つめの要素として、画像処理でコントラストを調整して見やすくしています。
――明るい場所では映像を変えてしまうということでしょうか。
関氏
コントラストを変えるのですが、そもそも明るい場所では映像の見え方が変わってしまっています。それを部屋の中での見え方に近づける機能です。周りの明るさに合わせて徐々に調整され、お客様に違和感を与えない処理になっています。
――従来よりも明るいディスプレイを採用することで、電池持ちへの影響はありませんか。
関氏
前機種と比べて、ディスプレイ単体での電力効率は10％、端末全体では30％改善されました。最大2倍明るいディスプレイとは言っても、屋内でそこまで明るくする必要はありませんし、周辺環境に合わせて輝度をコントロールしています。平均的に見ればバッテリーの消費が大きく増えるということはありません。
――独自技術の「ハイスピードIGZO」と「液晶アイドリングストップ」についても教えてください。
関氏
前機種のAQUOS R2も「ハイスピードIGZO」を搭載していましたが、CPUなどのパフォーマンスと画面解像度のバランスから、1年前の時点では100Hz駆動が最適という結論でした。今回は120Hz駆動となり、（一般的な60Hz駆動のスマートフォンと比べて）倍速液晶による滑らかな表示を実現できました。CPU性能の向上によってコマ落ちするという心配がなくなったことやソフトウェアチューニングによるところもありますが、ディスプレイのトランジスタの速度も影響しています。
また、常時120Hz駆動では電池持ちに影響が出てしまうので、我々としては「ハイスピードIGZO」と「液晶アイドリングストップ」はセットで考えています。画面表示が動かない間は液晶の描画を止めて省エネ駆動することができる「液晶アイドリングストップ」を含めて、今回の120Hz駆動はPro IGZOを採用したからこそ実現できた部分です。
――なるほど。今日はありがとうございました。