インタビュー
「AQUOS R7」開発者インタビュー、「R6」から受け継がれる1インチセンサーカメラの秘密とは
2022年10月12日 00:00
「AQUOS R7」は1インチセンサーのメインカメラを搭載した夏モデルのスマートフォンだ。1インチセンサーは、昨年発売の「AQUOS R6」に続く2機種目の採用となる。いずれも背面カメラは1インチセンサーの1つのみで、ドイツの光学機器メーカーのライカと絵作りなどで協業するなど、写真の品質を突き詰めた尖った作りが特長となっている。
R7の基本的なスペックや構成は、R6を踏襲するが、実はスペック上は同じ「1インチセンサー」でも異なるセンサーを採用していたり、深度測定用モノクロカメラも搭載したりと、目立たないところで進化を遂げている。また、引き続きライカと協業しているが、こうしたコラボは回数を重ねるごとに洗練されていくものなので、そのあたりの目に見えない進化も期待できる。
聞きたいことが尽きない興味深いこの「AQUOS R7」について、今回は開発を担当した、シャープの通信事業本部パーソナル通信事業部商品企画部の係長の小野直樹氏、主任の平嶋郁也氏、同事業部システム開発部の係長の関文隆氏、技師の岡坂拓哉氏と宮崎大志氏、同事業部第一ソフト開発部の技師の石野達也氏に話を聞いた。
R6からR7への道
――まず最大の特徴でもある1インチセンサーカメラについて伺います。商品の方向性として、選択肢はいろいろあったかと思いますが、前のモデル「AQUOS R6」をどう評価し、そこから「AQUOS R7」に向けてどう歩んできたか、そういったことをお聞かせいただければと。
小野氏
「AQUOS R6」の発売後、1インチセンサーカメラについては、発売しなかった海外からの反響も多く、「一歩抜け出たな」と感じました。
これまでスマホのカメラの差別化には苦労していて、海外メーカーの後塵を拝していましたが、そこに一石を投じられたと考えています。「AQUOS R6」の開発当時、スマホのカメラが複眼化するのが主流となっている中で、1インチにするのは勇気が必要でした。
発売後も、撮った絵（写真）についてお客様からは高い評価を頂戴しています。しかし、しばらく経つといろいろな声をいただくようになり、その中でもオートフォーカスが遅いという指摘を多く頂戴しました。カメラとして構図を考えながらしっかり構えて撮るには良いけど、スマホとしてスッと取り出して即座に撮る、というシーンでは使いづらいよね、と。
後継機種を考えるにあたり、オートフォーカスをどうしようか、と考えました。
同じことを指摘され続けるとマイナスイメージが強くなってしまいます。しかしセンサーがそもそもコントラストAFだったので、同じセンサーではオートフォーカス速度を改善できません。違う仕組みを入れないといけない。
スマートフォンのカメラデバイスは、2世代か3世代くらいは同じものを使うのが普通です。それを1世代で変えてしまうと、それまでの開発が無駄になってしまう。しかし、それをやってでも、1インチの世界を作るためにやらないといけないのでは、と考えました。
1インチというサイズは同じですが、まったく違うモノをやろう、と。
お客様の価値として、キレイに撮れることは理解していただいているので、オートフォーカスなどもバリューアップさせたい、と。今回は1インチにこだわりつつもまったく違うセンサーを採用しました。
そもそも「1インチでなくても」「ズームを載せても」という意見もありました。しかし、そうした方向ではなく、とにかく、お客さまに良い写真を撮って欲しい、そのためには中途半端なカメラを載せるべきじゃないよね、と開発したのが今回の「AQUOS R7」になります。
――そこまでのカメラ性能は要らないよ、という意見も少なからずあると思います。「良い写真を撮る」というユーザー体験とは、どういったことになるのでしょうか。
小野氏
はい、これはデジタルカメラじゃなくてスマホでしょうに、という意見もあります。しかし「カメラ好きの人に使って欲しい」という思いがあります。
「AQUOS R5G」から「AQUOS R6」になったとき、いままでAQUOSシリーズをご購入いただけなかったカメラ好きのお客様が増えたと実感しています。
これまでもAQUOSシリーズを使っていながら、R6シリーズ以降でマニュアルモードを使うようになった、という人もいらっしゃると思います。R7は、SNSにアップされている写真を見ると、マニュアルモードを使うようなカメラ好きのお客様がAQUOSを購入するようになったのでは、と分析しています。ターゲットとして想定した人たちにミートできたかな、と思っています。
そうしたカメラ好きのユーザーも重要です。その一方で、そもそもカメラが購入動機ではないお客様にも「いままでのスマホと同じように撮ってみたら良い写真が撮れた」と感じて頂き、これまで以上にカメラを楽しんでいただければ嬉しいです。
ライカとの協力はどう進化した？
――「AQUOS R6」から引き続きライカとのコラボレーションを継続されていますが、「AQUOS R6」で初コラボしたときとの違いのようなものはあったでしょうか。
石野氏
「AQUOS R6」で鍛えられていたことでノウハウが貯まっていたこともあり、「AQUOS R7」ではライカの要求する画質をさらに再現できました。
新しいところでは、もともとAIでシーン検出やオートホワイトバランスをやっていますが、ライカ側の写真のプロフェッショナルから、「こういったシーンだとホワイトバランスをこうして欲しいよね」というようなコメントが来るので、それをAIに学習させ、シーン検出してホワイトバランスを合わせています。
ライカさんにはオシャレな写真を撮る技術があります。たとえば地面に落ち葉が落ちていて、立ってる人の片足だけが写った写真、みたいなシーン。こうしたシーンを想定せずにホワイトバランスを合わせると、全体が青っぽくなってしまうので、そこはシーン検出させて忠実な色になるように調整をしています。そういった、いままで撮っていなかったシチュエーションが多数あるので、プロフェッショナルの目が入ることは大きいな、と。
小野氏
「AQUOS R6」のときから、そうしたやりとりはしていますが、ライカの要求に対して応えていくと、さらにハードルの上がっていきます。ライカの要求が次から次へとレベルアップしていき、それに追いつくように開発を進めるので、時間をかければ全体の画質が向上していきます。
――そうやって要求に答え続けるとキリがないと思ってしまいますが、そこは目標とするレベルがあって、そこに達したら商品化、というような形なのでしょうか。
石野氏
「AQUOS R6」のときはそのあたりが曖昧で、開発終盤は大変でした。
小野氏
開発の日程は先に決まっています。そこに向けて、ライカからのいろいろな要求に可能な限り対応していくのですが……。「AQUOS R6」のときは苦労していて、ライカの承認が取れるか取れないかでギリギリまで開発を続けました。
今回は、そうした経験があったので、スンナリ……いや、決してスンナリではありませんでしたが、間に合って承認が取れました。
石野氏
ライカのテストがあって、それをパスして承認、という形ですからね。
平嶋氏
発表会の直前まで追い込みました。「AQUOS R6」の開発を経験し、ライカからはこういった指摘が多いとか、こういった指摘はしてくるよね、というようなシミュレーションができていたので、今回は先手を打つこともできました。学校の試験じゃありませんが、傾向と対策というところは、第2世代となる「AQUOS R7」で活かされています。
――ちなみに発売後のソフト更新で画質が向上するというのはあり得るのでしょうか？
小野氏
ありえます。むしろ、やっていかないといけないと思っています。
製品を実際に手にしたユーザーの方が写真を撮っている中でのコメントが出てきます。TwitterなどSNSでも見かけます。
そういった声は、真摯に受け止め、改善しないといけない。そもそも写真の画質に最終着地点はないと思っているので、常に画質改善はやっていきたいです。決して安くない端末なので、それを買っていただくのであれば、価格以上の満足感を得て欲しいと思っています。
新型の1インチセンサー
――写真の画質を支える部分では、ハードウェア面でR6からどこが変わっているのでしょうか。
宮崎氏
これまでのセンサー進化を見ると、R6になったとき、センサーサイズが大型化して画素数も変わりましたが、実はオートフォーカス性能が低下しています。
位相差式のデュアルPD方式ではなくなり、コントラストAF方式になりました。「AQUOS R7」ではセンサーを変え、最新のオクタPDを採用した、全面位相差AFとなっています。そこが大きな進化になっています。
あとは解像度優先と明るさ優先（画素を束ねて感度を高める）の2つのモードを切り替えることもできるようになりました。
――まったく異なるセンサーに見えますが、ここまで違うセンサーを採用すると、開発も苦労するものなのでしょうか。
宮崎氏
ハードウェア面でいうと、「AQUOS R6」で1インチを経験済みだったのは、非常に助かったポイントです。レンズ資産はかなり流用できました。センサーとレンズの両方をイチから開発となると、それはかなりツラいです。
1インチ採用の経験があり、レンズもある、というのが、「AQUOS R7」で新センサーを採用する後押しにもなりました。サイズが一緒なので、レンズだけでなくアクチュエータなども流用できています。
――「AQUOS R6」のときはデジカメ用のセンサーを使っているとのことで、信号処理がスマホと異なっていて大変とかおっしゃってましたね。そのあたりはどうなったのでしょうか。
宮崎氏
「AQUOS R6」のときはデジカメ用センサーなので、ソフトウェア処理を挟む必要がありました。
しかし、今回はモバイル用チップセットに接続することを前提としたチップ構成なので、スタート地点に立つのは、前回よりもラクでした。スタート地点に立ってからが本番なのですが……。
平嶋氏
解像度優先・明るさ優先もハードウェアエンジニアが苦労しているところかと。
宮崎氏
「AQUOS R7」では、ズームで「解像度優先モード」になり、暗い場面では「明るさ優先モード」になります。単純に言うと、開発の作業量が2倍になります。このあたりの新機能に関する開発作業が増えました。
画質を高めるソフトウェアの工夫
――ソフトウェア部分では、ハードウェア変更にともない、大変な作業もあったのでは？
石野氏
オートフォーカスの矩形処理が変わったり、いろいろ大変でした。
宮崎氏
たとえば2倍のデジタルズームをするとき、画面の中央50％くらいのエリアを使います。
このとき、解像度が低下しないように解像度優先モードに切り替わるようにするのですが、明るさ優先モードでデジタルズームをかけて解像度優先モードに切り替わると、全体の画素数が変わります。
つまり、「中央50％のエリア（矩形）」を示す座標が変わってしまいます。こういった部分の作り込みが大変だったかと。
課題のオートフォーカスをどう改善したのか
――オートフォーカスの話としては、今回、オクタPDの全面位相差に対応するセンサーを採用したから早くなった、ということだけでよいのでしょうか。
宮崎氏
オクタPD対応は一番大きいです。これにより、どれだけピントがずれているかを高速検出できます。
あともう一点としては、オートフォーカスの制御、アクチュエーターも高速化しています。
フォーカス検知が速くても、レンズを移動させるアクチュエーターが遅いと意味がありません。そこを素早く追従できるよう、アクチュエータの駆動パラメーターを変え、最適化しました。
さらにセンサーから取得した位相差情報の処理部分に力を入れています。
オートフォーカスの高速化は、この3つの合わせ技です。
石野氏
高速化だけでなく、センサーが大きいと被写界深度が浅くなるので、そこはAIで瞳検出とかもやって、瞳がくっきり写るように、といったことはソフトウェアでやっています。
小野氏
AIの使い方も見直しています。いままでAIは画質に対してしか使っていませんでしたが、今回はオートフォーカス時、被写体に対して使ったりもしています。
――モノクロのサブカメラがありますが、あちらは測距のみでしょうか？ オートフォーカスの補助には？
平嶋氏
あちらは人物ポートレート用の測距センサーとして使っています。
小野氏
全画素を用いた位相差AFの方が追尾などを含めて有利なので、オートフォーカスはメインカメラのAFのみを使い、モノクロセンサーはあくまでポートレートを良いものに仕上げるため、というところで採用しています。
――細かいスペックを見ると、最短焦点距離が短くなりましたが、これもセンサーが変わった影響ですか？
宮崎氏
マクロ撮影は、レンズの繰り出し距離の問題です。
実はこれ、どちらかというと、アクチュエーターの話です。
「AQUOS R7」ではマクロ撮影可能距離をより小さくするため、カメラモジュールの生産工程での個別調整結果を反映することで各モジュールの限界値までレンズを繰り出せるようにしています。
ポートレート撮影をレベルアップさせたしくみ
――ソフトウェア的な話で言うと、ポートレートの写真、なびいている髪とか指の輪郭とかがよりハッキリ捉えられる、とのことですが、このあたりはどういった仕組みで実現しているのでしょうか。
宮崎氏
「AQUOS R6」ではシングルカメラだったので、ボケ抜けが難しかったですが、「AQUOS R7」ではモノクロとメインの2つを使うことで被写体の距離を取り、ぼかすところとぼかさないところを検出してソフトウェア処理しています。
さらに今回はローライトHDRを新規で導入しています。暗い場所でもHDRをかけ、人を明るく撮りつつ、キレイなボケも入れられるようになっています。
――ローライトHDRはどのような機能なのでしょうか。
石野氏
利用シーンとしては、ナイトモードだと明るすぎ、HDRモードでは暗すぎる、そんなシーン補完するのがローライトHDRです。
小野氏
ナイトモードは明るさを持ち上げますが、オシャレな夜景シーンはネオンなどの光源があります。
そういったシーンをいきなり目一杯明るくして撮るのは、ちょっとユーザーが望んでいることと違うかな、というところがあります。
そこでローライトHDRというモードを開発し、なおかつ、すぐにナイトモードに入らず、ローライトHDRでできるだけ引っ張るような方向性に調整しました。
1インチセンサーのおかげで、もともと光量を得やすいので、相性が良い機能です。たとえばネオンと人物を撮ったとき、その両方が広いダイナミックレンジでキレイに撮れる、というのは大事なことじゃないかと。
――この機能はセンサーやチップセットのサプライヤーが用意した機能なのでしょうか。
小野氏
ベース機能すべてがシャープの技術ではなく、もともとあったHDRやローライトの技術に、フレーム合成の露出など味付けを変えて実現しています。
平嶋氏
シャープの着想でシャープなりにアレンジした、というイメージです。
Pro IGZO OLEDディスプレイ、今回の進化点
――カメラはかなり進化していますが、ディスプレイのPro IGZO OLEDはR6と同じデバイスということで、中身はあまり変わっていないのですか？
関氏
いろいろ進化しています。
映像を見るというところは、ハードウェアの進化も必要ではありますが、それだけでなく制御や画質調整などソフトウェアもあり、それらをトータルしたところが見えてきます。今回、ディスプレイはハードウェアの進化はいったん置いておいて、ソフトウェア処理のところに力を入れたことがポイントになっています。
いま、世の中にあるコンテンツは、解像度もフレームレートもあまり高くありません。せっかく良いハードウェアを搭載していても、その性能を生かし切るコンテンツがない状態です。そこのギャップをAI超解像などで埋めることに注力しています。
――超解像技術は映像技術としてはよくある機能ですが、「AQUOS R7」にはどういった観点で搭載したのでしょうか。
関氏
AI超解像ということで、表示するコンテンツを処理するところを初めてやっています。AI超解像を選んだ理由は、自然な形で出力できるという特徴にあります。
AQUOSというと液晶も含め画質が好評なので、R6ではより自然に見せられるように調整しました。その流れで、超解像についてもそれにフィットするような自然な処理が良いだろうと考えています。
――R7に表示できる映像はすべて処理が適用されるのでしょうか。
関氏
今回の処理は著作権保護の入っている配信映像系には対応していません。YouTubeとかはOKです。こうした日常で使いやすいところを、AI超解像でよりキレイに見られるようにしています。
――著作権保護が問題になるのですね。
平嶋氏
ちゃんとした映像配信サービスだと、すでに映像に対する世界観やクオリティをサービス側で担保しているので、そこに補正を加えるのではなく、配信者側のクオリティで楽しんでもらいたい、とも考えています。
超解像以外にも、タッチのレスポンスなどの制御のチューニングにも苦労しています。
岡坂氏
AQUOSでおなじみのアイドリングストップも進化しています。開発段階で商品企画からは「0.1Hz単位で制御できないのか」といわれましたが、ここのレスポンスが速くなったり細かくなったりしても、電力消費が劇的に落ちるわけではありません。それよりR7では、アイドリングストップで平均フレームレートがもっと下がるように、細かい制御を追加しました。
――各社が最大フレームレートを上げることを競い合っているのに、平均フレームレートを下げるというのは面白いですね。画面更新が不要な瞬間を瞬時に検知する、というのにつながっていると？
平嶋氏
動作時と静止時の判断を厳密に入れているのが大きいです。同じデバイスでやっているから、練度が上がり、デバイスの良さを引き出せます。同じデバイスを使い続けることで、開発の練度も上がり、こうしたエッジケースまで拾っていけて、日常利用で良い体験を提供できています。
――平均フレームレートはどのくらい下がるのでしょうか。
関氏
シーンごとにさまざまですが、目標値としては1割くらい低減させられないか、と考え、シーンにもよりますが、そのくらいを達成しています。
――ディスプレイ関連でいうと、R6のときもそうですが、ディスプレイ埋め込み型の指紋認証センサー、こちらが保護ガラスとの相性が悪いのでは、と感じるところです。ここはどうにかならないのでしょうか。
平嶋氏
そこの指摘は課題と認識しています。保護フィルムは、PETフィルムとガラスの2パターンがありますが、フィルムメーカーと検証していても、フィルムごとにバラツキが発生していると感じます。厚みや素材、構成要素などがさまざまで、そこのバラツキが指紋認証の精度に影響することは認識しています。
検証機の貸出など、今後ともフィルムメーカー様やベンダー様と連携を密にとることで改善に取り組んでいきます。
――御社のWebサイトにアクセサリ情報が集約されていますが、そこに掲載されている製品なら大丈夫なのでしょうか。
平嶋氏
そこで紹介しているものを積極的に選んでいただければ、と考えています。そこに掲載されているメーカー様は、DESIGN FOR AQUOSというアクセサリ開発プログラムに参加しているパートナー様になります。
――本日は長時間、ありがとうございました。