ニュース

「今までの“超解像”は嘘八百」~「arrows NX」のリアルタイム超解像技術を発明者が解説

 NTTドコモの冬モデル「arrows NX F-02H」の映像処理エンジン「Xevic」(ゼビック)には、再生映像を高精細化する「超解像技術」が組み込まれている。その技術を発案し、メーカーの富士通との共同研究プロジェクトによってスマートフォン向けに実用化したのは、工学院大学 情報学部情報デザイン学科の合志清一教授の研究グループだ。

工学院大学 情報学部情報デザイン学科 合志清一教授

 合志教授が開発した「非線形信号処理方式」は、今までの超解像技術と異なり、映像処理に用いられる初の実用的な「超解像技術」だという。17日に工学院大学が実施した説明会で合志教授が記者向けに今までの処理方式との違いを解説した。

 従来の超解像技術には原理的な限界があり、元の画像の持つ情報量をを超える情報量を作り出すのは不可能だという。

 こうした既存の“超解像”技術に対し、合志教授の「非線形信号処理方式」は、リアルタイム映像に使用する技術としての実用を前提として開発されたもので、いわば「コロンブスの卵」的な発想の技術。バッテリー消費はほとんどなく、高精細化によって画面輝度を落としても見やすくなるため、将来的には省電力化にもつながる可能性がある。

従来の超解像技術の限界

 超解像技術とは、低解像の画像・映像から高精細な画像・映像を作り出す技術のこと。「超解像」という言葉から、刑事ドラマで監視カメラの映像を鮮明に拡大する技術を想像するかもしれない。合志教授は「こんな技術は永久に実現できない」と断言する。

高解像度化のメカニズム

 また、家電量販店の店頭に並んでいる4K対応テレビは軒並み「超解像」を謳っている。合志教授はこれらのテレビを例として挙げて「この超解像は嘘八百」と切り捨てる。

 4KテレビでフルHD(1920×1080ドット相当)の放送を受信する場合、4K解像度(3840×2160ドット相当)にアップコンバート(高解像度化)して表示する。この時単純に拡大するとぼやけた映像となってしまうため、4Kテレビのメーカー各社は映像を鮮明にする技術を“超解像”と名づけて盛り込んでいる。

 テレビメーカーは自社の「超解像技術」を、今までの学術研究がなされている2種類のどちらかに属すると主張している。「再構成超解像」と「学習型超解像」だ。

再構成超解像
学習型超解像

 「再構成超解像」は、元画像から縮小画像を作成し、計算により画素を並び替えることで高解像度画像を作成する技術。そのため、元の画像をはるかに超える解像度の画像を作り出すことはできないという。もう一方の「学習型超解像」は、あらかじめ用意した高解像度画像のデータベースを参照し、受け取った画像に適したものを選んで高解像度を合成するというもの。

 「学習型超解像」は一見実用的だが、学術レベルのアルゴリズムでは1枚の画像から高解像度の画像を作成するために数分程度の時間がかかり「リアルタイムで処理するのは不可能」(合志教授)と話す。

 これらテレビ販売において使われている“超解像”技術について合志教授は「実は輪郭部分のディテールの強調(エンハンサー)を行っただけではないか」と分析している。

 スマートフォンでの超解像技術の実現には、これらの既存技術の限界に加え、新たに専用の部品を追加する余地がないという問題も立ちはだかる。

「arrows NX」に搭載される「非線形信号処理方式」とは

 合志教授の技術は、従来のディテールを鮮明する技術のプロセスに「シンプルな非線形関数」による演算処理を加えたもの。従来の技術では不可能だった、デジタル信号を映像として表示する際の技術的限界を超える高精細化を実現できるとしている。

実証実験では、非線形信号処理方式の超解像技術を有効にした「arrows NX F-02H」と有効にしていない「arrows NX F-02H」に加え、他メーカーのスマートフォン5台を用いて主観的画質評価実験を実施。その結果、フルHD解像度のサンプル映像5種類すべてにおいて、同技術を有効にした「arrows NX F-02H」が最も高精細であると実証されたという。

 非線形信号処理方式の超解像技術が民生用で実用化されるのは「arrows NX F-02H」が初めて。同技術を実用化できたのは、スマートフォンの高性能化に加え、富士通のスマートフォンへの実装が優秀なためだという。現状「arrows NX F-02H」で超解像技術を利用できるのは映像再生中のみだが、合志教授は、技術的にはあらゆる画面表示で利用可能で、4K映像に対しても有効性を確認したと話した。

「arrows NX F-02H」で超解像有効(上)と無効(下)の比較。リンク先は無加工
他社端末と並べての比較。超解像が有効の「arrows NX F-02H」は右上、リンク先は無加工
実機サンプル1。超解像有効(右)と無効(左)、リンク先は無加工
実機サンプル2。超解像有効(右)と無効(左)、リンク先は無加工

石井 徹