第889回：コンピュテーショナルフォトグラフィーとは

「撮影」の概念が変わる

　今回紹介する「コンピュテーショナルフォトグラフィー（Computational photography）」とは、コンピューターによって処理・生成された写真といった意味のワードです。

　一般的に、写真と言えば、レンズで捉えてフィルムに、デジタルカメラではレンズとイメージセンサーに記録したものと思われるでしょうが、コンピュテーショナルフォトグラフィーは、「写した」だけのものではなく、計算による画像処理の結果によって形成されるようになるというものです。

　現代の「写真撮影」ではデジタルカメラに切り替わるという大きな進化がありました。フィルムがイメージセンサーに置き換り、処理がデジタル化されたわけです。しかし、基本的にはそれ以外の部分はほぼ変わりないとされてきました。撮影の瞬間、レンズに写ったモノを画像化することが「撮影」として捉えられてきました。

　ところが、カメラの進化はさらに進んでいます。カメラ全体の構成、使われ方が再構築されています。

　コンピュテーショナルフォトグラフィーは、本当にさまざまな用途があるのですが、最近のスマートフォンでの写真撮影は、典型的なものと言えます。

　たとえば、夜に撮影する場合、長時間露光の手ぶれを推定し、夜景を実際のイメージセンサーが捉えた映像よりもきらびやかにします。さらに星や花火といった光の航跡や色も鮮明なカーブで描き出します。

　人の目には、灯りが足りず、暗がりとしか見えなかった部分まで鮮明に映し出します。また人々を写すとき、全員が笑顔になっている場面を作り出します。

　これらの写真は、AIによる計算によって、より鮮明に、その瞬間の情景や景色を創り出されているのです。

　いわゆるAIや機械学習の成果を使って、カメラのイメージセンサーが捉えた画像データを選別、加工、不完全さを補うことも、コンピュテーショナルフォトグラフィーとされているのです。

次世代のカメラに欠かせないAIパワー

　コンピュテーショナルフォトグラフィーでは、従来の写真機で「光学プロセス」とされていた部分に代わって、イメージセンサーとAIを含むコンピューターで構成されたデジタル画像処理技術が大半を受け持つことになります。

　もちろん、従来のデジタルカメラも「画像を鮮明にする」「ノイズを抑える」といった目的で画像処理エンジンが搭載されていました。ただ、これまでの画像処理エンジンと比べ、コンピュテーショナルフォトグラフィーでは、圧倒的なコンピュータパワーで、何十枚ものイメージを用いて、最終的な一枚の写真を、自動かつ最適な形で合成します。人が介在しなくても、機械（コンピューター）が学んだ「最適」に合わせ、さまざまな処理をして最高の一枚を作り上げてくれるのです。

　たとえば、コンピュテーショナルフォトグラフィーの手法では、超HDR（ハイダイナミックレンジ）のイメージを撮影する場合、画像ステッチングという、重なり合う被写体の複数の異なる露光画像からの情報を最適に組み合わせます。

　このほか、コンピュテーショナルフォトグラフィーの例としては、可変焦点カメラも挙げられます。写真撮影後、特定の距離の場所のピントを合わせたり、またボケさせたりすることができる、というものです。いくつかの機種のスマートフォンでもお馴染みの機能です。

　特に最近のハイエンドスマートフォンでは、グーグルの「Pixel 3」「Pixel 3 XL」や、AppleのiPhone、ファーウェイの「Mate 10 Pro」「Mate 20 Pro」などで専用のAIプロセッサが搭載されています。スマートフォン向けチップセットを手がける米クアルコムが自社製品向けに「Neural Processing SDK」を公開しました。

　こうした流れは、スマートフォンで、AIや機械学習を扱える余地が非常に大きくなってきていることが背景にあります。これまで考えつかなかったような効果を使った写真も、いずれはスマートフォンで簡単に生成できるようになるかもしれません。

より専門的な応用も

　コンピュテーショナルフォトグラフィーというワードは、スマートフォンでの活用でより広く知られるようになってきていますが、実際には古くから、多くの分野で研究、実用化されています。

　たとえば、病院などで行われるCT検査というものをご存じの方もいるでしょう。人の体の断面図を撮影する検査です。「CT」はコンピュータ断面図（Computed Tomography）を略した言葉です。

　原理的には、X線を発する管球とX線検出器がドーナツ状の架台内を回転しながらデータを収集し、人体の輪切り画像をコンピューターによって再構成しているのです。計算機による計算写真、コンピュテーショナルフォトグラフィーの一種であると言っていいでしょう。

　コンピュテーショナルフォトグラフィーの用途としては、写真からアニメ風の絵を生成する、欠けたり破損したりした画像を修復する、画像に芸術的な効果を付ける、2Dから3Dモデルを生成するといった形があるでしょう。