スマホのカメラと通常のデジタルカメラの違い、それはソフトウェアのマジックで「ソフトウェアデファインドカメラ」にあるとMarc氏は言い、多くのトレーニングデータで機械学習を行う事で精度が上げられると説明します。さらにGoogleは世界に対して”マジックのタネ明かし”をすることで、イノベーションを加速させたいと言い、今回は4つの機能の裏側を説明しました。
1つ目がHDR。通常のHDRはハイライト部分とシャドー部分に分けて撮影して合成しますが、この方法だと撮影に時間差があるので”動き”に対して問題が発生します。そこでGoogleが行ったのは(露光不足になっても)連写する事。これによって通常部分はそのまま利用できますし、シャドー部分は合成することでノイズを減らせます。
さらにPixel 4では、コンピュートパワーを生かして機械学習で近似値を計算し、結果の画像をライブでプレビュー画面に表示するライブHDR+と、それにより、プレビューしながらシャドーとハイライトの調整が可能になるデュアル画像補正を可能にしました。
2つ目はポートレートモード。従来スマホのポートレートは二つ以上のカメラを使って、得られた奥行(深度)情報を元に「関係ないエリア」をボカすことで大口径カメラのようなボケを実現していました。
Pixel 3では一つのカメラでもポートレートモードが実現できています。これはセンサーが持つ位相差検知オートフォーカスの仕組みを使って奥行情報を得られます。これによって奥行によってボカシを入れることができるというわけです。ただし、通常のカメラと異なり、ある程度の奥行範囲に限定してボカしを入れないことができるので、鼻の頭も目もピントがあった状態の画像を得ることができます。
3つ目は超解像ズーム。実はカラー撮影素子の一つ一つはすべての色を読み取ることができません(RGBの色フィルターが付いているので、各素子はその色しか読めないのです)。これを解決するために使用したのが「手振れ」です。
撮影中にカメラ動かすことで、止まっていては読み取れない隣接したピクセルの読み取りを可能にしており、手振れ補正のOISを使う事でわざと動かして情報量を増やしています。これによって2倍の光学ズーム相当の画質を得ることができます。さらにPixel 4では2倍の光学ズーム機能を併用することで実質4倍までかなりよい画質の画像が得られます。
（記事を一部引用しています）
スマホの画質の秘密は合成とAI技術
googleがスマホカメラの技術について解説しています。その一部を引用したのが上記の記事です。記事によれば、googleはスマホカメラの画質向上のため、様々な合成技術やAIによる補正などの機能を利用しているようですね。その特徴的な例が、カメラにも似たような機能がありますがHDR機能で、露出の異なる複数の画像を合成して、白飛びと黒つぶれしてしまうことを防止する機能ですね。通常は白飛びしてしまった部分を露出を低く撮影した画像で補完し、黒つぶれしてしまった部分を露出を高く撮影した画像で補完し、二つの画像を1つの画像にして出力するようなことをしています。
ですが、googleの場合は露光不足になっても、とにかく連写をし続けているとのことですね。露出不足ですと、まず白飛びがなくなるわけではないと思いますが、かなり白飛びすることが少なくなります。逆に暗い場所は暗くなって黒つぶれしたりノイズが多くなるわけですが、それに関しては暗い場所の部分同士を合成してノイズを減らすような処理を行っているようですね。
さらにポートレートモードでは像面位相差センサーを利用すれば、どれだけピントがズレているのか数値的にわかるので、これを利用することで被写体からの距離を理解することができるようです。被写体との距離がわかれば、電子的にソフトフィルターをかけるような処理を行えば、自在にボケ量をコントロールできるということなのでしょう。
ボケを自在に生成できる可能性
像面位相差をフォーカスを合わせることに利用するのではなく、被写体との距離を測定する目的で利用するというのは、ちょっと盲点だったなと思いました。それまではピントを合わせるために利用するものと理解していましたが、確かにピントが合うまでの量を計測できますので、現在ピントがあっている被写体からどの程度の距離があるのか測定できることが可能になりますね。
ということは、すべての画素についてその画素にある背景が被写体からどの程度の距離が離れているのか測定できる可能性がでてくることになります。それが可能なのがキヤノンのデュアルピクセルオートフォーカスですね。詳しい説明は省きますが、キヤノンのデュアルピクセルオートフォーカスは全画素をオートフォーカス用のセンサーとして利用できるような仕組みになっています。ということは、全画素について被写体からどの程度の距離だけ離れているのかを測定できることになります。
撮影時に全画素から光量だけでなく、位相差センサーとしての情報を得ることができれば、そのデータをもって簡単にソフトウェアの計算によってボケを作れる可能性がでてくるわけですよね。そしたら、スマホはついに完全なボケを作ることができ、いよいよ大型センサーのメリットがまた一つ無くなる可能性がでてくるのでは？と考えると、ちょっと大変なことになりそうだなと感じました。
詳細は本記事下部の記事元リンクからどうぞ。
（記事元）https://headlines.yahoo.co.jp/hl?a=20191224-00000002-mynavin-sci
コメント
コメント一覧 （1件）
究極的な言い方をすれば、写真とは階調を持った多様な色の集団を平面に配置したものといえますので、これらの並び方やその集団内の色等のグループ分けが自由に出来る場合では、「何とでもできる」訳です。
さらに、自己学習できるAIを用いれば、機械学習の時のような教師データから結果を導くのに必要な手段さえも教える必要はありません。だんだん賢くなって来て、最後には私達が好むような絵（写真）を撮影しなくても自分たちで自由に撮れる（作れる？）ようになると思います。
例えば「森山大道風で、場所は新宿か渋谷、男女が傘をさしている後ろ姿」とリクエストすれば、そんな画像が出てくるといった事もできるようになるでしょう。シャッタ－が無くなるいえばより解りやすいかもしれません。