ソニー株式会社およびソニーセミコンダクタソリューションズ株式会社は、世界初となるAI処理機能を搭載したイメージセンサーを商品化する。
本製品では画素チップとAIによる画像解析処理機能を搭載したロジックチップを重ね合わせた積層構造を用いており、クラウドを介さずに画素チップで取得した信号をセンサー内でAI処理を行なうことが可能で、かつ高性能なプロセッサや外部メモリを必要としないメリットがある。
センサーの主な仕様は両製品とも、有効画素数が約1,230万画素、センサーサイズが対角7.857mm(1/2.3型)、画素サイズが1.55μm、フレームレートがフル解像度時60fps、4K(4,056×2,288ピクセル)時60fps、1080p時240fps、Full/Video＋AI処理時およびメタデータ出力時は30fps。感度は標準値F5.6で約250LSB、センサー飽和信号量(最小値)は約9,610e-。そのほか、ISPやHDR撮影機能も備える。
（記事を一部引用しています）
（記事元）https://pc.watch.impress.co.jp/docs/news/1252747.html
ソニーがAI機能付きのイメージセンサーを発売
PCWatchがソニーの新しいイメージセンサーについて報告しています。
記事によれば、ソニーは新しいセンサーを発売するようです。このセンサーは1/2.3型のCMOSセンサーで、有効画素数は約1230万画素なのだそうです。しかも4k動画の出力も可能なようです。このスペックだけみると、なんだ廉価コンデジ用のイメージセンサー？っていう感じがしますが、驚くことにこのセンサーにはAI処理機能が内蔵されているのだそうです。
これによりイメージセンサー単体でAIにより画像識別などができるようになったり、画像を出力しなくてもその画像識別結果だけを出力するようなことが可能なのだそうです。
仕様に「Full/Video＋AI処理時およびメタデータ出力時は30fps」とありますので、AI処理は1秒間に30回ほど画像判別する能力があるっぽいですね。
いったいどういう理由でイメージセンサーにAIを乗せようと考えたのでしょうか？
今後はクラウドに頼らないAIが主流に？
既存のAIは、データをいったんクラウドに送り、クラウドで機械学習し、そして判別した結果が返ってくるというような感じになっています。例えば撮影した写真ならいちどクラウドに写真を送り、クラウドが゛機械学習した情報を元に画像判別を行い結果が返ってくるわけです。
このセンサーはたぶんiPhoneにあるAIチップのような感じで、クラウドなど別のコンピュータで機械学習されたモデルを利用して、イメージセンサー側で判断を行うAI推論チップじゃないのかな？と思いますね。つまり画像データをわざわざクラウドに送信しなくてもイメージセンサー内で結果を出せてしまえるというわけです。
で、これで何ができるかというと、クラウド上で判断を求めるとどうしてもタイムラグがでてきてしまうので、リアルタイムに判断できるような仕組みのあるものに利用されるようです。
例えば自動運転とか、人の探知、商品棚における商品の欠品などを画像から判別して結果を送信することが、一つのチップで可能になるので、より便利に利用できるそうです。このように最近はクラウドを使用せず、端末側のAI機能で判別させる取り組みが進んでいて、そのことをエッジAIと呼んでいます。
センサー一体化なので本体そのものも小さくしたり、画像をいちど送るような大きなメモリなども少なく済むようで、そのぶん廉価な小さなカメラとして作れる可能性があるようですね。
これで様々なカメラにAIが搭載され、防犯、人や車のカウント、パンなどバーコードの晴れない商品の判別など、非常に便利に利用されるかもしれませんね。
[template id=”4241″]
