NECと奈良先端科学技術大学院大学はこのたび、簡単な操作でデジタルカメラ本来の撮影性能を超える広視野かつ高精細な画像生成を可能にする、画像高品位化技術の開発に成功しました。
このたびの開発は、カメラの動き推定に基づく、モザイキング技術(注1)と超解像技術(注2)の2つのコア技術により実現したもので、主な特長は以下の通りです。
| (1) |
カメラを動かしながら被写体の一部を撮影し、その動画像中の動きを解析して、各フレーム撮影時のカメラの三次元位置や撮影方向などのカメラの動きをリアルタイムに推定。その推定結果に基づきモザイキング処理を行うため、特殊なカメラ走査機構や位置センサが不要となり、カメラを手持ちで自由に動かしながらモザイク画像が撮影可能に。 |
| (2) |
カメラ動き推定結果を、前後のフレームだけでなく、撮影した映像の全フレームにわたって最適化することで推定精度を向上し、モザイク画像の継ぎ目を消去。 |
| (3) |
高精度なカメラ動き推定に基づく超解像処理により、スキャナ入力並みの高画質化を実現。 |
このたびの開発の結果、普及型ビデオカメラやカメラ付き携帯電話を用いて、スキャナや高級デジタルカメラ並みの高精細な画像を、いつでもどこでも撮影できるようになります。
近年、デジタルカメラやカメラ付き携帯電話の普及と共に、その用途や被写体も多様化し、従来はスキャナを利用していた場面にカメラを用いる例も増えています。こうした利用シーンでは、実用性の観点から、出力画像もスキャナと同程度の精細さ(解像度)や画像サイズ(視野)が求められます。しかし、A4サイズの文書1ページ分をスキャナ並みの解像度、例えば400dpi相当で撮影するには、約1500万という撮像画素数が必要になり、普及型デジタルカメラでは画素数が大幅に不足します。
従来から、撮影画素数の不足を補うには複数の低解像度画像から高解像度(あるいは広視野)画像を合成する手法が利用されていました。しかし、そのためには撮影範囲を精密に制御する機械的走査機構(カメラ雲台等)や位置センサなど、設置・設定に手間がかかる機器が必要で、装置全体が大きく、コストも高くなるため、この手法は特殊な用途に限られており、民生用カメラ機器(ハンディビデオカメラ、カメラ付き携帯電話など)への適用の難しさが課題となっていました。
このたび開発した画像高品位化技術は、こうした課題を克服するもので、特殊な機械的走査装置や位置センサを用いずに、普及型ビデオカメラや携帯電話に付属するカメラで、カメラ本来の撮影性能を超えた広視野かつ高精細な画像を撮影できるようになります。例えば、市販のビデオカメラでA4サイズの書類を撮影したビデオ映像から、スキャナ入力並みの解像度の画像生成が可能になります。
NECでは、今後、本技術を活用して画像や映像をより高度に利用する用途を開拓し、より快適なコミュニケーション環境やユビキタス情報社会の実現を目指していきます。
なお、本技術はNECと奈良先端科学技術大学院大学との産学連携ラボ(注3)による研究成果です。
| （注1） |
モザイキング技術:平面、あるいは、遠景のようにほぼ平面とみなすことができる被写体に対し、カメラ本来の画角を超えた、広視野画像(モザイク画像)を生成する技術。被写体がカメラに収まりきらない場合に、被写体の部分画像をカメラの位置や向きを変えながら複数撮影し、それら画像を統合して、被写体全体が収まった画像を生成する技術。 |
| （注2） |
超解像技術:同じ被写体を微妙にずれたアングルから撮影して得られた複数の画像を統合することで、被写体の細部を推定/復元し、カメラ本来の性能を超えた高精細な画像を生成する技術。 |
| （注3） |
NECは、産学が連携するための独自の取り組みとして、大学の教授や学生を受け入れて特定のテーマを共同で研究する「連携ラボ(研究室)」を実施している。今回の成果は、コンピュータビジョン研究における第一人者である、奈良先端科学技術大学院大学の横矢教授らをNECの客員研究員として招き、NECインターネットシステム研究所の研究者と「連携ラボ」を構成して取り組むことで実現した。 |
＜本件に関するお客様からの問い合わせ先＞
NECラボラトリーズ 研究企画部 企画戦略グループ
電話: (044)856-2054(直通)
e-mail: koho@cl.nec.co.jp
