こんにちは

キャスレーコンサルティング・経営企画部・研究開発担当の西形です。

弊社の新画像処理技術(以下、新技術という)について、全3回にわたって説明をしています。

前回までの記事はこちらを参照してください。

さて、最終回の第3回目は、新技術の技術的な背景について書いてみようと思います。

メーカー技術者・研究職務者向けに記述していますので、かなり専門的な部分もありますが、ぜひご覧ください。

今回は、

 テーマ1:画像復元技術

 テーマ2:新技術の背景

以上、2つのテーマに沿って書いていきます。

【画像復元技術-逆畳み込み・デコンボリューション-】

「ぼやけてしまった画像を鮮明に復元したい」と思ったことはないでしょうか?

画像がぼやけてしまう原因は幾つかありますが、

 ぼやける原因1:機械的にピントが合っていない

 ぼやける原因2:光の回折現象によるピンボケ

以上2つの原因に注目してみます。

これらの原因により画像がぼやけてしまうことを、畳み込み積分・コンボリューション(convolution)・ブラー(blur)などと呼びます。

一方、コンボリューションによってぼやけた画像から鮮明な画像を復元する処理を、逆畳み込み・デコンボリューション(deconvolution)・デブラー(deblur)などと呼びます。

この記事では、一貫して、コンボリューション・デコンボリューションという呼び名を使うことにします。

弊社研究開発では、新型のデコンボリューションの研究開発を行なっています。

blog001

【画像復元技術-デコンボリューションの目的と限界-】

先に記したように、デコンボリューションの目的は、画像のぼやける原因を取り除くことです。

近年のデジタルカメラのオートフォーカス技術は非常に優れており、昔ほど画像がぼやけてしまう状況に遭遇し辛くなっています。

しかし、光学ズームを過度に用いると、機械的なピントが合っていても光の回折現象によってぼやけが生じます。

このような状況で、デコンボリューションは有効に働きます。

「デコンボリューションは、回折現象によりぼやけた光学ズーム画像を鮮明にする」と書くと、まるでSFの話題のように聞こえてしまうかもしれませんが、実際には、回折限界という理論限界に従って、劇的な画像回復は非常に困難です。

blog002

【新技術の背景-回折限界を突破する方法-】

回折限界を突破する方法は、大きく分けて3つ存在します。

 突破方法1:伝搬光ではなく近接場を光源に使う。

 突破方法2:統計などに基づいた回復画像の予測を用いる。

 突破方法3:新型の解析アルゴリズムを発明する。

以上の分類の中で、弊社は3番目の方法で回折限界の突破を目指しました。

【新技術の背景-従来の解析アルゴリズムの復習-】

従来の解析アルゴリズムはフーリエ変換を用いています。

フーリエ変換を利用することの問題点を理解することで、新型アルゴリズムの開発方針が決定します。

さて、コンボリューションを少し数学的に表現すると、次のようになります。

「コンボリューションとは、ぼやける原因の関数(点広がり関数・Point Spread Function、略してPSFと呼ばれる)と鮮明な画像の畳み込み積分である。」

ここで、コンボリューションをフーリエ変換すると、有難いことにコンボリューションからPSFによるぼかす効果を分離することができます。

このようにしてコンボリューションから鮮明な画像を取り出す考え方がフーリエ変換を用いた従来の解析アルゴリズムの基礎です。

blog003

問題点を探しましょう。

実はコンボリューションの数学モデルは平面全体で、すなわち無限に広がる画像を想定して作られています。

実際に扱える画像は有界ですから、実際のコンボリューションは数学モデルから少しずれます。

無限に広がる画像から有界な画像をトリミングする操作は、窓関数を掛けると呼ばれています。

この用語を用いると、実際に扱う画像はコンボリューションではなく、コンボリューションに窓関数を掛けたもの、となります。

このとき、窓関数が掛かったコンボリューションをフーリエ変換しても、PSFを分離することはできません。

以上の、窓関数を掛けたことに起因するずれは、空間周波数の高い部分で、すなわち画像のディテールに係る部分で影響が大きくなり、ノイズを発生させます。

従来の方法ではこのように、画像のディテールを復元しようとするとノイズが発生するため、ノイズを抑えたディテールのぼやけた画像しか得られません。

これを、ノイズと空間分解能のトレードオフ関係といいます。

blog004

【新技術の背景-新型アルゴリズムの開発方針-】

もう一度、従来の解析アルゴリズムの問題点を書いておきます。

 原因:窓関数を掛けること。

 結果:ノイズと空間分解能のトレードオフ関係。

さて、窓関数が掛かってしまうことは避けられないため、窓関数に依存しないアルゴリズムを考えればよさそうです。

初めから有界な画像を仮定したデコンボリューションを構築すれば、その有界サイズを超える窓関数には依存しなくなります。

このようなデコンボリューションのことを、弊社では、局所デコンボリューションと呼んでいます。

最後に、新技術の研究結果について紹介したいと思います。

blog005

【研究成果】

前振りをした通りですが、局所デコンボリューションについて以下の工程を全て解決しました。

 工程1:局所デコンボリューションの存在証明

 工程2:局所デコンボリューション方法の構築

 工程3:局所デコンボリューション方法の量子化と標本化

 工程4:コーディングとコンピュータ実験

量子化・標本化サイズによりますが、概ね正確なデコンボリューション結果が出ています。

幾つか、実験結果を見てみましょう。

blog006

blog007

如何でしょうか。

従来の理論限界を遥かに超えていることが解ります。

弊社はCSVの観点から、この技術を応用可能な産業に展開し、日本はもとより、世界の人たちの生活を変える技術にしたいと考えています。

この分野では、世界最先端の技術と考えていますので、産業応用可能な会社様や投資家の方からのご連絡をお待ちしております。

<お問い合わせ先>

キャスレーコンサルティング株式会社

画像解析研究窓口

以下のコンタクトフォームよりお問い合わせください。

https://www.casleyconsulting.co.jp/contact/