画像処理：空間フィルタリングと2次元フーリエ変換

背景 (Background)

古い写真をきれいに復元したり、医療用のX線画像から病変だけをくっきりと浮かび上がらせたりする「画像処理」技術は、現代社会のあらゆる場所で活躍しています。私たちが普段見ている画像は「ピクセルの明るさ（空間領域）」の集まりですが、これを「波の集まり（周波数領域）」に変換することで、画像の中に潜むノイズ（細かく素早い波）や全体の大まかな形（ゆったりとした波）を自在に操ることができるようになります。この空間と波の世界を行き来する魔法の数式が「フーリエ変換」です。本研究では、実際にコンピュータ上でこの2次元フーリエ変換（2D-FFT）を実装し、見慣れた画像を周波数の世界へと変換して自在にノイズを除去・操作する画像フィルタリングの深淵なメカニズムに迫ります。

本プロジェクトでは、高斯フィルタや平均フィルタを用いた画像のノイズ除去、および手書きの2次元フーリエ変換（2D-FFT）を実装し、周波数領域におけるフィルタリングによる画像変換処理の基本原理を実践的に理解することを目指しました。

導入と目的

本研究は、画像変換の処理を題材として、画像処理プログラミングおよび画像データの取り扱いに関する基本的な考え方を理解することを目指しています。特に、画像に対して2次元フーリエ変換と周波数フィルタリングを実装し、入力画像やパラメータを変化させながらそれらの変換結果を観察・評価することで、周波数領域での画像処理に対する理解を深めることを目的としています。

理論

2次元フーリエ変換

2次元空間で定義された関数 $f(x,y)$ に対するフーリエ変換 $F(u,v)$ は、以下のように定義されます：

$$F(u,v)={\iint }_{-\infty }^{\infty }f(x,y)\exp \left(-j2\pi (ux+vy)\right)dxdy$$

ここで $j=\sqrt{-1}$ であり、$u$, $v$ はそれぞれ $x$, $y$ 方向の空間周波数です。フーリエ変換を用いることで、空間領域で表現された関数 $f(x,y)$ を、周波数領域での関数 $F(u,v)$ に変換することが可能となります。

逆フーリエ変換は以下のように表されます：

$$f(x,y)={\iint }_{-\infty }^{\infty }F(u,v)\exp \left(j2\pi (ux+vy)\right)dudv$$

これにより、関数 $F(u,v)$ から元の画像 $f(x,y)$ に戻ることができます。

また、$F(u,v)$ の絶対値および偏角は以下のように定義されます：

$$|F(u,v)|=\sqrt{\mathrm{Re}\{F(u,v){\}}^2+\mathrm{Im}\{F(u,v){\}}^2}$$ $$\arg F(u,v)={\tan }^{-1}\left(\frac{\mathrm{Re}\{F(u,v)\}}{\mathrm{Im}\{F(u,v)\}}\right)$$

関数 $f(x,y)$ が実数関数であっても、$F(u,v)$ を使って複素数となり、そのままでは人間の視覚で観察できません。そのため、以下のようなスペクトル表示が可視化に用いられます：

• 振幅スペクトル：$|F(u,v)|$
• 位相スペクトル：$\arg F(u,v)$
• パワースペクトル：$|F(u,v){|}^2$

2次元離散フーリエ変換（DFT）

コンピュータでフーリエ変換を計算する場合、離散的なフーリエ変換が用いられます。画像サイズを $W\times H$ としたとき、画像 $f(x,y)$ に対する2次元離散フーリエ変換 $F(u,v)$ は以下の式で与えられます：

$$F(u,v)=\sum _{y=0}^{H-1}\sum _{x=0}^{W-1}f(x,y)\exp \left(-j2\pi \left(\frac{ux}{W}+\frac{vy}{H}\right)\right)$$

このようにして得られる DFT 係数 $F(u,v)$ を用いると、元の画像 $f(x,y)$ は以下の式で再構成できます：

$$f(x,y)=\frac{1}{WH}\sum _{v=0}^{H-1}\sum _{u=0}^{W-1}F(u,v)\exp \left\{j2\pi \left(\frac{ux}{W}+\frac{vy}{H}\right)\right\}$$

これは2次元離散フーリエ逆変換と呼ばれます。

周波数フィルタリング

フーリエ変換された画像において、各周波数成分の大きさを変えることで、画像の性質をコントロールすることが可能となります。このような処理を周波数フィルタリングと呼びます。

画像 $f(x,y)$ のフーリエ変換を $F(u,v)$、フィルタリング後の出力を $G(u,v)$ とすると、周波数フィルタリングは以下のように表されます：

$$G(u,v)=F(u,v)H(u,v)$$

ここで $H(u,v)$ は周波数フィルタと呼ばれ、各周波数成分をどの程度通すかを定める係数です。$H(u,v)$ が与えられれば、$G(u,v)$ を計算し、逆フーリエ変換を行うことでフィルタリングされた画像が得られます。

低域通過フィルタ：高周波成分を除去し、低周波成分のみを通すフィルタです。画像の平滑化などに用いられます。

$$H(u,v)=\{\begin{array}{ll}1& \text{if }\left|u\right|<u_0\text{ and }\left|v\right|<v_0\\ 0& \text{otherwise}\end{array}$$

ここで、$u_0$, $v_0$ は通過させる周波数成分の閾値を表すパラメータです。

ガウス型低域通過フィルタ：ガウス分布型の低域通過フィルタは、空間周波数の中心からの距離が離れるほど、減衰させます。これは以下の式で定義されます：

$$H(u,v)=\exp \left(-\frac{u^2+v^2}{2{\sigma }^2}\right)$$

ガウス型高域通過フィルタ：上記の低域通過フィルタを反転させることで、高域通過フィルタが得られます：

$$H(u,v)=1-\exp \left(-\frac{u^2+v^2}{2{\sigma }^2}\right)$$

バンドパスフィルタ：低域および高域の周波数成分を除去し、ある特定の中間帯域の空間周波数のみを通過させるフィルタです。

畳み込み定理

空間フィルタリングにおいて、フィルタ関数 $w(s,t)$ の反転 $h(s,t)=w(-s,-t)$ を考えると、空間領域での畳み込み演算は以下の式で表されます：

$$g(x,y)=f(x,y)\ast h(x,y)=\sum _{s=-a}^a\sum _{t=-b}^{b}h(s,t)f(x-s,y-t)=\sum _{s=-a}^a\sum _{t=-b}^{b}h(s,t)f(x+s,y+t)$$

このような式によると、空間領域における畳み込み演算は周波数領域におけるフーリエ変換の積変換と等価であることを示しています。即ち

$$G(u,v)=F(u,v)\cdot H(u,v)\iff \mathcal{F}(f\ast h)=\mathcal{F}(f)\cdot \mathcal{F}(h)$$

ここで $\mathcal{F}(f)$ は関数 $f$ のフーリエ変換を意味します。

実装と結果

ハイブリッド画像の生成

ハイブリッド画像とは、遠くから見るか近くから見るかによって、異なる画像が見える画像です。

ハイブリッド画像の作成手順は以下の通りです：

1. 入力画像 A, B を準備します。
2. A に対して低域通過フィルタを適用し、平滑化画像 A’ を得ます。
3. B に対して高域通過フィルタを適用し、輪郭画像 B’ を得ます。
4. 最後に A’ と B’ を合成し、ハイブリッド画像 $A^{\prime }+B^{\prime }$ を生成します。

実験では異なるカットオフ周波数を設定し、ハイブリッド画像の視認性を評価しました。

カットオフ周波数の違いによるハイブリッド画像の変化を観察するために、カットオフ周波数をそれぞれ $5$, $16$, $50$、あるいは LowpassCutoff=5, HighpassCutoff=25 に設定し、ハイブリッド画像を生成しました。

カットオフ周波数 16/16 の場合では、2枚の猫の画像においては、目の位置が完全には一致していないため、視覚的に若干の違和感が生じていますが、ローパス画像とハイパス画像の分離が比較的良く、全体としてはハイブリッド画像の効果を十分に確認することができました。

カットオフ周波数を 5/5 に下げると、ガウス型フィルタの $\sigma$ 値が小さくなり、ローパス側（好奇心な猫）の低周波成分はほとんど除去され、ハイパス側（momo4：眠そうな猫）の高周波成分のみが残存します。ハイブリッド効果が失われてしまったことがわかります。

カットオフ周波数を 50/50 に設定すると、ガウス型フィルタの $\sigma$ が非常に大きくなっており、フィルタリングの効果が弱くなります。近距離でも遠距離でも好奇的な猫の像が支配的になり、画像全体としてハイブリッド効果はほとんど得られなくなります。

cutoff1=5, cutoff2=25 と設定した場合、ローパスとハイパスフィルタにおける $\sigma$ の差が大きくなり、空間周波数帯の分離が実現されます。

多様な画像ペアの評価

様々な条件の画像ペアを用いて実験を行いました。

カラー画像とグレースケール画像を比較すると、カラー画像は色情報を個別に処理するため細部が残ります。色調が似ている場合は自然に融合できますが、色が支配的になる場合は違和感が残ります。 また、画像の構図や表情、背景の一貫性も非常に重要であることが分かりました。AIで生成されたような空間的一致性が高い画像ペア（雪猫と虎など）は、理想的なハイブリッド効果を発揮しました。 鎌倉の風景画像のように事前にぼかし処理を加えることで、細部の情報が減少し、空間周波数の分離が容易になり、結果として高品質なハイブリッド画像が生成されることも確認されました。

空間領域における畳み込みによる実装

周波数フィルタリングの代わりに、空間領域での畳み込み演算を用いたハイブリッド画像生成も実装しました。畳み込み定理より、周波数領域におけるガウシアン型LPFが、空間領域におけるガウシアンフィルタの畳み込み演算と等価であることを利用しています。

空間的な標準偏差 $\sigma$ は以下のように求めます：

$${\sigma }_{\text{lowpass}}=1.2\times \frac{\text{cutoff1}}{W}$$ $${\sigma }_{\text{highpass}}=0.63\times \frac{\text{cutoff2}}{W}$$

この $\sigma$ を用いて、ローパス画像とハイパス画像を求め、画素単位で加算することでハイブリッド画像を生成します。

$$\text{hybrid}=\text{clip}(\text{lowpass\_img1}+\text{highpass\_img2},0,1)$$

空間フィルタによるアプローチとフーリエ変換を用いたアプローチの平均二乗誤差（MSE）を計算したところ、0.223という結果が得られ、空間領域での畳み込み処理が理論的にフーリエ領域と一致することが実証されました。

まとめ

本プロジェクトでは、画像処理における周波数フィルタリングの基礎を実装し、ハイブリッド画像の生成を通じて空間周波数と視覚表現を実践的に理解しました。ガウス型のフィルタを用い、異なるカットオフ周波数や画像条件による効果を比較・検証しました。 さらに、空間領域での畳み込み演算を用いた実装も行い、理論的な等価性を実証しました。これらの結果は、画像処理における周波数、フィルタの性質、および視覚認知の仕組みへの理解を深めるものであり、画像変換技術の応用基盤として重要です。