高斯金字塔

高斯金字塔（英文：Gaussian Pyramid）為在圖像處理、計算機視覺、信號處理上所使用的一項技術。 高斯金字塔本質上為信號的多尺度表示法，亦即將同一信號或圖片多次的進行高斯模糊，並且向下取樣， 藉以產生不同尺度下的多組信號或圖片以進行後續的處理，例如在影像辨識上，可以藉由比對不同尺度下的圖片，以防止要尋找的內容可能在圖片上有不同的大小。 高斯金字塔的理論基礎為尺度空間理論，而後續也衍生出了多解析度分析。

尺度空間理論

高斯金字塔背後的理論基礎為尺度空間理論。 這個的概念可以用在任意維度的信號中，不過最常用的地方還是在二維的影像信號上，以下將以二維影像信號作為主要討論對象。 給定一張圖片${\displaystyle f(x,y)}$ ，它的尺度空間表示方式${\displaystyle L(x,y;t)}$ 定義為:影像信號${\displaystyle f(x,y)}$  和高斯函數${\displaystyle g(x,y;t)={\frac {1}{2{\pi }t}}e^{-(x^{2}+y^{2})/2t}\,}$ 的旋積。完整的式子為：

${\displaystyle L(x,y;t)\ =g(x,y;t)*f(x,y),}$ 

式中的分號代表旋積的對象為${\displaystyle x,y}$ ，而分號右邊的${\displaystyle t}$ 表示定義的尺度大小。 這個定義當${\displaystyle t\geq 0}$ 時對於所有的${\displaystyle t}$ 都會成立，不過通常在實作上只會選取特定的${\displaystyle t}$ 值。 其中${\displaystyle t}$ 為高斯函數的變異數。當${\displaystyle t}$ 趨近於零的時候，${\displaystyle g}$ 成為一個單位脈衝響應，使得${\displaystyle L(x,y;t)\ =f(x,y)}$ ， 這代表當${\displaystyle t=0}$ 的時候我們可以把這項操作視為圖片${\displaystyle f}$ 本身。 當${\displaystyle t}$ 增加時，${\displaystyle L}$ 代表將影像${\displaystyle f}$ 通過一個較大的高斯濾波器，從而使得影像的細節被去除更多。

使用高斯函數的原因

根據尺度空間理論，假如限定從較精密的尺度推展到較粗糙的尺度的過程中，不能有新的結構被創造出來， 那麼高斯函數已經被證明出來為一個能夠張成尺度空間的正則（Canonical）函數。 ^{[1][2][3][4][5][6][7][8][9][10]}

尺度空間的另外一種表現形式是將其視為一個擴散方程（舉熱傳導方程式作為例子）：

${\displaystyle \partial _{t}L={\frac {1}{2}}\nabla ^{2}L,}$ 

並且初始條件為${\displaystyle L(x,y;0)=f(x,y)}$ 。這個表示方式將圖片上的內容視為溫度的分佈，並且將建立尺度空間表示形式的過程視為熱傳導隨著時間${\displaystyle t}$ 的擴散過程。 另外，對於這種表現形式的仔細分析也統合了連續和離散尺度空間的理論，並且可以拓展到非線性的尺度空間。因此，我們可以說這種表示形式為尺度空間的基本。 而高斯函數為此擴散方程的格林函數，也因此，在描述尺度空間表示方式和建立高斯金字塔時，會以高斯函數為主體。

建立高斯金字塔

在建立高斯金字塔的時候，我們首先會將影像轉換為尺度空間的表示方式，亦即乘上不同大小的高斯函數，之後再依據取定的尺度向下取樣。 乘上的高斯函數大小和向下取樣的頻率通常會選為2的冪次，也就是說，在每次迭代的過程中，影像都會被乘上一個固定大小的高斯函數，並且被以長寬各0.5的比率被向下取樣。 如果將向下取樣過程的圖片一張一張疊在一起，會呈現一個金字塔的樣子，因此這個過程稱為高斯金字塔。

應用

圖形特徵點檢測

高斯金字塔的概念可以拿來進行邊緣檢測。高斯拉普拉斯算子（英文：Laplacian of Gaussian）為高斯金字塔的一個延伸，它可以作為加強影像邊緣的一個帶通濾波器。 高斯拉普拉斯算子為影像通過高斯濾波器之後再通過拉普拉斯算子的結果：

${\displaystyle \nabla ^{2}L=L_{xx}+L_{yy}}$ 

然而，高斯拉普拉斯的結果會受到高斯函數的大小影響，為了去除這個影響，可以導入尺度歸一化高斯拉普拉斯運算子

${\displaystyle \nabla _{norm}^{2}L(x,y;t)=t(L_{xx}+L_{yy})}$ 

接著可以藉由尋找${\displaystyle \nabla ^{2}L}$ 同時符合幾何空間中和尺度空間中的局部極大值點，來尋找影像中的特徵點。 ^[11] 換句話說，對於輸入影像${\displaystyle f(x,y)}$ ，我們可以藉由建立起高斯金字塔，建出它在二維幾何平面加上一維尺度空間共三維的空間， 並且找出其亮度大於鄰近26點的點作為特徵點。

為了簡化計算，我們可以將上述的熱擴散函數帶入高斯拉普拉斯算子，並進行近似以得到高斯差算子：

${\displaystyle \nabla _{norm}^{2}L(x,y;t)\approx {\frac {t}{\Delta t}}\left(L(x,y;t+\Delta t)-L(x,y;t-\Delta t)\right)}$ .

高斯差可以簡單的透過將在尺度空間相鄰的圖片進行相減得到。這個方法被用在著名的尺度不變特徵轉換中^[12]： 尺度不變特徵轉換藉由尋找並描述不同尺度下的影像特徵點，以進行不同影像之間的特徵點比對。

參考資料

1. Koenderink, Jan "The structure of images", Biological Cybernetics, 50:363–370, 1984
2. Lindeberg, T., Scale-Space Theory in Computer Vision, Kluwer Academic Publishers, 1994 （页面存档备份，存于互联网档案馆）, ISBN 0-7923-9418-6
3. Florack, Luc, Image Structure, Kluwer Academic Publishers, 1997.
4. Lindeberg, Tony. Scale-space. Encyclopedia of Computer Science and Engineering (Benjamin Wah, ed), John Wiley and Sons. 2008, IV: 2495–2504 [2013-06-27]. doi:10.1002/9780470050118.ecse609. （原始内容于2019-02-13）. 
5. J. Babaud, A. P. Witkin, M. Baudin, and R. O. Duda, Uniqueness of the Gaussian kernel for scale-space filtering. IEEE Trans. Pattern Anal. Machine Intell. 8(1), 26–33, 1986.
6. A. Yuille, T.A. Poggio: Scaling theorems for zero crossings. IEEE Trans. Pattern Analysis & Machine Intelligence, Vol. PAMI-8, no. 1, pp. 15–25, Jan. 1986.
7. Lindeberg, T., "Scale-space for discrete signals," PAMI(12), No. 3, March 1990, pp. 234–254.. [2013-06-27]. （原始内容于2017-08-25）. 
8. Pauwels, E., van Gool, L., Fiddelaers, P. and Moons, T.: An extended class of scale-invariant and recursive scale space filters, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 7, pp. 691–701, 1995.
9. Lindeberg, T.: On the axiomatic foundations of linear scale-space: Combining semi-group structure with causailty vs. scale invariance. In: J. Sporring et al. (eds.) Gaussian Scale-Space Theory: Proc. PhD School on Scale-Space Theory , (Copenhagen, Denmark, May 1996), pages 75–98, Kluwer Academic Publishers, 1997.. [2013-06-27]. （原始内容于2017-08-25）. 
10. Weickert, J. Linear scale space has first been proposed in Japan. Journal of Mathematical Imaging and Vision, 10(3):237–252, 1999.
11. T. Lindeberg, "Feature detection with automatic scale selection", International Journal of Computer Vision 30 (2): pp 77–116, 1998.. [2013-06-27]. （原始内容于2021-03-07）. 
12. Lowe, D. G., “Distinctive image features from scale-invariant keypoints”, International Journal of Computer Vision, 60, 2, pp. 91-110, 2004.. [2013-06-27]. （原始内容于2008-03-07）.