去馬賽克

去馬賽克（英語：demosaicing，也写作de-mosaicing、demosaicking或debayering）是一種數位影像處理（英语：Digital image processing）演算法，目的是从覆有濾色陣列（英语：Color filter array）（Color filter array，簡稱CFA）的感光元件所輸出的不完全色彩取樣中，重建出全彩影像。此法也稱為濾色陣列內插法（CFA interpolation）或色彩重建法（Color reconstruction）^[1]。

大多數現代數位相機使用單個覆上濾色陣列的感光元件來取得影像，所以去馬賽克是影像處理管線（color image pipeline）中一個必要環節，以將影像重建成一般可瀏覽的格式。許多數位相機也能夠以原始圖檔儲存影像，並允許使用者將之取出，並使用專業影像處理軟體去馬賽克，而不是使用相機內建的韌體處理。

目標

去馬賽克演算法的目標是從CFA色彩通道（Color channels）輸出的不完全取樣中重建出全彩影像，即重建出各像素完整的RGB三原色組合。此演算法應俱備以下特點：

• 避免錯誤顏色雜訊（False color artifacts）產生，例如色彩混疊（Aliases）或出現拉鍊狀（Zippering，即鄰近像素出現突兀且不自然的強度改變，有一種拉鍊狀紋路的感覺）以及紫邊（Purple fringe）雜訊；
• 尽量保留影像解析度；
• 在相機內的硬體限制下，以较低計算複雜度（Computational complexity）實現快速有效的運算處理；
• 演算法易于分析，以使降噪（Noise reduction）更精確。

濾色陣列

主条目：濾色陣列

 

壘在像素陣列上的拜爾圖案排列濾色器。每個2x2的單元包含了兩個綠色，一個藍色，以及一個紅色過濾器。

濾色陣列是色彩過濾器在感光元件前的一塊濾色馬賽克。商務上最常使用的濾色陣列配置是拜爾濾色鏡，如图所示。它的奇數列由紅色（R）與綠色（G）過濾器交替排列組成，而偶數列则由綠色（G）與藍色（B）過濾器交替排列組成。綠色過濾器数量是紅色、藍色的兩倍，这是為了模擬人眼對綠光更高的敏感度。

因為濾色陣列的色彩取樣會自然地產生混疊問題，所以通常會在感光元件以及鏡頭的光程之間配置光學抗混疊濾波器，以便消除內插法帶来的錯誤顏色雜訊以及色彩混疊。^[2]

因為感應器上的每個像素都在濾色器後方，所以輸出結果是一個像素值的矩陣，每個數值代表三種濾出顏色之一的原始強度，因此需要去馬賽克演算法以估算每個像素各种色彩的色階（Color levels），而不僅僅是一種色彩的分量。

圖解

要從濾色陣列输出的資料中重建出全彩影像，我們可以用內插法來填补空缺。用來做影像重建的數學運算法有不同的实现，总稱為去馬賽克演算法。

在這個範例裡，我們使用Adobe Photoshop的雙三次內插法來模擬使用拜爾濾色鏡裝置（例如數位相機）的去馬賽克處理。

下面這張影像模擬了拜爾濾色感光元件的輸出；每個像素僅有紅、綠、藍色元素。相应的原始圖檔与去馬賽克重建的圖檔並排顯示於章節底部。

	拜爾濾色鏡 範例
紅色元素	綠色元素	藍色元素

數位相機一般會用以上方法來重建RGB影像，生成的影會像以下所示：

原始圖	重建圖

重建影像通常會在顏色均匀的區域表現精確，但解析度（細節與銳度）會有一些損失，也會有邊緣雜訊。例如，圖像中這些字母的邊緣可見明顯的彩色條紋（Color fringes）與些許粗糙感（Roughness）。

演算法

單純內插法（Simple interpolation）

單純內插法属于均匀网格上的多變數內插法（Multivariate interpolation），演算法对鄰近方格的相同色彩元素进行相對直接的數學運算。最簡單的方法是近鄰內插法（Nearest-neighbor interpolation），直接複製同一色彩通道（Color channel）的鄰接像素。若要顾及影像品質，這種方法就不合適了，但它是在有限運算資源下產生影像預覽的有效方法。

另外一種方式是雙線性內插法，用兩個或四個鄰接紅色像素的平均計算出非紅色像素的紅色數值，藍色與綠色計算方式类似。各顏色平面獨立內插是更複雜的方法，包括雙三次內插法、樣條內插法，以及蘭克索司重取樣法（Lanczos resampling）。

儘管這些方法在影像均匀的區域可以獲得不錯的結果，但使用純色濾色陣列时，影像的邊緣以及細節之处容易產生嚴重的去馬賽克雜訊 ^[3]。不过，線性內插与空間-光譜式（Spatio-spectral），或稱全色（Panchromatic）濾色陣列結合時，可以獲得非常良好的結果。^[4] 去馬賽克時还可对影像进行簡單建模。相同区域的自然影像色彩比率應保持相同，影像感測內插法（Image sensitive interpolation）就是利用了这点 ^[5]。

影像裡的像素相關性（Pixel correlation）

更成熟的去馬賽克演算法利用色彩影像中像素的空間、光譜關聯^[6]。空間相關是指像素在影像的小块匀質區内的色彩值往往相似。光譜相關則是指在小块影像裡不同色彩平面像素值之間的依賴性。

這种演算法包括：

• 可變數目梯度（Variable Number of Gradients）^[7]： 此內插法計算相关像素周围的梯度，使用較低的梯度（表示影像更均勻且更類似的部份）來估计。第一版dcraw軟體中就有使用，但會有色彩雜訊的困擾。
• 像素群聚（Pixel Grouping）^[8]： 使用有關自然景像的假設來估计。與可變數目梯度演算法相比較，它在自然影像上色彩雜訊。第8.71版的dcraw引進了這個方法，稱为做圖案化像素群聚（Patterned pixel group）。
• 自适应均匀定向（Adaptive homogeneity-directed）：此內插法能選擇內插的方向，以最大化同質標準（Homogeneity metric），因此一般情況下能夠最小化色彩雜訊^[9]。它已被建置在dcraw的最近版本裡^[10]。

動態影像超解析度（Video super-resolution）/ 去馬賽克

已有資料顯示，超解析度（Super-resolution）與去馬賽克是一個相同問題的兩個面向，而用統一的內容將它們一起提出來說明是很合理的。^[11]記住，這兩個問題會帶出混疊的問題。因此，特別是在動態影像（多重畫格）的重建案例中，這種結合超解析度與去馬賽克的方法提供了最佳解決方案。

取捨

舉例來說，某些方法可能对自然場景有較好的結果，而某些則對印刷物有較佳的顯現。这反應了估计不能准确感知的像素所面临的內在問題。当然，还有常见的估算速度與估算品質之间的取捨。

電腦影像處理軟體的使用

從數位相機取出原始圖檔後，可以使用專門的電腦軟體來選擇不同的去馬賽克演算法處理，以取代相機內寫死而無法再更替的演算法。一些原始圖檔處理程式，例如RawTherapee，让使用者選取想要使用的演算法，不過大多數圖像處理程式已設定成使用一種特定的演算法來處理原始圖檔。各個攝影師處理的原始圖檔细节和紋理的差異，主要來自於選擇不同的去馬賽克演算法；通常攝影師會以自己的審美觀使用自己所偏好的應用程式。

另外，由去馬賽克所產生的色彩雜訊可以为辨識偽造圖片（Photo forgeries）提供重要線索^[12]。

相關文章

• 拜爾濾色鏡

參考資料

1. Boris Ajdin; Matthias B. Hullin, Christian Fuchs, Hans-Peter Seidel, Hendrik P. A. Lensch MPI Informatik. (PDF). Saarbrucken Germany. [2016-04-26]. （原始内容 (PDF)存档于2016-05-09）.  引文使用过时参数coauthors (帮助)
2. Adrian Davies 與 Phil Fennessy. 寫給攝影師的數位影像 Fourth. Focal Press. 2001. ISBN 0-240-51590-0. 
3. Lanlan Chang 與 Yap-Peng Tan. (PDF): 2. [2016-04-26]. （原始内容 (PDF)存档于2009-12-29）. 
4. Keigo Hirakawa 與 Patrick J. Wolfe. (PDF). [2016-04-26]. （原始内容 (PDF)存档于2011-07-20）. 
5. R. Kimmel. 去馬賽克: 從彩色CCD範例做影像重建 （页面存档备份，存于互联网档案馆）。 IEEE Trans. on Image Processing, 8(9):1221–8, Sept. 1999.
6. Lanlan Chang 與 Yap-Peng Tan. (PDF). [2016-04-26]. （原始内容 (PDF)存档于2009-12-29）. 
7. Ting Chen. . [2016-04-27]. （原始内容存档于2012-04-22）. 
8. Chuan-kai Lin, Portland State University. 為濾色陣列去馬賽克的像素群聚. 2004 [2016-04-27]. （原始内容于2016-09-23）. 
9. Kiego Hirakawa; Thomas W. Parks. 自適性同次定向去馬賽克演算法 (PDF). [2016-04-27]. （原始内容 (PDF)于2021-02-24）. 
10. 在Linux解碼原始數位相片的圖檔 （页面存档备份，存于互联网档案馆）, Dave Coffin.
11. Sina Farsiu, Michael Elad, Peyman Milanfar. 彩色影像多重畫格去馬賽克以及超解析度 (PDF). IEEE Trans. on Image Processing. 2006, 15 (1): 141–159 [2016-04-27]. doi:10.1109/TIP.2005.860336. （原始内容 (PDF)于2009-12-29）. 
12. YiZhen Huang 與 YangJing Long. (PDF). Proc. IEEE Conference on Computer Vision and Pattern Recognition. 2008: 1–8 [2016-04-28]. （原始内容 (PDF)存档于2010-06-17）. 

備註

延伸閱讀

• （英文）, ImagEval Consulting LLC
• （英文） and especially by Ting Chen, Stanford University
• （英文） K. Parulsi and K. Spaulding (2003). Color image processing for digital cameras. In Digital Color Imaging, G. Sharma, ed. Boca Raton, Florida: CRC Press. 727–757.
• （英文）HowStuffWorks: How Digital Cameras Work, More on Capturing Color （页面存档备份，存于互联网档案馆）, with a demosaicing algorithm at work animation
• （英文）, Cleve Cheng, Mar 13 1998
• （英文）Roger W. Ehrich. . Computer Science Courses. Virginia Tech CS Department. [2016-04-26]. （原始内容存档于2007-09-12）. (broken link)
• （英文）Interpolation of RGB components in Bayer CFA images （页面存档备份，存于互联网档案馆）, by Eric Dubois
• （英文）Color Demosaicing Using Variance of Color Differences （页面存档备份，存于互联网档案馆） by King-Hong Chung and Yuk-Hee Chan
• （英文） by Lanlan Chang and Yap-Peng Tan
• （英文）, Bahadir Gunturk and Lei Zhang
• （英文）, B. K. Gunturk, J. Glotzbach, Y. Altunbasak, R. W. Schafer, and R. M. Mersereau
• （英文）, Keigo Hirakawa and Patrick J. Wolfe
• （英文）, Wen-Tsung Huang, Wen-Jan Chen and Shen-Chuan Tai
• （英文）Similarity-based Demosaicking （页面存档备份，存于互联网档案馆） by Antoni Buades, Bartomeu Coll, Jean-Michel Morel, Catalina Sbert, with source code and online demonstration
• （英文）
• （英文）Interactive site simulating Bayer data and various demosaicing algorithms, allowing custom images （页面存档备份，存于互联网档案馆）
• （英文）Geometry-based DemosaickingArchive.is的存檔，存档日期2013-02-17 by Sira Ferradans, Marcelo Bertamio and Vicent Caselles with source code and reference paper.
• （英文）
• （英文）