轉(zhuǎn)載：http://blog./work/image-saliency-map.html

Itti提出的顯著圖模型是一種模擬生物體視覺注意機(jī)制的選擇性注意模型，比較適合處理自然圖像。這里的顯著值是像素點(diǎn)在顏色、亮度、方向方面與周邊背景的對(duì)比，所有點(diǎn)的顯著值構(gòu)成一張顯著圖，算法流程如下：

1. 特征的提?。?先把輸入圖像表示成9層的高斯金字塔。其中第0層是輸入圖像，1到8層分別是用5*5的高斯濾波器對(duì)輸入圖像進(jìn)行濾波和采樣形成的，大小分別的輸入圖像的1/2到1/256.。然后對(duì)金字塔每一層分別提取各種特征:亮度、紅色、綠色、藍(lán)色、黃色、方向，形成特征金字塔。Itti算法為了模擬感受野的中心—外周拮抗的結(jié)構(gòu)，對(duì)各種特征分別在特征金字塔的不同尺度間作差。作差得到的是中心（尺度c）和外周（尺度s）的特征的對(duì)比表示中心和外周的局部方向特征的對(duì)比。
2. 顯著圖生成： 把每一個(gè)上述得到的特征圖歸一化到區(qū)間[0 1]，以消除和特征相關(guān)的幅度差別。為了消除干擾噪聲突出顯著部分，對(duì)每個(gè)特征圖M分別用二維高斯差函數(shù)進(jìn)行卷積，并把卷積結(jié)果疊加回原特征圖，使同種特征以側(cè)抑制的方式在空間上競爭。卷積和迭代過程進(jìn)行多次，這樣可以讓少數(shù)幾個(gè)最顯著的點(diǎn)均勻分布在整個(gè)特征圖上，從而每個(gè)特征圖上只保留少數(shù)的幾個(gè)顯著點(diǎn)，在疊加多個(gè)特征圖時(shí)能把多種顯著特征的點(diǎn)突現(xiàn)出來。接下來分別把每一類（亮度、色度、方向）歸一化后的特征圖逐點(diǎn)求和（采樣到第4尺度），得到對(duì)應(yīng)于每一類特征的顯著圖,綜合所有特征的顯著性，就得到對(duì)應(yīng)于輸入圖像的顯著圖S.

有點(diǎn)暈吧，其實(shí)也沒那么復(fù)雜，就好比白茫茫的雪地上出現(xiàn)一只黑貓，那么這團(tuán)黑色的東西相對(duì)人的視覺是顯著的，當(dāng)然這是在顏色上的顯著性，還有諸如邊緣、紋理的差異造成的顯著性，比如在Zhang[5]的文章中的示意圖：

繼Itti之后，新的圖像顯著性算法不斷產(chǎn)生，以下是筆者收集到的一些資源：

【1】. L. Itti, C. Koch, and E. Niebur. A model of saliency-based visual attention for rapid scene analysis. PAMI 1998.  SaliencyToolbox(Matlab Code)|Bottom-Up Visual Attention Home Page

【2】.瑞士洛桑理工學(xué)院（epfl）的帥哥Achanta 相繼在ICVS 2008，CVPR 2009，ICIP 2010都有關(guān)于Saliency的文章。

1. Salient region detection and segmentation (ICVS 2008)(Matlab code & win-exe)
2. Frequency-tuned Salient Region Detection (CVPR 2009)(Matlab & c++ code & Image Dataset & 博客園的一篇改進(jìn))
3. Saliency Detection using Maximum Symmetric Surround (ICIP 2010)(Matlab&C++ code)

【3】.J. Harel, C. Koch, and P. Perona. Graph-based visual saliency. NIPS, 2007.Matlab Code | PDF
【4】.S. Goferman, L. Zelnik-Manor, and A. Tal. Context-aware saliency detection. In CVPR, 2010. Matlab Code | PDF
【5】.X. Hou and L. Zhang. Saliency detection: A spectral residual approach.CVPR, 2007. Matlab Code | PDF  | 博客園的一篇實(shí)現(xiàn)

【6】.Tie Liu, Jian Sun, Nan-Ning Zheng, Xiaoou Tang and Heung-Yeung Shum. Learning to Detect A Salient Object. In Proc. IEEE Cont. on Computer Vision and pattern Recognition (CVPR), Minneapolis, Minnesota, 2007. Project.

【7】.T. Judd and K. Ehinger and F. Durand and A. Torralba, Learning to Predict Where Humans Look, ICCV, 2009. Project

【8】.M.-M. Cheng, G.-X. Zhang, N. J. Mitra, X. Huang, S.-M. Hu. Global Contrast based Salient Region Detection. CVPR 2011. Projects (TSU的M.M同學(xué)的Sketch2Photo在我之前的文章中有介紹)
【9】.D. Gao and N. Vasconcelos, Discriminant Saliency for Visual Recognition from Cluttered Scenes, NIPS, 2004. Matlab Code | PDF
【10】.N. Bruce and J. Tsotsos. Saliency based on information maximization. In NIPS, 2005. Matlab Code | PDF
【11】.E. Rahtu, J. Kannala, M. Salo, and J. Heikkila. Segmenting salient objects from images and videos. CVPR, 2010. Matlab Code | PDF
【12】.L. Zhang, M. Tong, T. Marks, H. Shan, and G. Cottrell. Sun: A bayesian framework for saliency using natural statistics. Journal of Vision, 2008. Matlab Code | PDF

大家如此熱衷地研究圖像顯著性算法，那么它到底有那些應(yīng)用呢，總不會(huì)只是借以證明“男人是視覺動(dòng)物”這一公理吧，下面是列舉的一些應(yīng)用：

1. 圖像縮放：傳統(tǒng)的圖像縮放算法會(huì)使得圖片中的某些目標(biāo)變形，加入顯著值做為能量約束可避免這一缺點(diǎn)，此種縮放又稱為“ 液態(tài)縮放 ”。
   A. R. Achanta and S. Süsstrunk, Saliency Detection for Content-aware Image Resizing,IEEE International Conference on Image Processing, 2009.
2. 視頻編碼：同上述的圖片縮放，當(dāng)16:9的視頻畫面轉(zhuǎn)為4：3的畫面時(shí)，可保持畫面中對(duì)象的清晰，又稱為“ 基于內(nèi)容感知 的視頻縮放”。
3. 圖像分割：結(jié)合graphcut/grabcut，將圖片中的目標(biāo)摳出。
   Saliency-Seeded Region Merging: Automatic Object Segmentation.ACPR'11

關(guān)于圖像顯著性就介紹到這里，轉(zhuǎn)載請(qǐng)說明出處。

P.S.

1. 本文開篇應(yīng)用的圖片上的顯著區(qū)域并不是由后面的顯著性算法得到的，而是通過眼部跟蹤技術(shù)統(tǒng)計(jì)不同人群的眼睛在各時(shí)間、區(qū)域的停留時(shí)間給出的(如：國外社交網(wǎng)站個(gè)人首頁的眼動(dòng)研究情況 | 運(yùn)用眼動(dòng)研究，優(yōu)化頁面布局)，而圖像的顯著性算法是不關(guān)注圖像觀察者的年齡、性別等差異的。