本文是大數(shù)據(jù)雜談5月4日社群分享內(nèi)容整理。

我先自我介紹一下，我叫羅韻，是深圳極視角科技有限公司聯(lián)合創(chuàng)始人，我們公司是一家做人工智能和計(jì)算機(jī)視覺應(yīng)用的創(chuàng)業(yè)公司，我們平臺(tái)目前服務(wù)各個(gè)細(xì)分領(lǐng)域，其中包括零售行業(yè)、工業(yè)、智能家居、餐飲、安防等，提供圖像處理和視頻分析的服務(wù)。作為一家創(chuàng)業(yè)公司，極視角榮登'2016 中國人工智能創(chuàng)業(yè)公司 Top50'以及入選'2017 國內(nèi)最值得關(guān)注的 AI 視覺創(chuàng)業(yè)項(xiàng)目 Top20'。當(dāng)前我們正在做的事情就是希望讓計(jì)算機(jī)視覺變成一種可以服務(wù)于各行各業(yè)的服務(wù)平臺(tái)——極市平臺(tái) cvmart.net。

今天給大家介紹內(nèi)容包括四個(gè)部分（如上圖），其中是一環(huán)扣一環(huán)步步遞進(jìn)的，從兩個(gè)算法 (并非原創(chuàng)算法) 切入，我們看一個(gè)算法如何被應(yīng)用，然后基于各種應(yīng)用的需求，算法又如何轉(zhuǎn)化成為一個(gè)服務(wù)去服務(wù)更多的社會(huì)需要。

我的分享總體來說會(huì)更偏應(yīng)用性，因?yàn)槲覀冎饕褪亲?CV 應(yīng)用。

首先，給大家介紹一個(gè)很常見而非常有應(yīng)用前景的算法應(yīng)用案例：識(shí)別一個(gè)圖片或者畫面、視頻里面可能有什么東西？例如如圖：

要實(shí)現(xiàn)這樣識(shí)別算法，當(dāng)前我們可以結(jié)合深度學(xué)習(xí)的目標(biāo)檢測(cè)算法，例如有 R-CNN，SPP-Net，F(xiàn)ast R-CNN，Faster R-CNN，以及在 PASCAL VOC、MS COCO、ILSVRC 數(shù)據(jù)集上取得領(lǐng)先的基于 Faster R-CNN 的 ResNet 等。

以上的方法都可以歸納為一個(gè)基本都流程：proposal 候選框 + 分類器，只是有的候選框從原圖就定位了，而有的 bounding box 候選框則是通過 feature map 來定位。而這樣的流程在運(yùn)行速度上會(huì)存在著比較大的局限。當(dāng)然，大家也在不斷的往更快的速度去優(yōu)化。

而我們今天先不討論上述的方法，而是討論兩個(gè)運(yùn)行速度更快的目標(biāo)檢測(cè)模型。

第一個(gè)是，YOLO（You Only Look Once）,YOLO 是一個(gè)可以一次性預(yù)測(cè)多個(gè) Box 位置和類別的卷積神經(jīng)網(wǎng)絡(luò)，能夠?qū)崿F(xiàn)端到端的目標(biāo)檢測(cè)和識(shí)別，其最大的優(yōu)勢(shì)就是速度快。目標(biāo)檢測(cè)的本質(zhì)其實(shí)也是回歸，因此一個(gè)實(shí)現(xiàn)回歸功能的 CNN 并不需要復(fù)雜的設(shè)計(jì)過程。

YOLO 沒有選擇滑窗或提取 proposal 的方式訓(xùn)練網(wǎng)絡(luò)，而是直接選用整圖訓(xùn)練模型。這樣做的好處在于可以更好的區(qū)分目標(biāo)和背景區(qū)域，相比之下，采用 proposal(選定候選集) 訓(xùn)練方式的 Fast-R-CNN 常常把背景區(qū)域誤檢為特定目標(biāo)。

YOLO 的設(shè)計(jì)理念遵循端到端訓(xùn)練和實(shí)時(shí)檢測(cè)。YOLO 將輸入圖像劃分為 S*S 個(gè)網(wǎng)絡(luò)，如果一個(gè)物體的中心落在某網(wǎng)格 (cell) 內(nèi)，則相應(yīng)網(wǎng)格負(fù)責(zé)檢測(cè)該物體。

在訓(xùn)練和測(cè)試時(shí)，每個(gè)網(wǎng)絡(luò)預(yù)測(cè) B 個(gè)候選區(qū)域，每個(gè)候選區(qū)域?qū)?yīng) 5 個(gè)預(yù)測(cè)參數(shù)，分別是候選區(qū)域 (bounding box) 的中心點(diǎn)坐標(biāo) (x,y), 寬高 (w,h) 和置信度評(píng)分。

這里的置信度評(píng)分：

(Pr(Object)*IOU(pred|truth))

綜合反映基于當(dāng)前模型候選區(qū)域內(nèi)存在目標(biāo)的可能性 Pr(Object) 和候選區(qū)域 (bounding box) 預(yù)測(cè)目標(biāo)位置的準(zhǔn)確性 IOU(pred|truth)。

如果候選區(qū)域內(nèi)不存在物體，則 Pr(Object)=0。如果存在物體，則根據(jù)預(yù)測(cè)的候選區(qū)域 (bounding box) 和真實(shí)的區(qū)域 (bounding box) 計(jì)算 IOU，同時(shí)會(huì)預(yù)測(cè)存在物體的情況下該物體屬于某一類的后驗(yàn)概率 Pr(Class_i|Object)。

假定一共有 C 類物體，那么每一個(gè)網(wǎng)格只預(yù)測(cè)一次 C 類物體的條件類概率 Pr(Class_i|Object), i=1,2,...,C; 每一個(gè)網(wǎng)格預(yù)測(cè) B 個(gè)候選區(qū)域 (bounding box) 的位置。即這 B 個(gè)候選區(qū)域 (bounding box) 共享一套條件類概率 Pr(Class_i|Object), i=1,2,…,C。

基于計(jì)算得到的 Pr(Class_i|Object)，在測(cè)試時(shí)可以計(jì)算某個(gè)候選區(qū)域 (bounding box) 類相關(guān)置信度：

如果將輸入圖像劃分為 7*7 網(wǎng)格（S=7），每個(gè)網(wǎng)格預(yù)測(cè) 2 個(gè) bounding box (B=2)，有 20 類待檢測(cè)的目標(biāo)（C=20），則相當(dāng)于最終預(yù)測(cè)一個(gè)長度為 S*S*(B*5+C)=7*7*30 的向量，從而完成檢測(cè)和識(shí)別任務(wù)。

第二個(gè)同樣是目標(biāo)檢測(cè)的算法，SSD（Single Shot MultiBox Dectector）。這是另一個(gè)基于深度學(xué)習(xí)的物體檢測(cè)模型，他的特點(diǎn)主要是檢測(cè)的速度在能保證精度下保持非?？斓乃俣?，除此之外，該物體檢測(cè)算法在大目標(biāo)的檢測(cè)下有比較好的效果。

而我們發(fā)現(xiàn)，往往我們的照片中，大目標(biāo)比比皆是。SSD 比原先最快的 YOLO: You Only Look Once 方法，還要快，還要精確。保證速度的同時(shí)，其結(jié)果的 mAP 可與使用 region proposals 技術(shù)的方法（如 Faster R-CNN）相媲美。

SSD 方法的核心就是預(yù)測(cè)物體，以及其歸屬類別的得分；同時(shí)，在 feature map 上使用小的卷積核，去預(yù)測(cè)一系列候選區(qū)域的位置。

SSD 為了得到高精度的檢測(cè)結(jié)果，在不同層次的 feature maps 上去 預(yù)測(cè)物體類別和物體位置。

SSD 這些改進(jìn)設(shè)計(jì)，能夠在當(dāng)輸入分辨率較低的圖像時(shí)，保證檢測(cè)的精度。同時(shí)，這個(gè)整體端到端的設(shè)計(jì)，訓(xùn)練也變得簡(jiǎn)單。在檢測(cè)速度、檢測(cè)精度之間取得較好的平衡。

然而，以上的僅僅是一個(gè)照片內(nèi)容識(shí)別的算法，還沒有真正的成為到了一個(gè)解決實(shí)際問題的應(yīng)用，接下來，我們將講解的就是利用這樣的識(shí)別技術(shù)，我們進(jìn)一步可以解決的問題就是：

在印刷行業(yè)或者快照行業(yè)，會(huì)陸續(xù)推出一項(xiàng)產(chǎn)品——電子相冊(cè)。

而電子相冊(cè)從技術(shù)層面主要是要解決兩個(gè)問題，1. 照片裁剪，2. 相框的匹配。

而當(dāng)前，這些工作都是人工去完成，隨著日益增長的電子圖片的需求量，制作電子相冊(cè)的人力成本越來越大，而這個(gè)時(shí)候，利用之前所述的內(nèi)容識(shí)別算法，我們可以幫助電腦自動(dòng)實(shí)現(xiàn)圖片的裁剪，因?yàn)樽詣?dòng)裁剪最大的擔(dān)憂可能是擔(dān)心把照片內(nèi)的人裁剪掉了。

另一方面，我們進(jìn)而可以結(jié)合圖片場(chǎng)景分類和人臉識(shí)別等算法技術(shù)，使用標(biāo)簽匹配方法去自動(dòng)匹配與照片本身更搭配的相框。

如上，我們就以快照印刷行業(yè)的電子相冊(cè)作為一個(gè)行業(yè)應(yīng)用的例子，但其實(shí)還有很多行業(yè)內(nèi)容其他的應(yīng)用例子不勝枚舉。

算法本身我們可以做出很多技術(shù)，例如使用物體檢測(cè)我們可以實(shí)現(xiàn)內(nèi)容識(shí)別、除此之外我們還實(shí)現(xiàn)場(chǎng)景分類、人臉的識(shí)別、顏色的分類、人物表情等等。

而技術(shù)項(xiàng)目的組合，可以幫助我們是去實(shí)現(xiàn)更多行業(yè)內(nèi)的目前人工完成的工作，例如實(shí)現(xiàn)自動(dòng)裁剪、通過根據(jù)圖片的內(nèi)容、場(chǎng)景的分類、人臉信息等，匹配出合適的相框作為推薦，根據(jù)不同顏色的印刷材料做不同的印刷批次排序等等。

于是，一個(gè)簡(jiǎn)單的印刷快照行業(yè)的升級(jí)，我們可以歸納為如圖：

而由圖中，我們可以看到，技術(shù)和應(yīng)用本質(zhì)上是完全可以分開做橫向拓展的，于是我們可以看到同樣的技術(shù)可以用在不同的行業(yè)，也可以有很多不同行業(yè)特定的算法技術(shù)，如圖：

CVaaS 是我概括出來的一個(gè)詞語，第一次介紹給大家，意思就是計(jì)算機(jī)視覺算法即服務(wù)的意思，在過往，我們可能聽說過，IaaS(Infrastructure as a Service),PaaS(Platform as a Service),SaaS(Software as a Service), 大家都把不同層次的標(biāo)準(zhǔn)化模塊變成一種服務(wù)在提供。

而 CVaaS 就是 Computer Vision as a Service, 我們把 CV 的部分標(biāo)準(zhǔn)化成為了一種服務(wù)，而每一個(gè)行業(yè)可以在這里找到自己行業(yè)需要的和圖像處理、視頻處理、計(jì)算機(jī)視覺相關(guān)的算法服務(wù)，然后他們可以整合這些算法服務(wù)成為他們需要的應(yīng)用。

而 CV 算法更接近于一種平臺(tái)運(yùn)行的服務(wù)，提供運(yùn)算性能的橫向拓展，提供運(yùn)算的底層開發(fā)環(huán)境，甚至乎直接提供可開發(fā)測(cè)試的 sandbox, 所以，CVaaS 也是 PaaS 的一種。

各行各業(yè)都有他需要的和 AI 取代的工作，從而提升行業(yè)的效率，正如李開復(fù)老師說的，50% 的工作會(huì)被 AI 取代，而評(píng)判的標(biāo)準(zhǔn)就是“五秒鐘準(zhǔn)則”。

“五秒鐘準(zhǔn)則”：一項(xiàng)本來由人從事的工作，如果人可以在 5 秒鐘以內(nèi)對(duì)工作中需要思考和決策的問題做出相應(yīng)的決定，那么這項(xiàng)工作就非常大的可能被人工智能技術(shù)全部或部分取代。

而 CVaaS 的目的，就是讓各行各業(yè)可以以最快的形式和方式完成這要的一些工作的轉(zhuǎn)變。

例如，在零售行業(yè)，我們選擇可以選擇人臉識(shí)別做 VIP 識(shí)別，選擇行人識(shí)別做客流統(tǒng)計(jì)，選擇性別、年齡識(shí)別做顧客分類或者顧客肖像。

在安防行業(yè)，我們選擇動(dòng)作 (打架) 識(shí)別、行人跟蹤、姿態(tài)識(shí)別等做安全的防范和預(yù)警。

再例如，在房地產(chǎn)領(lǐng)域做場(chǎng)景圖片的分類 (例如哪些圖片是臥室，客廳，廚房)，優(yōu)質(zhì) (封面) 圖片的挑選；印刷行業(yè)根據(jù)圖片的內(nèi)容做自動(dòng)裁剪；等等。

極市 CVaaS 平臺(tái)主要面向三個(gè)群體，具有算法服務(wù)開發(fā)能力的開發(fā)者，需要使用算法服務(wù)的行業(yè)用戶以及海量和我們對(duì)接的硬件廠商。對(duì)于開發(fā)者，平臺(tái)設(shè)計(jì)基于 Gitlab 的代碼 (SDK) 管理，版本管理，Gitlab 是目前比較流行的開源類 Github 代碼管理平臺(tái)。

開發(fā)者可以提交自己認(rèn)為滿意的版本，對(duì)于不想提供源碼的，可以提供 SDK 即可。對(duì)自己的算法的數(shù)據(jù)輸入端，使用平臺(tái)提供的輸入 SDK 對(duì)接，可以對(duì)自己的算法進(jìn)行場(chǎng)景使用和介紹做詳細(xì)的描述，就想我們?nèi)?APP Store 提交一個(gè) APP 一樣。

此外，開發(fā)者擁有自己的管理后臺(tái)，每天可以查詢到自己的算法被使用和應(yīng)用的情況，以及最新的收入。

我們也知道，對(duì)于 CV 或者 AI 類算法，最重要的莫過于數(shù)據(jù)集，所以，在平臺(tái)設(shè)計(jì)中，我們?cè)黾恿撕Ａ繙y(cè)試數(shù)據(jù)的模塊，可以提供給不同應(yīng)用的開發(fā)者測(cè)試集。

而每一個(gè)算法服務(wù)的運(yùn)行，則基于 docker 的隔離運(yùn)行,docker 用來隔離應(yīng)用還是很方便的，一來本身的操作較為簡(jiǎn)單，二來資源占用也比虛擬機(jī)要小得多，三來也較為安全，因?yàn)橄?span>數(shù)據(jù)庫這樣的應(yīng)用不會(huì)再全局暴露端口，同時(shí)應(yīng)用間的通信通過加密和端口轉(zhuǎn)發(fā)，更加安全。

基于海量硬件與我們系統(tǒng)的無縫鏈接，每一個(gè)在平臺(tái)上的算法應(yīng)用，即可面向近百萬攝像機(jī)用戶的使用可能。

所有平臺(tái)的設(shè)計(jì)最終都是為了服務(wù)社會(huì)和個(gè)人，而 AI 作為當(dāng)前的與社會(huì)緊密相同的技術(shù)，我們希望使得更多不同的行業(yè)用更輕松簡(jiǎn)單的方法與技術(shù)相結(jié)合，而我們這些懂技術(shù)的人，也可以有更多的方式去貢獻(xiàn)我們的能力，這個(gè)就是我們極視角和我們的產(chǎn)品“極市”的初衷。

Q1： “我是一位機(jī)器學(xué)習(xí)愛好者，對(duì)機(jī)器學(xué)習(xí)平臺(tái)比較感興趣，也希望能夠參與開源社區(qū)，看到您是 Tensorflow Contributor 感覺很厲害，請(qǐng)問我應(yīng)該如何努力才能也成為 Tensorflow Contributor?！?/section>

羅韻：開源社區(qū)其實(shí)有非常多非常優(yōu)秀的項(xiàng)目，一開始如果能力不夠，可以從看別人的代碼開始，如果漸漸能讀懂別人的代碼，一般成熟的開源項(xiàng)目都有開發(fā)計(jì)劃的，而且是公開的，有些功能是專門公開給社區(qū)去實(shí)現(xiàn)的，那就可以自己去實(shí)現(xiàn)，還有一種情況就是你發(fā)現(xiàn)了項(xiàng)目本身存在的問題或者 bug，然后你去完善好。

Q2： “請(qǐng)師從港科大哪位大牛呀？是楊強(qiáng)教授嗎？”

羅韻：是的。

Q3:“對(duì)工作一段時(shí)間的軟件工程專碩來說，如何申請(qǐng)名校深度學(xué)習(xí)的 PHD？沒有論文，本碩名校，BAT 工作背景?！?/section>

羅韻：首先先確定你是有耐心和恒心愿意去讀 PhD，畢竟也是好幾年光陰，其次就是我覺得還是個(gè)人需要有自己的一點(diǎn)點(diǎn)小成果或者做出一點(diǎn)可以打動(dòng)導(dǎo)師的東西，最后就是，工作中的積累也是很有用的，個(gè)人愚見，這個(gè)問題因人而異的。

Q4: “如何在嵌入式平臺(tái)，比如 ARM Cortex A73 四核平臺(tái)上部署機(jī)器視覺，應(yīng)用到圖像識(shí)別分類?”

羅韻：這個(gè)問題有點(diǎn)太泛了，具體還要看圖像識(shí)別分類，做的是什么分類，分多少類，整體的項(xiàng)目程序的復(fù)雜度等，一般如果部署成功了，很多時(shí)候也要看具體場(chǎng)景的要求，例如場(chǎng)景要求實(shí)時(shí)，但是速度上就是無法支持，這個(gè)也是其中一些難點(diǎn)所在。

Q5：“對(duì)美女講師提到的 CVaas 蠻好奇的~ 請(qǐng)問這個(gè)有什么優(yōu)勢(shì)嗎”

羅韻：優(yōu)勢(shì)有幾個(gè)方面，第一，作為一個(gè) CVaaS 其實(shí)就是一個(gè)連接技術(shù)與需求的橋梁，所以，我們首先已經(jīng)擁有了大量的場(chǎng)景的硬件（攝像頭）作為用戶，所以，在這里的所有 Service 都不基本不用擔(dān)心是否有人使用的問題，只要是好的 CV Service，都有對(duì)應(yīng)的潛在用戶。

第二，你的運(yùn)算能力方面和運(yùn)維都有我們整個(gè)平臺(tái)作為支持，開發(fā)者可以更加關(guān)注算法的研發(fā)。

第三，我們目前應(yīng)該是擁有著最大量的一線數(shù)據(jù)可以做算法測(cè)試。

Q6：“想知道你們新零售的解決方案”

羅韻：這個(gè)，今天沒有說到，但是這個(gè)確實(shí)是我們公司的其中一個(gè)產(chǎn)品，新零售的解決方案，主要解決三個(gè)核心問題，全自動(dòng)采集數(shù)據(jù) + 構(gòu)建數(shù)據(jù)分析框架 + 業(yè)務(wù)驅(qū)動(dòng)的數(shù)據(jù)分析。

Q7：“請(qǐng)問什么樣的算法可以放到你們平臺(tái)呢？你們平臺(tái)的模式是什么樣的”

羅韻：作為開發(fā)者，不用太擔(dān)心什么算法可以放到我們平臺(tái)，我們底層會(huì)對(duì)算法做自動(dòng)測(cè)試與審核，審核通過了，自然就是被使用的。

Q9：“對(duì)于成為 contributor 一題，請(qǐng)羅老師給女生，特別是零基礎(chǔ)卻要半路轉(zhuǎn)行到此領(lǐng)域的不年輕的女生一點(diǎn)指導(dǎo)建議或者鼓勵(lì)。謝謝?！?/section>

羅韻：嗯！加油！可以從寫項(xiàng)目文檔開始其實(shí)，很多入門的開源社區(qū)的新手都是先從幫項(xiàng)目寫文檔開始的，當(dāng)然，寫之前就意味著你要先慢慢理解每一個(gè) sample/demo。

Q10：“您公司開發(fā)的產(chǎn)品，智能客流系統(tǒng)，有沒有已經(jīng)成功的運(yùn)營實(shí)例，效果怎么樣”

羅韻：我們官網(wǎng)上展示出來的客戶名單，國內(nèi)外的知名零售連鎖品牌都有是我們客戶，太多，我這里就不一一羅列，運(yùn)營效果，我覺得還是市場(chǎng)說的算，目前我們的客戶增長率就是最好的證明。

Q11：“在終端相冊(cè)應(yīng)用中，您怎么看待圖像語義理解 Vs. 物體檢測(cè) & 分類給用戶搜索帶來的體驗(yàn)的差異化？”

羅韻：兩個(gè)技術(shù)沒有沖突，其實(shí)都是可以應(yīng)用的，物體檢測(cè)主要是用于對(duì)圖像做自動(dòng)裁剪比較多，圖像語義理解更多的是為了還要做搜索或者推薦，如果是以搜索為主要任務(wù)的話，做檢測(cè)后加上語義理解會(huì)更好。

作者介紹

羅韻，極視角科技聯(lián)合創(chuàng)始人，香港科技大學(xué)人工智能 PhD candidate，TensorFlow contributor。實(shí)現(xiàn)過基于云端的計(jì)算機(jī)視覺分析系統(tǒng)和企業(yè)早期計(jì)算機(jī)視覺的算法研發(fā)。接觸過接近百種人工智能算法的應(yīng)用，覆蓋行業(yè)包括零售、交通、安防、公共資源、環(huán)境、金融、醫(yī)療、娛樂等，對(duì) AI 算法的應(yīng)用化場(chǎng)景了解豐富，目標(biāo)是讓未來的 AI 產(chǎn)品可以和 APP Store 里面的應(yīng)用一樣豐富。著有知乎專欄人工智能應(yīng)用系列（https://zhuanlan.zhihu.com/ai4application）。

達(dá)觀數(shù)據(jù)技術(shù)分享主題月：從“想你所想”之個(gè)性化推薦，到“搜你所想”之用戶搜索意圖識(shí)別