本文先引用幾句話: 1.“確解用戶之意,切返用戶之需?!?br>2.“門戶網(wǎng)站都想著是怎樣省錢,而不是怎樣花錢來買技術(shù)?!?br>3.“搜索引擎不是人人都能做的領(lǐng)域,進(jìn)入的門檻比較高。” 4.“只是優(yōu)秀還不夠,最好的方式是將一件事情做到極致。”(google十大真理) 5.“做搜索引擎需要專注” “對于一項排到第四的業(yè)務(wù),門戶很難做到專注?!?br>6.“用戶無法描述道他要找什么,除非讓他看到想找的東西。” 7. “所謂楔形,其實就是個倒三角,倒三角的尖端部分代表搜索技術(shù),中部是基于技術(shù)的產(chǎn)品應(yīng)用平臺,最上端是對整個搜索引擎用戶人群文化的認(rèn)識和理解,以及現(xiàn)代公司競爭最關(guān)鍵也最捉摸不定的所謂品牌。” “楔形”蘊(yùn)涵的另一個意義是:楔子要打到墻里,尖端是否銳利很重要,但楔子的破壞性有多強(qiáng),究竟能在墻面擠壓出多大的空間,其中端、后端的沉穩(wěn)與厚重才是關(guān)鍵。
搜索引擎的技術(shù)和理念都是需要時間和經(jīng)驗的積累的,更是需要長期不斷的完善進(jìn)步的,絕對不要認(rèn)為可以一蹴而就,要達(dá)到一個相對成熟領(lǐng)先的搜索引擎從開始到領(lǐng)先的周期一般需要是四年。著急不得。原因是因為搜索引擎太復(fù)雜,而且“用戶無法描述他要找什么,除非讓他看到想找的東西?!?一切都需要摸索,嘗試,問題需要一個一個解決,用戶的需要得一點(diǎn)點(diǎn)的挖掘。 搜索引擎是一個產(chǎn)品,給用戶提供服務(wù)的產(chǎn)品,需要長期的不斷的改進(jìn)升級調(diào)整才能持續(xù)不斷的提用戶體驗,需要滿足用戶不斷增長并且變化的需求、需要不斷適應(yīng)網(wǎng)絡(luò)的變化。這是因為網(wǎng)絡(luò)環(huán)境是不斷變化的、網(wǎng)民的需求也是不斷變化的。千萬不要把搜索當(dāng)成項目來做,做完了撂那讓用戶去用那你肯定沒戲。在搜索引擎領(lǐng)域是講體驗的、新的引擎如果用戶體驗一旦整體上有領(lǐng)先一年以上的差距并且持續(xù)2年,那前期的領(lǐng)先者的優(yōu)勢就蕩然無存,因為搜索引擎的用戶轉(zhuǎn)移成本相對而言是比較低的而且口碑是最佳的傳播方式。如果一個搜索引擎不能持續(xù)不斷的技術(shù)創(chuàng)新理念創(chuàng)新,那對于這個搜索引擎來說就等于死亡。我們一般形容搜索引擎的領(lǐng)先是以時間計算的。比如:中搜離百度整體差距×年,百度離google的整體差距×年,……只要你能在用戶體驗上保持一年的領(lǐng)先優(yōu)勢持續(xù)2年,不需要炒作,一切紛至沓來。在用戶體驗面前,任何的炒作都顯得很渺小。 作垂直搜索引擎,麻雀雖小,但是五臟俱全。無論理念文化、產(chǎn)品管理、應(yīng)用、技術(shù)都和搜索引擎的楔形理論沒有什么區(qū)別。所以要做好一垂直搜索必須解決這幾個方面。
楔形的尖:垂直搜索技術(shù)。 垂直搜索技術(shù)主要分為兩個層次:模板級和網(wǎng)頁庫級。模板級是針對網(wǎng)頁進(jìn)行模板設(shè)定或者自動生成模板的方式抽取數(shù)據(jù),對網(wǎng)頁的采集也是針對性的采集,適合規(guī)模比較小、信息源少且穩(wěn)定的需求,優(yōu)點(diǎn)是快速實施、成本低、靈活性強(qiáng),缺點(diǎn)是后期維護(hù)成本高,信息源和信息量小。網(wǎng)頁庫級就是在信息源數(shù)量上、數(shù)據(jù)容量上檢索容量上、穩(wěn)定性可靠性上都是網(wǎng)頁庫搜索引擎級別的要求,和模板方式最大的區(qū)別是對具體網(wǎng)頁不依賴,可針對任意正常的網(wǎng)頁進(jìn)信息采集信息抽取……。這就導(dǎo)致這種方式數(shù)據(jù)容量上和模板方式有質(zhì)的區(qū)別,但是其靈活性差、成本高。當(dāng)然模板方式和網(wǎng)頁庫級的方式不是對立的,這兩者對于垂直搜索引擎來說是相互補(bǔ)充的,因為技術(shù)只是手段,目的是切反用戶之需。本文談及的技術(shù)主要是指網(wǎng)頁庫級別垂直搜索引擎技術(shù)。 搜索引擎的確是一項對技術(shù)要求比較高的應(yīng)用,幾年前相關(guān)的人才也比較少?,F(xiàn)在搜索技術(shù)人才多了,相關(guān)的技術(shù)和技術(shù)的應(yīng)用得相對以前而言更加成熟,但是競爭也更加激烈了。垂直搜索大致需要以下技術(shù): 1. 信息采集技術(shù) 2. 網(wǎng)頁信息抽取技術(shù) 3. 信息的處理技術(shù),包括:重復(fù)識別、重復(fù)識別、聚類、比較、分析、語料分析等 4. 語意相關(guān)性分析 5. 分詞 6. 索引 信息采集技術(shù),垂直搜索引擎spider和網(wǎng)頁庫的spider相比應(yīng)該是更加專業(yè),可定制化。可定向性的采集和垂直搜索范圍相關(guān)的網(wǎng)頁忽略不相關(guān)的網(wǎng)頁和不必要的網(wǎng)頁,選擇內(nèi)容相關(guān)的以及適合做進(jìn)一步處理的網(wǎng)頁深度優(yōu)先采集、對頁面有選擇的調(diào)整更新頻率……,采集可通過人工設(shè)定網(wǎng)址和網(wǎng)頁分析url方式共同進(jìn)行。垂直搜索對信息的更新有著特別的要求,根據(jù)這些特點(diǎn)可以從以下幾點(diǎn)考慮1.信息源的穩(wěn)定性(不能讓信息源網(wǎng)站感覺到spider的壓力)2.抓取的成本問題3.對用戶體驗改善程度。根據(jù)以上幾點(diǎn)制定一種比較好的策略,要做到恰到好處。策略上可以評估網(wǎng)站/網(wǎng)頁更新的系數(shù)、網(wǎng)站/網(wǎng)頁的重要系數(shù)、用戶點(diǎn)擊系數(shù)(或曝光系數(shù))、網(wǎng)站穩(wěn)定系數(shù)……,根據(jù)這些系數(shù)來確定對這些網(wǎng)站/網(wǎng)頁更新的頻率。再由于新信息和更新了的信息list頁面前面或者首頁,所以對網(wǎng)頁進(jìn)行很好的分級可以以低成本很好的解決更新問題,系數(shù)比較低的網(wǎng)頁一月update一次,稍微高點(diǎn)的一周update一次、中等的幾天到一天一次、高的幾小時到幾分鐘一次。類似搜索引擎的大庫、周庫、日庫,小時庫……
基于視覺網(wǎng)頁塊分析技術(shù),模擬IE瀏覽器的顯示方式,對網(wǎng)頁進(jìn)行解析。根據(jù)人類視覺原理,把網(wǎng)頁解析處理的結(jié)果,進(jìn)行分塊,再根據(jù)需要,對這些塊進(jìn)行處理,如:采集定向、介紹抽取和一些必要的內(nèi)容的抽取正文抽取……
結(jié)構(gòu)化信息抽取技術(shù),將網(wǎng)頁中的非結(jié)構(gòu)化數(shù)據(jù)按照一定的需求抽取成結(jié)構(gòu)化數(shù)據(jù)。有兩種方式,簡單的就是模板方式,另外就是對網(wǎng)頁不依賴web結(jié)構(gòu)化信息抽取方式,這兩種方式可以互取長處,以最簡單最有效的辦法滿足需求。垂直搜索引擎和通用搜索引擎最大的區(qū)別就是對網(wǎng)頁信息結(jié)構(gòu)化抽取后再結(jié)構(gòu)化數(shù)據(jù)進(jìn)行深度的處理,提供專業(yè)的搜索服務(wù)。所以web結(jié)構(gòu)化信息抽取的技術(shù)水平是決定垂直搜索引擎質(zhì)量的重要技術(shù)指標(biāo)。其實web結(jié)構(gòu)化信息抽取在百度、google早已經(jīng)廣泛應(yīng)用了,如:MP3、圖片搜索、google的本地搜索就是從網(wǎng)頁庫抽取出企業(yè)信息,添加到其地圖搜索中的,google通過這種技術(shù)正在顛覆做內(nèi)容的方式。同樣的技術(shù)應(yīng)用還在qihoo、sogou購物、shopping等各種應(yīng)用中體現(xiàn)。 簡單的語法分析,簡單的語法分析在搜索引擎中非常重要,可以通過簡單的語法分析來改善數(shù)據(jù)的質(zhì)量,低成本的獲得某類信息,改善排序,尋找需要的內(nèi)容…… 信息處理技術(shù),信息處理包括的范圍比較廣,主要包括去重、聚類、分析……,這根據(jù)需要相關(guān)的技術(shù)就非常多。 數(shù)據(jù)挖掘,找出您的信息的關(guān)聯(lián)性對于垂直搜索來說非常重要,有效,可以在這些相關(guān)性上為用戶提供更細(xì)致的服務(wù)。 分詞技術(shù),面向搜索的分詞技術(shù),建立和您的行業(yè)相關(guān)的詞庫。注意這是面向搜索的分詞,不是面向識別和準(zhǔn)確的分詞。就這個工作安排十幾個人不停的維護(hù)也不會嫌多。 索引技術(shù),索引技術(shù)對于垂直搜索非常關(guān)鍵,一個網(wǎng)頁庫級的搜索引擎必須要支持分布索引、分層建庫、分布檢索、靈活的更新、靈活的權(quán)值調(diào)整、靈活的索引和靈活的升級擴(kuò)展、高可靠性穩(wěn)定性冗余性。還需要支持各種技術(shù)的擴(kuò)展,如偏移量計算等。 其它技術(shù),略。
垂直搜索引擎的技術(shù)評估應(yīng)從以下幾點(diǎn)來判斷 1. 全面性 2. 更新性 3. 準(zhǔn)確性 4. 功能性
鍥形的中和尾:產(chǎn)品應(yīng)用平臺和對搜索引擎文化理念的理解 對于任何一個產(chǎn)品來說,產(chǎn)品的模式是最重要的,技術(shù)只是手段、工具、途徑。用戶不會關(guān)心你的技術(shù)是如何實現(xiàn)的、更不會關(guān)心你的技術(shù)水平是什么樣的,只要用戶感覺:這就是我需要的東西,很好用,而且是最好用的。那么你的產(chǎn)品就OK了。 考慮一個產(chǎn)品的模式需要考慮的東西很多,如:用戶需要什么?需求有多大?能不能完整的實現(xiàn)用戶的需求?需要什么資源?怎么做到?競爭分析?差異化?根據(jù)自身情況能做到什么程度?怎么樣保持領(lǐng)先優(yōu)勢?能否收到錢?怎么樣收錢?怎么樣推廣?需要多少時間?如何保證在時間窗口期內(nèi)有效完成進(jìn)度?如何分步分期優(yōu)先完成用戶最需要的需求?如何建立有效的反饋機(jī)制讓我可以了解用戶的需求變化和挖掘用戶自己也無法表達(dá)的需求?如何進(jìn)一步改善?分期需要多大的投入?如何降低整體成本和前期成本?如何分期投入?投資回報比?周期?…… 1. 確解用戶之意 任何應(yīng)用最難的就是了解用戶的需求,甚至是用戶自己都不知道的需求。 建立完善的、快速的用戶意見反饋機(jī)制和用戶需求調(diào)查機(jī)制,所有人都應(yīng)傾聽用戶的牢騷、建議。不斷的分析、修改。 2. 切返用戶之需 滿足用戶的需求,一切紛至沓來。不需要炒作,請把您的資源多多花費(fèi)在為用戶提供良好的體驗上來。 3. 不要干擾用戶的意圖,培養(yǎng)用戶的使用習(xí)慣和技巧 有一個故事是這樣的:還在yahoo使用google的搜索的時候,華爾街的幾個分析師來評估這兩個搜索哪個好用,去掉logo。結(jié)果一致評價yahoo的檢索效果好。因為yahoo是使用的google檢索結(jié)果,并且對熱點(diǎn)關(guān)鍵詞進(jìn)行了人工調(diào)整。但是一轉(zhuǎn)身這些分析師回到自己的電腦邊查詢東西,不約而同的打開了google。 4. 細(xì)節(jié)決定成敗 信息不是越多越好,在海量的信息時代,如果不能妥善的整理信息,那就等于沒有信息。每個頁面的每個字,每個像素、圖片的放置都值得花費(fèi)時間去琢磨。把用戶最需要的放在最顯眼的位置,次需要的放置到更多頁面,不需要的扔掉。 5. 將一件事情做到極致 不僅僅要關(guān)注80%的用戶的80%的需求,20%的用戶的20%的需求是您成敗關(guān)鍵所在。 6. 專注 這么多需要你解決的問題,你還能干其它事情?對于一個排在第四的業(yè)務(wù)你是沒有機(jī)會的。所以垂直搜索引擎的成功肯定不是具備良好資源的行業(yè)門戶、也不會是大搜索的公司,必然是專注于某一行業(yè)的搜索引擎公司。因為只有專注,才能將一件事情做到極致。 7. 創(chuàng)新 失敗不要緊,但是如果搜索引擎公司沒有創(chuàng)新,那這個搜索引擎公司必然面向的就是死亡。 8. 需要完全掌握主要技術(shù)。 一個核心業(yè)務(wù)不可能通過外包手段來解決技術(shù)問題。雖然找個大公司外包技術(shù)看起來很美麗,很快速,甚至成本比較低。但是這是在毀滅你的將來。因為這是產(chǎn)品,不是項目。產(chǎn)品是需要不斷完善調(diào)整的,用戶的需求也是變化的需要挖掘的,互聯(lián)網(wǎng)也是變化的,你外包技術(shù)絕對不可能做到靈活、及時滿足各種變化。在和競爭對手競爭的時候您如何保持您的領(lǐng)先優(yōu)勢?(前文說了,如果被對手保持領(lǐng)先一段時間,那么你之前的領(lǐng)先優(yōu)勢就蕩然無存)。這里還沒有考慮競爭問題,購買其它搜索引擎公司的技術(shù),對方會不會把真正的技術(shù)毫不保留的賣給你。再說,賣你你你能搞懂嗎?技術(shù)再困難也要自行解決。否則你注定失敗。最好的辦法就是購買核心技術(shù)縮短研發(fā)周期、成本、風(fēng)險,再在這個核心技術(shù)進(jìn)行自主研發(fā)。 這是垂直搜索的技術(shù)門檻,看似不高,其實很高。 對于技術(shù)問題可以迂回解決,用最簡單的技術(shù)滿足用戶最迫切的需求。用戶是不會關(guān)心技術(shù)實現(xiàn)的。 模板方式可以是網(wǎng)頁結(jié)構(gòu)化信息抽取技術(shù)的補(bǔ)充。對于可行的應(yīng)用早期采用模板技術(shù)也是不錯的選擇。比如chinabbs就做的很好,用戶的主要需求是要瀏覽到好的帖子,所以加強(qiáng)內(nèi)容的建設(shè),找高水平的編輯做推薦,而且在界面和易用性上也很不錯。領(lǐng)先qihoo。技術(shù)方面他們初期采用的應(yīng)該是模板自動生成方式采集論壇信息,比qihoo技術(shù)水平差,但是這目前不是用戶需求的關(guān)鍵,而且qihoo技術(shù)水平層次雖然高但是如果不成熟,體現(xiàn)給用戶的東西未必就強(qiáng)。Chinabbs接下來再解決技術(shù)難點(diǎn),在技術(shù)上有提升,那么他就能持續(xù)保持領(lǐng)先優(yōu)勢了。(但是話又說回來,招聘好的編輯很容易,技術(shù)要提升一個層次并且成熟很難,而且很耗費(fèi)時間,當(dāng)然用戶習(xí)慣和知名度也是需要很長時間培養(yǎng)的) 9. 用最簡單的技術(shù)實現(xiàn)用戶最迫切的需要 技術(shù)重要,但是技術(shù)的使用得當(dāng)更重要,技術(shù)是為用戶體驗服務(wù)的。只要能滿足用戶需要,什么技術(shù)都可以,簡單不代表不行,用最簡單的技術(shù)實現(xiàn)用戶最迫切的需要。百度的整體技術(shù)我認(rèn)為離google中文至少有1年以上差距,很多方面差距更大,但是百度的效果比google好,原因就是將簡單的技術(shù)用于實現(xiàn)用戶迫切的需求。 舉個我身邊的例子來描述簡單的技術(shù)實現(xiàn)需求:我把我們的基于視覺的網(wǎng)頁塊分析的正文抽取技術(shù)演示給一好友看,好友看后說:我們也實現(xiàn)了。我大驚,他們不是做搜索的,居然也實現(xiàn)了! 他告訴我他們實現(xiàn)的方法后,我再次吃驚,深感簡單的技術(shù)也可以很好的解決問題,雖然不完全解決,但是能滿足自己的需求就好。他們的解決方法是:對網(wǎng)頁的html進(jìn)行分析,將整段文字中沒有html代碼的文字提取出來,這就是正文。(驚嘆??!如此簡單?。∽ⅲ核麄兊男畔⒃炊际沁@樣的格式) 10. 根據(jù)中國本土互聯(lián)網(wǎng)特點(diǎn),強(qiáng)力的antispam,對信息進(jìn)行清洗。 11. 很多人誤解垂直搜索就是把相關(guān)的行業(yè)網(wǎng)頁做一個采集,進(jìn)行正文抽取,實現(xiàn)搜索,完成信息冊查詢。其實并非如此。如果這樣無法和網(wǎng)頁搜索競爭,網(wǎng)頁搜索很容易就可以將網(wǎng)頁庫按行業(yè)分類、按地區(qū)分類。 垂直搜索應(yīng)該是對垂直行業(yè)信息進(jìn)行深度的加工,有效的整合,為用戶提供網(wǎng)頁搜索無法做到的專業(yè)性、功能性,為用戶提供深一步的服務(wù)和完整的體驗,而且不僅僅是提供信息的檢索。垂直搜索是和信息搜索有本質(zhì)的差異化的。 12.專注用戶體驗的改善,任何的宣傳炒作都是空乏無意義的,搜索引擎的核心在于用戶體驗,你只要改善用戶體驗,比別人強(qiáng)一點(diǎn)點(diǎn),那么其它人的炒作和宣傳都在為你打工
|