金磊 夢晨 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

北大智能科學系畢業(yè)之后，喬丹做了好幾年程序員。

然后他選擇讓人生駛入另一條軌道。

今年9月，喬丹來到四川大涼山支教，成為美姑縣采紅村曉明愛心小學的校長。

美姑縣山高谷深，曾經(jīng)是大涼山里最閉塞的縣。

經(jīng)過數(shù)年的脫貧攻堅，這里通路通網(wǎng)，吃穿基本不愁，學校的硬件設施也都不錯，但孩子們對大山之外的認知仍然有限。

如何利用自己所長，開拓孩子們的視野，啟發(fā)他們對科技的興趣？喬丹覺得最好能讓他們親眼見一見科技產(chǎn)品。

不久前，喬丹給老朋友任星打了一通電話。任星今年剛從清華博士畢業(yè)，現(xiàn)在是華為云的研究員。

喬丹想邀請他來給愛心小學的71個孩子上一堂科技課。

經(jīng)過一段時間籌備，這次讓孩子們期待已久的科技課堂，終于在12月下旬到來。

任星和同事們帶來精心準備的生動課程內(nèi)容，比如AI技術如何用于保護雨林和大熊貓。

也帶來許多新奇有趣的科技產(chǎn)品，包括VR眼鏡、機器狗，還有能和孩子們互動的數(shù)字人“云笙”。

還有一件特殊的新年禮物。

緊急任務

美姑縣冬季長達135天，山上風大，晝夜溫差也大。

盡管當?shù)匾鸦緦崿F(xiàn)不愁吃不愁穿，但孩子們長得快，正處于活潑好動的年紀，很需要新的能御寒的冬衣。

這個看似簡單的需求，卻是一個不小的挑戰(zhàn)。

一方面，這件冬衣需要適應山區(qū)孩子的需求。需要保暖防風、耐磨耐臟，還要內(nèi)外兩層設計并容易穿脫以應對晝夜溫差。

另一方面，這樣一套冬衣，傳統(tǒng)上僅設計打樣就大致需要3周，在這個流程下，根本來不及在新年前，把生產(chǎn)好的冬衣送到孩子們手上。

不過科技公司就有科技的辦法，能讓一項看似無解的緊急任務峰回路轉。

此次冬衣設計方案，由AI與服裝設計師聯(lián)手完成，整個過程僅用了不到一周。

主設計師是來自廣東時諦智能的劉曉茜，她帶來了時諦智能的全鏈路數(shù)字化解決方案。

AI能力則來自華為云的盤古大模型。

更具體一點，是盤古系列中的多模態(tài)大模型。

模態(tài)，指的是文字、圖像、視頻等不同的信息表現(xiàn)形式。

多模態(tài)則是把不同類型數(shù)據(jù)結合起來，比如一張圖像搭配上一段文字組成一對讓AI去學習。

像這樣的圖文對，盤古多模態(tài)大模型學了10億組，理解了圖像與文字之間的聯(lián)系，獲得“以文生圖”的能力。

在此基礎上繼續(xù)學習十萬級時尚產(chǎn)業(yè)數(shù)據(jù)，得到更具體的根據(jù)描述生成服飾圖片能力。

△華為云盤古多模態(tài)大模型服飾生成示意圖，僅為文章配圖，內(nèi)容不做商用

在企劃階段，以往服裝設計師會花大量時間在搜集資料、看參考上。

像是哪些顏色和圖案正在流行？又有哪些面料符合項目需要？

根據(jù)調(diào)研結果，設計師收集素材的時間往往占整個制作周期的70%以上，真正花在設計上的時間僅為30%。

現(xiàn)在有了AI以文生圖能力的幫助，設計師只需輸入關鍵詞就得到盤古多模態(tài)大模型生成的大量服飾圖片作參考，而且這些款式都是獨一無二的。

這就讓設計師能夠根據(jù)推薦結果快速積累靈感，節(jié)約大量時間。

盤古多模態(tài)大模型還針對時尚行業(yè)需求做了降低顯存占用、提高推理速度等一系列優(yōu)化。

當前在華為云提供的V100單卡上可實現(xiàn)分鐘級推理，一次批量呈現(xiàn)128張服飾圖片。

讓設計師有了思路就能快速看到結果，避免重復消耗時間和精力，讓靈感不被打斷。

從AI的推薦中挑選出合適的款式后，設計師們爭取了大量時間，得以快速進入更細致的二次創(chuàng)作階段。

考慮到大涼山晝夜溫差大、孩子們好動、長得快等因素，劉曉茜一方面將目光聚焦在了方便穿脫的兩件式設計。

另一方面決定采用耐磨耐臟、防風防水的外層材質。這與盤古大模型推理生成的“派克服”款式不謀而合。

劉曉茜和其他設計師們根據(jù)盤古大模型批量提供的“派克服”參考版式，快速繪制出服裝線稿。

隨后將線稿和具有彝族特色的圖案，如象征吉祥、美麗、幸福的馬櫻花紋，羊角紋，窗格紋等，導入時諦智能AI服裝設計系統(tǒng)，在線對其進行材料、顏色、圖案的搭配。

有了華為云提供的數(shù)據(jù)和云端算力，加上時諦智能的實時渲染技術，方案效果可以用真實3D渲染呈現(xiàn)。

修改也同樣方便，時諦智能的在線協(xié)同設計平臺支持云端及時修改，省去了反復打樣的步驟，將設計周期從三周縮短到一周以內(nèi)。

一套適合大涼山孩子的新年冬衣方案，就此快速面世。

除了縮短設計流程這個量變，AI和云技術也給服裝設計行業(yè)帶來質變。

多模態(tài)大模型可以依據(jù)大數(shù)據(jù)分析流行趨勢，推薦流行的顏色、圖案等元素，幫助設計師洞察消費需求。

具體這次冬衣項目設計中，盤古多模態(tài)大模型在短時間內(nèi)向時諦智能設計師提供了兩三百個方案，包括羽絨服、派克服等。

設計師只需從中選擇最好的再作進一步精細調(diào)整，這對最終成品的質量也是一種提升。

在設計完成后的生產(chǎn)階段，時諦智能利用其在時尚產(chǎn)業(yè)豐富的供應鏈資源儲備，進行了服裝的快速生產(chǎn)、二次加工。

在設計過程中得到的渲染結果圖等數(shù)字資產(chǎn)也能直接用于制作宣傳物料。

這樣看來，華為云與時諦智能聯(lián)手真正要做的，其實是用技術幫助傳統(tǒng)服裝產(chǎn)業(yè)數(shù)字化轉型。

而遠在大涼山的孩子們，在種種機緣巧合下成了第一批見證這一轉型成果的人。

整個過程也被拍成了一部紀錄片。

看過了紀錄片里參與其中的每個人自己的經(jīng)歷與體會，接下來，不妨再看看故事的另一面。

從技術角度深入了解一下，是什么支撐著這一切成為現(xiàn)實。

單卡就能用的大模型

華為云盤古多模態(tài)大模型，是華為云盤古系列大模型之一。

此外還包括NLP大模型、CV大模型和科學計算大模型。

它的開發(fā)模式與BERT這樣主流的大模型相匹配，采用的是一種“預訓練+下游微調(diào)”的方法。

而之所以采用這種模式，是因為它的一大優(yōu)點就是極具泛化能力。

通俗一點來說，就是可以做到“觸類旁通”、“舉一反三”。

華為云盤古大模型在訓練自己的時候，也算是個“狠人”，用的是億級圖文對。

在這種參數(shù)規(guī)模的預訓練之下，華為云盤古多模態(tài)大模型便有了較強的通用、泛化能力。

而在下游微調(diào)階段，針對此次案例，它基于此再使用10萬級的時尚產(chǎn)業(yè)數(shù)據(jù)做微調(diào)。

這樣AI就理解了服裝設計領域上更具體的知識。

比如，“羊毛精紡”對應哪種面料，“西裝”對應哪種衣服，甚至“女士西裝”都有哪些版型。

再把這些不同維度的知識組合在一起，多模態(tài)大模型就有了“以文生圖”的核心能力。

雖然這種“兩步走”的方法看起來比較簡單，不過單是在預訓練過程中，面對億級別的參數(shù)量，效率便成為了一個老大難的問題。

對此，華為云盤古多模態(tài)大模型有自己的妙招：

左手CANN算子，右手MindSpore框架。

CANN是華為推出的異構計算架構，2018年推出1.0版本至今，已經(jīng)迭代到了3.0版本。

目前它不僅可以在推理、訓練場景中使用，還能夠實現(xiàn)“端邊云協(xié)同”。

這就意味著不必在不同的終端，再去開發(fā)不同的算子，大大提高了效率。

例如基于CANN，就能讓ResNet-50模型的訓練時間降低到28s。

MindSpore則是華為于2019年推出的全場景AI計算框架，其中的一大特色，就是具有全自動混合并行方案。

而華為云盤古大模型，基于這兩大“法寶”之外，還融合了三種并行技術：模型并行、數(shù)據(jù)并行和流水線并行。

并且在算法層面上，華為云盤古多模態(tài)大模型還運用了漸進式可微分網(wǎng)絡架構搜索、動態(tài)權重軟標簽生成等技術。

如此一套“組合拳”下來，即便是面對億級海量參數(shù)，也能夠大幅提高模型預訓練的效率。

那么這個效率提高到了什么程度呢？

舉個例子。

以往面對億級的數(shù)據(jù)量，如果只用單節(jié)點8卡V100來訓練，那么所消耗的時間就得按年來計算了。

而在華為云盤古多模態(tài)大模型這邊，訓練速度已經(jīng)降至天的單位！

當然，“預訓練速度快”只是華為云盤古大多模態(tài)模型的優(yōu)勢之一，它另外一個強項，就是擅于處理數(shù)據(jù)量少、小樣本的問題。

關于這點的能力，已經(jīng)在一些全球范圍內(nèi)公開的任務中有所體現(xiàn)。

例如在COCO以文搜圖的零樣本任務中，盤古多模態(tài)大模型已經(jīng)超過業(yè)界標桿算法CLIP、ALIGN等，達到業(yè)界最佳精度。

華為云盤古多模態(tài)大模型的第三個特點，便是把“作坊式”的工作流程轉變?yōu)椤肮S模式”。

簡單來說，就是不需要開發(fā)者參與太多頻繁的手動工作：從零開始、獨立調(diào)優(yōu)、艱難迭代、推倒重來……

而是將傳統(tǒng)的這些流程變得智能化和自動化，例如華為云盤古多模態(tài)大模型便提供了云服務化的AI開發(fā)工作流。

這就可以讓下游用戶，在模型準備到超參調(diào)優(yōu)等環(huán)節(jié)中，只需要少量的樣本數(shù)據(jù)，以及對模型提出性能要求就可以了。

而且不僅是訓練速度快，在后續(xù)的推理過程，其效率也是極高。

例如在服裝設計這個案例中，當前盤古多模態(tài)時尚大模型利用Attention Cache等技術加快推理速度，在華為云提供的單卡V100支持下，可以支撐分鐘級推理速度。

……

以上便是華為云盤古多模態(tài)大模型，能夠做到“節(jié)省70%時間，三天出數(shù)百方案”背后的原因了。

不僅如此，目前華為云還把這樣的能力，更確切來說是接口，已經(jīng)開放給了多家時尚設計公司調(diào)用。

但它要做的事情，還遠不止于此。

盤古多模態(tài)大模型，還能帶來些什么？

從信息處理的歷程來看，多模態(tài)信息融合已然成為發(fā)展的必然趨勢。

而華為云要做的，就是用“大模型”的方式，讓這種進程加速度。

換言之，就是要將生活中普遍存在的信息元素（圖像、聲音、文字、味道、觸感等），糅合到一起來處理。

并且還需得用高效的方式，對事物進行理解、思考和推理，以此來實現(xiàn)更高級的智能應用。

而這種方式，也被廣泛認為是從限定領域的弱人工智能邁向通用人工智能路徑的探索。

以這次在服裝時尚行業(yè)的應用為例，正如剛才所述，華為云通過盤古多模態(tài)大模型的技術，加上時諦智能的全鏈路數(shù)字化解決方案，讓設計這件事從傳統(tǒng)的30天，一下子躍進到一周內(nèi)。

在幫助提高效率的同時，還讓設計師能夠把更多的精力，投入在對服裝設計的二次創(chuàng)作上。

但這只是華為云盤古多模態(tài)大模型“出道”目標的一隅，它目光所聚焦的是將這種能力拓展到更多的行業(yè)。

正如盤古研發(fā)團隊所述：

將繼續(xù)對盤古多模態(tài)大模型進行迭代演進，持續(xù)開發(fā)上游通用能力。

讓盤古多模態(tài)大模型，演化成諸多盤古行業(yè)多模態(tài)大模型，從而加速盤古系列預訓練大模型的上天 （通用能力打造）與入地 （行業(yè)落地）步伐。

而從更宏觀的角度來看，華為云所做的事情，主旋律在于“改變”。

具體而言，就是通過科技、AI的力量，來改變?nèi)藗兊纳睢⑸a(chǎn)方式。

這不，大涼山彝族的小朋友們便率先體驗到了科技帶來的改變和溫暖。

而華為云盤古多模態(tài)大模型，也是這個主旋律中的一角。

那么華為云在接下來，又將會如何體現(xiàn)科技力量的溫度呢？

值得拭目以待了。