△ 左為GPT-2，右為BERT上周，OpenAI腦洞天大的語言模型GPT-2，用獨(dú)角獸的故事震精了世界。 谷歌BERT“史上最強(qiáng)”的位子沒坐多久，便有了光芒萬丈的后輩。 如今，那個(gè)幫BERT做了PyTorch實(shí)現(xiàn)的團(tuán)隊(duì)，已經(jīng)火速在BERT項(xiàng)目里增加了GPT-2支持，并收到了推特用戶的盛贊。 看來，就算GPT-2只開源了縮小版，也值得珍惜，畢竟是有1.17億個(gè)參數(shù)的模型。 都到碗里來十幾個(gè)小時(shí)前，名叫HuggingFace (抱抱臉) 的團(tuán)隊(duì)，發(fā)布了Pytorch-bert v0.6更新。 這次更新的內(nèi)容，就是增加了GPT-2縮小版的預(yù)訓(xùn)練模型，以及與模型搭配的常用腳本示例。 不過，為OpenAI家的語言模型添加支持，在Pytorch-bert項(xiàng)目里，已經(jīng)不是第一次了： 一周前發(fā)布的v0.5，就增加了GPT，那是GPT-2的上一代。 同時(shí)增加的，還有谷歌的Transformer-XL，那是1月中旬發(fā)布的語言模型，可以理解超長的上下文關(guān)系，比普通Transformer快1800多倍。 也就是說，地球上知名NLP模型的PyTorch實(shí)現(xiàn)，正在項(xiàng)目里面不斷集結(jié)，場面一派祥和。 這個(gè)學(xué)名叫pytorch-pretrained-BERT的項(xiàng)目，已在GitHub上收集了3600多顆星。 當(dāng)然，項(xiàng)目的主業(yè)還是BERT，有三個(gè)BERT模型提供： 第一個(gè)是原味BERT，第二個(gè)是帶序列分類器的BERT，第三個(gè)是帶token分類器的BERT (用來做問答) 。 來吧，抱抱臉HuggingFace (“抱抱臉”) 團(tuán)隊(duì)原本就是做聊天機(jī)器人的，所以主要的貢獻(xiàn)也在自然語言處理 (NLP) 領(lǐng)域。 除了BERT的PyTorch實(shí)現(xiàn)之外，團(tuán)隊(duì)還發(fā)布過許多其他的源代碼和友善的教程，也都是基于PyTorch。 比如，教你給NLP任務(wù)加速100倍： 用PyTorch實(shí)現(xiàn)了從語言中識(shí)別情緒的DeepMoji模型： 還用PyTorch實(shí)現(xiàn)了OpenAI優(yōu)化過的Transformer模型： 所以，發(fā)生了GPT-2這樣的重大進(jìn)展，“抱抱臉”自然是及時(shí)響應(yīng)了。 管他OpenAI敢不敢開源15億參數(shù)的完整模型，管他要不要改名ClosedAI呢。 |
|
|
