筆者開(kāi)源了一個(gè)帶有超詳細(xì)中文注釋的GPT2新聞標(biāo)題生成項(xiàng)目。

該項(xiàng)目參考了GPT2-Chinese、GPT2-chitchat、CDial-GPT、GPT2等多個(gè)GPT2開(kāi)源項(xiàng)目（感謝大佬們的開(kāi)源），并根據(jù)自己的理解，將代碼進(jìn)行重構(gòu)，添加詳細(xì)注釋，希望可以幫助到有需要的同學(xué)。

項(xiàng)目是基于HuggingFace的transformers實(shí)現(xiàn)GPT2模型代碼進(jìn)行修改、訓(xùn)練及測(cè)試。并且通過(guò)Flask框架搭建了一個(gè)Web服務(wù)，將新聞標(biāo)題生成模型進(jìn)行工程化，可以通過(guò)頁(yè)面，可視化地體驗(yàn)新聞標(biāo)題生成效果。

該項(xiàng)目的目的是帶領(lǐng)大家走一遍GPT2生成模型的訓(xùn)練、測(cè)試及部署全部流程。

項(xiàng)目地址：https://github.com/liucongg/GPT2-NewsTitle

本文主要是對(duì)項(xiàng)目中的代碼進(jìn)行講解，主要從數(shù)據(jù)預(yù)處理、數(shù)據(jù)類實(shí)現(xiàn)、模型代碼實(shí)現(xiàn)、模型訓(xùn)練、模型測(cè)試和模型上線，六個(gè)部分進(jìn)行介紹，如下。

數(shù)據(jù)預(yù)處理

數(shù)據(jù)來(lái)源于新浪微博，由He Zhengfang大佬整理，詳細(xì)鏈接如下：https://www.jianshu.com/p/8f52352f0748?tdsourcetag=s_pcqq_aiomsg。

由于數(shù)據(jù)來(lái)自微博，在標(biāo)題中常常帶有“話題”、“表情”標(biāo)記，在正文中常常帶有“HTML”標(biāo)記，如下：

因此需要對(duì)數(shù)據(jù)進(jìn)行清洗，具體如下：

（1）對(duì)標(biāo)題清洗時(shí)，會(huì)去除“##”符號(hào)（一般為微博數(shù)據(jù)的話題標(biāo)記）、去除“[]”中間的文字（一般為微博數(shù)據(jù)中的表情）、合并標(biāo)題中過(guò)多的空格

def clean_weibo_title(title: str):
    '''
    對(duì)微博數(shù)據(jù)中的標(biāo)題內(nèi)容（待生成）進(jìn)行清洗
    Args:
        title: 標(biāo)題
    Returns:
    '''
    # 去除##符號(hào)（一般為微博數(shù)據(jù)的話題標(biāo)記）
    title = re.sub(r'#', '', title)
    # 去除[]中間的文字（一般為微博數(shù)據(jù)中的表情）
    title = re.sub(r'(\[{1,2})(.*?)(\]{1,2})', '', title)
    # 合并標(biāo)題中過(guò)多的空格
    title = re.sub(r'\s+', ' ', title)
    return title

（2）對(duì)正文清洗時(shí)，會(huì)去除網(wǎng)址、合并正文中過(guò)多的空格、去除“\u200b”字符

（3）對(duì)清洗后的數(shù)據(jù)進(jìn)行整合，去除重復(fù)數(shù)據(jù)、正文內(nèi)容字?jǐn)?shù)小于100的數(shù)據(jù)和標(biāo)題內(nèi)容字?jǐn)?shù)小于2的數(shù)據(jù)；并且拆分訓(xùn)練集和測(cè)試集。

def build_news_data(content_path, title_path, train_save_path, test_save_path):
    '''
    對(duì)微博數(shù)據(jù)進(jìn)行清洗，構(gòu)建訓(xùn)練集和測(cè)試集
    Args:
        content_path: 正文內(nèi)容文件路徑
        title_path: 標(biāo)題內(nèi)容文件路徑
        train_save_path: 訓(xùn)練集文件路徑
        test_save_path: 測(cè)試集文件路徑
    Returns:
    '''
    # 打開(kāi)文件，并將其zip成一個(gè)文件
    content_data = open(content_path, 'r', encoding='utf-8')
    title_data = open(title_path, 'r', encoding='utf-8')
    data = zip(content_data.readlines(), title_data.readlines())
    # 使用多進(jìn)程處理數(shù)據(jù)
    threads = min(8, cpu_count())
    with Pool(threads) as p:
        annoate_ = partial(clean_data)
        data = list(tqdm(p.imap(annoate_, data, chunksize=8),
                         desc='build data'
                         )
                    )
    # 對(duì)數(shù)據(jù)進(jìn)行過(guò)濾，去除重復(fù)數(shù)據(jù)、正文內(nèi)容字長(zhǎng)小于100的數(shù)據(jù)和標(biāo)題內(nèi)容字長(zhǎng)小于100的數(shù)據(jù)
    data_set = set()
    data_new = []
    for d in data:
        if d['content'] in data_set or len(d['content']) < 100 or len(d['title']) < 2:
            continue
        else:
            data_set.add(d['content'])
            data_new.append(d)
    # 拆分?jǐn)?shù)據(jù)，構(gòu)建訓(xùn)練集和測(cè)試集
    random.shuffle(data_new)
    train_data = data_new[:-3000]
    test_data = data_new[-3000:]
    fin = open(train_save_path, 'w', encoding='utf-8')
    fin.write(json.dumps(train_data, indent=4, ensure_ascii=False))
    fin.close()
    fin = open(test_save_path, 'w', encoding='utf-8')
    fin.write(json.dumps(test_data, indent=4, ensure_ascii=False))
    fin.close()

詳細(xì)代碼見(jiàn)Github項(xiàng)目的data_helper.py文件。

數(shù)據(jù)類實(shí)現(xiàn)

數(shù)據(jù)類的作用是將文本數(shù)據(jù)轉(zhuǎn)換成模型可以使用的索引數(shù)據(jù)，并預(yù)先存儲(chǔ)下來(lái)。避免模型每訓(xùn)練一步，都進(jìn)行無(wú)效的數(shù)據(jù)轉(zhuǎn)換操作。

（1）判斷是否存在緩存文件，如果存在，則直接加載；否則重新將文本數(shù)據(jù)轉(zhuǎn)換為索引數(shù)據(jù)，并存為緩存。

（2）將文本數(shù)據(jù)轉(zhuǎn)換為索引數(shù)據(jù)的函數(shù)

def convert_feature(self, sample):
    '''
    數(shù)據(jù)處理函數(shù)
    Args:
        sample: 一個(gè)字典，包含新聞的正文和新聞的標(biāo)題，格式為{'content': content, 'title': title}
    Returns:
    '''
    input_ids = []
    token_type_ids = []
    # 對(duì)新聞?wù)倪M(jìn)行tokenizer.tokenize分詞
    content_tokens = self.tokenizer.tokenize(sample['content'])
    # 對(duì)新聞標(biāo)題進(jìn)行tokenizer.tokenize分詞，注意tokenizer中已經(jīng)將[Space]作為一個(gè)分隔符，不會(huì)切割成多個(gè)字符
    title_tokens = self.tokenizer.tokenize(sample['title'].replace(' ', '[Space]'))
    # 判斷如果正文過(guò)長(zhǎng)，進(jìn)行截?cái)?br>    if len(content_tokens) > self.max_len - len(title_tokens) - 3:
        content_tokens = content_tokens[:self.max_len - len(title_tokens) - 3]
    # 生成模型所需的input_ids和token_type_ids
    input_ids.append(self.tokenizer.cls_token_id)
    token_type_ids.append(self.content_id)
    input_ids.extend(self.tokenizer.convert_tokens_to_ids(content_tokens))
    token_type_ids.extend([self.content_id] * len(content_tokens))
    input_ids.append(self.tokenizer.sep_token_id)
    token_type_ids.append(self.content_id)
    input_ids.extend(self.tokenizer.convert_tokens_to_ids(title_tokens))
    token_type_ids.extend([self.title_id] * len(title_tokens))
    input_ids.append(self.tokenizer.sep_token_id)
    token_type_ids.append(self.title_id)
    # 判斷input_ids與token_type_ids長(zhǎng)度是否一致
    assert len(input_ids) == len(token_type_ids)
    # 判斷input_ids長(zhǎng)度是否小于等于最大長(zhǎng)度
    assert len(input_ids) <= self.max_len
    return input_ids, token_type_ids

詳細(xì)代碼見(jiàn)Github項(xiàng)目的data_set.py文件。

模型代碼實(shí)現(xiàn)

模型部分，主要對(duì)transformers包中GPT2LMHeadModel類進(jìn)行重寫(xiě)，修改計(jì)算loss部分，只計(jì)算預(yù)測(cè)title部分的loss。

模型的輸入由word embedding、segment embedding和position embedding三部分組成，具體如下圖所示：

為什么需要加segment embedding？
為了更好地區(qū)分Content和Title，并且根據(jù)token type id可以僅計(jì)算title部分的損失值。

詳細(xì)代碼見(jiàn)Github項(xiàng)目的model.py文件。

模型訓(xùn)練

模型訓(xùn)練參數(shù)如下圖所示：

模型訓(xùn)練執(zhí)行代碼如下：

python3 train.py
或
python3 train.py --output_dir output_dir/(自定義保存模型路徑)

模型訓(xùn)練文件主要由以下幾個(gè)函數(shù)組成：（1）設(shè)置訓(xùn)練模型所需參數(shù)函數(shù)set_args；（2）訓(xùn)練模型函數(shù)train；（3）對(duì)測(cè)試數(shù)據(jù)集進(jìn)行模型測(cè)試evaluate；（4）主函數(shù)main。

詳細(xì)代碼見(jiàn)Github項(xiàng)目的train.py文件。

值得注意的是，在實(shí)例化tokenizer時(shí)，一定要使用tokenizer.add_tokens('[Space]', special_tokens=True)，目的是為了將[Space]作為一個(gè)切分整體，例如：'我愛(ài)[Space]北京天安門。'，使用原始tokenizer分詞結(jié)果為'['我', '愛(ài)', '[', 'Space', ']', '北', '京', '天', '安','門','。']'；增加切分符號(hào)后的結(jié)果為'['我', '愛(ài)', '[Space]', '北', '京', '天', '安','門','。']'。

模型測(cè)試

模型測(cè)試部分，主要是通過(guò)不同的解碼策略，對(duì)已經(jīng)訓(xùn)練好的模型進(jìn)行單個(gè)樣本的預(yù)測(cè)。

（1）top_k或top_p解碼策略，僅保留top_k個(gè)或累積概率到達(dá)top_p的標(biāo)記，其他標(biāo)記設(shè)為filter_value，后續(xù)在選取標(biāo)記的過(guò)程中會(huì)取不到值設(shè)為無(wú)窮小。

（2）對(duì)單個(gè)樣本進(jìn)行預(yù)測(cè)

def predict_one_sample(model, tokenizer, device, args, content):
    '''
    對(duì)單個(gè)樣本進(jìn)行預(yù)測(cè)
    Args:
        model: 模型
        tokenizer: 分詞器
        device: 設(shè)備信息
        args: 配置項(xiàng)信息
        content: 新聞?wù)?br>    Returns:
    '''
    # 對(duì)新聞?wù)倪M(jìn)行預(yù)處理，并判斷如果超長(zhǎng)則進(jìn)行截?cái)?br>    content_tokens = tokenizer.tokenize(content)
    if len(content_tokens) > args.max_len - 3 - args.generate_max_len:
        content_tokens = content_tokens[:args.max_len - 3 - args.generate_max_len]
    # 獲取content_id、title_id、unk_id、sep_id值
    content_id = tokenizer.convert_tokens_to_ids('[Content]')
    title_id = tokenizer.convert_tokens_to_ids('[Title]')
    unk_id = tokenizer.convert_tokens_to_ids('[UNK]')
    sep_id = tokenizer.convert_tokens_to_ids('[SEP]')
    # 將tokens索引化，變成模型所需格式
    content_tokens = ['[CLS]'] + content_tokens + ['[SEP]']
    input_ids = tokenizer.convert_tokens_to_ids(content_tokens)
    # 將input_ids和token_type_ids進(jìn)行擴(kuò)充，擴(kuò)充到需要預(yù)測(cè)標(biāo)題的個(gè)數(shù)，即batch_size
    input_ids = [copy.deepcopy(input_ids) for _ in range(args.batch_size)]
    token_type_ids = [[content_id] * len(content_tokens) for _ in range(args.batch_size)]
    # 將input_ids和token_type_ids變成tensor
    input_tensors = torch.tensor(input_ids).long().to(device)
    token_type_tensors = torch.tensor(token_type_ids).long().to(device)
    next_token_type = torch.tensor([[title_id] for _ in range(args.batch_size)]).long().to(device)
    # 用于存放每一步解碼的結(jié)果
    generated = []
    # 用于存放，完成解碼序列的序號(hào)
    finish_set = set()
    with torch.no_grad():
        # 遍歷生成標(biāo)題最大長(zhǎng)度
        for _ in range(args.generate_max_len):
            outputs = model(input_ids=input_tensors, token_type_ids=token_type_tensors)
            # 獲取預(yù)測(cè)結(jié)果序列的最后一個(gè)標(biāo)記，next_token_logits size：[batch_size, vocab_size]
            next_token_logits = outputs[0][:, -1, :]
            # 對(duì)batch_size進(jìn)行遍歷，將詞表中出現(xiàn)在序列中的詞的概率進(jìn)行懲罰
            for index in range(args.batch_size):
                for token_id in set([token_ids[index] for token_ids in generated]):
                    next_token_logits[index][token_id] /= args.repetition_penalty
            # 對(duì)batch_size進(jìn)行遍歷，將詞表中的UNK的值設(shè)為無(wú)窮小
            for next_token_logit in next_token_logits:
                next_token_logit[unk_id] = -float('Inf')
            # 使用top_k_top_p_filtering函數(shù)，按照top_k和top_p的值，對(duì)預(yù)測(cè)結(jié)果進(jìn)行篩選
            filter_logits = top_k_top_p_filtering(next_token_logits, top_k=args.top_k, top_p=args.top_p)
            # 對(duì)filter_logits的每一行做一次取值，輸出結(jié)果是每一次取值時(shí)filter_logits對(duì)應(yīng)行的下標(biāo)，即詞表位置（詞的id）
            # filter_logits中的越大的值，越容易被選中
            next_tokens = torch.multinomial(F.softmax(filter_logits, dim=-1), num_samples=1)
            # 判斷如果哪個(gè)序列的預(yù)測(cè)標(biāo)記為sep_id時(shí)，則加入到finish_set
            for index, token_id in enumerate(next_tokens[:, 0]):
                if token_id == sep_id:
                    finish_set.add(index)
            # 判斷，如果finish_set包含全部的序列序號(hào)，則停止預(yù)測(cè)；否則繼續(xù)預(yù)測(cè)
            finish_flag = True
            for index in range(args.batch_size):
                if index not in finish_set:
                    finish_flag = False
                    break
            if finish_flag:
                break
            # 將預(yù)測(cè)標(biāo)記添加到generated中
            generated.append([token.item() for token in next_tokens[:, 0]])
            # 將預(yù)測(cè)結(jié)果拼接到input_tensors和token_type_tensors上，繼續(xù)下一次預(yù)測(cè)
            input_tensors = torch.cat((input_tensors, next_tokens), dim=-1)
            token_type_tensors = torch.cat((token_type_tensors, next_token_type), dim=-1)
        # 用于存儲(chǔ)預(yù)測(cè)結(jié)果
        candidate_responses = []
        # 對(duì)batch_size進(jìn)行遍歷，并將token_id變成對(duì)應(yīng)漢字
        for index in range(args.batch_size):
            responses = []
            for token_index in range(len(generated)):
                # 判斷，當(dāng)出現(xiàn)sep_id時(shí)，停止在該序列中添加token
                if generated[token_index][index] != sep_id:
                    responses.append(generated[token_index][index])
                else:
                    break
            # 將token_id序列變成漢字序列，去除'##'，并將[Space]替換成空格
            candidate_responses.append(
                ''.join(tokenizer.convert_ids_to_tokens(responses)).replace('##', '').replace('[Space]', ' '))
    return candidate_responses

詳細(xì)代碼見(jiàn)Github項(xiàng)目的generate_title.py文件。

測(cè)試結(jié)果如下：

模型上線

通過(guò)Flask框架搭建了一個(gè)Web服務(wù)，將新聞?wù)赡Ｐ瓦M(jìn)行工程化，可以通過(guò)頁(yè)面可視化地體驗(yàn)新聞?wù)尚Ч?/p>

詳細(xì)代碼見(jiàn)Github項(xiàng)目的http_server.py文件。

并且在我之前文章中，詳細(xì)介紹過(guò)如何使用Flask框架搭建Web服務(wù)，見(jiàn)：https://zhuanlan.zhihu.com/p/143678340

https://zhuanlan.zhihu.com/p/148224626

python3 http_server.py
或
python3 http_server.py --http_id '0.0.0.0' --port 5555

后期工作

可能會(huì)將清華新聞數(shù)據(jù)、搜狗新聞數(shù)據(jù)等新聞數(shù)據(jù)集進(jìn)行整理清洗，構(gòu)建一個(gè)較完善的新聞?wù)獢?shù)據(jù)集。

總結(jié)