自然语言生成旨在让机器能够像人一样使用自然语言进行表达和交互，它是人工智能领域重要的前沿课题，近年来受到学术界和工业界广泛关注。

随着神经网络生成模型特别是预训练语言模型的迅速发展，机器生成文本的可读性和流畅性不断提升。然而，自动生成的文本中依然经常出现不符合原文或背景的错误事实描述，这种生成的事实一致性问题是自然语言生成进行落地应用的主要障碍之一，并逐渐受到研究学者的关注。鉴于当前国内外关于事实一致性的生成评测比赛十分匮乏，为了促进自然语言生成的技术发展和实际应用，我们计划组织面向事实一致性的生成评测比赛。

本比赛得到中国中文信息学会自然语言生成专业委员会（筹）支持，将在2021年11月7日首届中国自然语言生成大会（CCNLG-2021）召开评测研讨会，并在大会上对获奖团队颁奖。

- 文案生成根据结构化的商品信息生成合适的广告文案；

- 摘要生成是为输入文档生成简洁且包含关键信息的简洁文本；

- 问题生成则是根据给定段落以及答案生成适合的问题。

--device=gpu

- `gpus` 指示了训练所用的GPU卡号。

- `model_name_or_path` 指示了finetune使用的具体预训练模型，可以是PaddleNLP提供的预训练模型，或者是本地的预训练模型。如果使用本地的预训练模型，可以配置本地模型的目录地址，例如: ./checkpoints/model_xx/，目录中需包含paddle预训练模型model_state.pdparams。如果使用PaddleNLP提供的预训练模型，可以选择下面其中之一。

| PaddleNLP提供的预训练模型 |

- `warmup_propotion` 表示学习率逐渐升高到基础学习率（即上面配置的learning_rate）所需要的迭代数占总步数的比例，最早的使用可以参考[这篇论文](https://arxiv.org/pdf/1706.02677.pdf)。

- `max_seq_len` 模型输入序列的最大长度。

- `max_target_len` 模型训练时标签的最大长度。

- `do_train` 是否进行训练。

- `do_predict` 是否进行预测，在验证集上会自动评估。

- `device` 表示使用的设备，从gpu和cpu中选择。

export CUDA_VISIBLE_DEVICES=0

--device=gpu

程序运行结束后会将预测结果保存在`output_path`中。将预测结果准备成比赛官网要求的格式，提交评估即可得评估结果。

| :-----------------------------: | :---: | :-----------: | :-------------------: |

add_start_token_for_decoding=True,

return_position_ids=True)

tokenized_example['target'] = example['target']

return tokenized_example

import paddle.nn as nn

import paddle.nn.functional as F

from paddlenlp.transformers import LinearDecayWithWarmup

from paddlenlp.datasets import load_dataset

from paddlenlp.transformers import UNIMOLMHeadModel, UNIMOTokenizer, BasicTokenizer

parser = argparse.ArgumentParser(__doc__)

parser.add_argument('--dataset_name', type=str, default='dureader_qg', help='The name of the dataset to load.')

parser.add_argument('--model_name_or_path', type=str, default='unimo-text-1.0', help='The path or shortcut name of the pre-trained model.')

parser.add_argument('--save_dir', type=str, default='./checkpoints', help='The directory where the checkpoints will be saved.')

parser.add_argument('--logging_steps', type=int, default=100, help='Log every X updates steps.')

parser.add_argument('--save_steps', type=int, default=1000, help='Save checkpoint every X updates steps.')

if world_size > 1:

model = paddle.DataParallel(model)

train_ds, train_data_loader = create_data_loader(train_ds, tokenizer, args,

'train')

save_ckpt(model, tokenizer, args.save_dir, step)

print('Saved step {} model.\n'.format(step))

if args.do_predict:

batch_start_time = time.time()

print('\nTraining completed.')

elif args.do_predict:

eos_token_id=tokenizer.mask_token_id)

total_time += (time.time() - start_time)

total_time = 0.0

results = select_sum(ids, scores, tokenizer, args.max_dec_len,

yield {

'source': json_data["content"],

'id': data_id

}

data_id += 1

yield {

'source': json_data["context"],

'title': title,

'id': json_data['id']

}

yield {

'source': json_data["content"],

'id': json_data['id']

}