阿里大规模预训练对话模型实践

如何将人类知识注入预训练模型，让知识和数据有机融合，一直是AI研究中的难题。而一个模型只能解决一项任务，通用性差又是AI的一个大问题。那预训练模型可能是破解之道，它能举一反三，解决多种任务。不过，知识注入并不容易，由于从数量级来说，知识远小于无标注数据，简单混合容易导致知识被淹没，或者出现严重的过拟合。利用半监督学习来对预训练对话模型注入知识，从而实现知识与数据的有机融合，会是解决在人机对话领域中将知识注入预训练模型的第一种解决方案。 本次分享由 阿里达摩院 资深算法专家、对话智能技术负责人 李永彬带来阿里大规模与训练对话模型的实践讲解，如何使用半监督学习将标注的人类知识注入预训练对话模型，探索知识和数据融合的新路径。