Google的实体专家AI以更少的数据回答了基于文本的问题
发布时间：2020-04-26 07:29:35发布人：日新微博
Google Research的合著者本周发表的预印本研究描述了Entities as Experts（EAE），这是一种新型的机器学习模型，可以访问其中提到的实体（例如，人，地方，组织，日期，时间和数字）的记忆。一段示例文本。他们声称，它以更少的数据胜过两个最新模型，同时捕获了更多的事实知识，并且比其所基于的Transformers体系结构更具模块化和可解释性。
如果同行评审能证明研究人员对EAE的主张，则可以解决长期存在的自然语言处理难题：无需注入特定于实体的知识，即可获得回答世界问题所需的知识。在企业环境中，EAE可以为聊天机器人的基础，该聊天机器人吸收特定于域的信息的语料库，并使用最可能相关的信息回答有关语料库的问题。
与所有深层神经网络一样，EAE包含神经元（数学功能），这些神经元分层次排列以传输来自输入数据的信号并调整每个连接的强度（权重）。这样便可以提取特征并学会进行预测，但是由于EAE基于Transformer架构，因此受到关注。这意味着每个输出元素都连接到每个输入元素，并且它们之间的权重是动态计算的。
独特的是，EAE还包含实体存储层，使其能够“理解”并以高度数据有效的方式回答有关文本的问题。该模型直接从文本中学习知识，以及其他模型参数（即，从数据估算出的配置变量，并且在进行预测时模型需要此变量），并将内存与特定实体或数据类型（如标题和数字表达式）相关联。
正如合著者所解释的那样，“ [例如，]传统的变形金刚需要用“查尔斯”和“达尔文”这两个词来构建查尔斯·达尔文的内部表示形式，这两个词也可以用来指代非常不同的实体，例如查尔斯河或达尔文市。相反，EAE可以访问“ Charles Darwin”的专用表示形式，该表示形式存储了先前提到该实体的所有上下文。对于达尔文的其他提及，例如“查尔斯·罗伯特·达尔文”或“自然选择之父”，也可以访问该表示形式。检索并重新集成了此内存后，EAE可以更轻松地将问题与答案相关联。”
为了评估EAE，研究人员在Wikipedia文章上训练了该模型，将文章的超链接和Google Cloud Natural Language API抓取到了总计3200万个上下文以及超过1700万个实体提及。他们只保留了前一百万个最频繁出现的实体，并保留了其中0.4％的用于开发和测试目的。然后，他们从零开始对模型进行了100万步的预训练，并在TriviaQA上进行了50,000个训练步骤的过程中对预训练的EAE进行了微调，该阅读理解任务将问题与文档配对。（在TriviaQA中，保留了77％的培训示例-那些不是实体的示例被丢弃了。）
该团队报告说，在几次“封闭式”测试中，模型必须通过正确地将提及与其周围的句子上下文相关联，来恢复被遮蔽的提及中的单词，EAE在推理时仅使用了一小部分参数-大约给定问题中每个提及的前100个实体-相对于基准Transformer模型。（Transformer模型使用的参数数量几乎是参数的30倍。）初步证据还表明，EAE比基线BERT模型具有更多的事实知识。
共同作者写道：“ [我们的分析表明，正确地识别和重新整合实体表示形式对于EAE的表现至关重要。” “培训EAE使其专注于实体要比具有不受限制的内存存储的类似规模的网络更好。”
相关评论 (0条)
暂无任何评论，欢迎您点评！