SmartReply是Google发布的面向youtue自媒体网友的自动智能回复神经网络，随着Gmail的推出和Android Messages的推出，SmartReply已经扩展到了更多的用户，并通过Android Wear扩展到了更多的设备。现在，开发者可以使用SmartReply在Play开发者控制台内回复评论，并可以使用MLKit和TFLite内提供的API设置自己的版本。每一次发布都有一个独特的挑战，在建模和服务方面，需要根据任务要求定制SmartReply。

Google现在很高兴与大家分享为YouTube打造的更新版SmartReply，并在YouTube Studio中实现，帮助创作者更轻松地与观众互动。这个模型通过一个计算效率高的扩张型自注意力网络来学习评论和回复表示，并代表了第一个基于跨语言和字符字节的SmartReply模型。SmartReply for YouTube目前适用于英语和西班牙语创作者，这种方法简化了未来将SmartReply功能扩展到更多语言的过程。

YouTube创作者会收到大量的视频回复。此外，YouTube上的创作者和观众社区是多样化的，这一点从他们的评论、讨论和视频的创意中就能体现出来。与电子邮件相比，YouTube上的评论往往篇幅较长，且以正式语言为主，但与之相比，YouTube上的评论显示出复杂的语言转换模式、缩略词、俚语、标点符号的不一致使用以及大量使用表情符号。以下是说明这一挑战的评论样本。

最初发布的SmartReply for Inbox用一个循环神经网络对输入邮件逐字编码，然后用另一个字级循环神经网络对潜在的回复进行解码。尽管这种方法的表现力很强，但它的计算成本很高。相反，Google发现，可以通过设计一个系统，在预定义的建议列表中搜索最合适的回复来达到同样的目的。

这个检索系统将消息及其建议独立编码。首先，对文本进行预处理以提取单词和短语。这种预处理包括但不限于语言识别、标记化和标准化。然后，两个神经网络同时并独立地对信息和建议进行编码。这种因子化允许人们预先计算建议编码，然后使用高效的最大内积搜索数据结构对建议集进行搜索。这种深度检索方法使Google能够将SmartReply扩展到Gmail，此后，它成为多个SmartReply系统的基础，包括目前的YouTube系统。

上文中介绍的以前的SmartReply系统依赖于字级预处理，它针对有限的语言和狭窄的写作类型进行了很好的调整。这样的系统在YouTube案例中面临着巨大的挑战，因为一个典型的评论可能包括以下内容，如表情符号、ASCII艺术、语言切换等。有鉴于此，并从Google最近在字节和字符语言建模方面的工作中获得灵感，Google决定在不进行任何预处理的情况下对文本进行编码。这种方法得到了研究的支持，研究表明，深度Transformer网络只需将文本作为字符或字节序列输入给它，就能从头开始对单词和短语进行建模，其质量与基于单词的模型相当。

虽然初步结果很有希望，特别是对于处理带有表情符号或错别字的评论，但由于字符序列比单词等价物长，而且自注意力层的计算复杂度随着序列长度的函数呈二次方增长，因此推理速度对于生产来说太慢。Google发现，通过在网络的每一层应用时间缩减层来缩小序列长度，类似于WaveNet中应用的扩容技术，可以在计算和质量之间进行良好的权衡。

下图展示了一个双编码器网络，它同时对评论和回复进行编码，通过以对比性目标训练网络来最大化其潜伏表征之间的相互信息。编码开始时，先给变换器输入一个字节嵌入后的序列。每一个后续层的输入将通过在相等的偏移量下丢弃一定比例的字符来减少。在应用多个变换层后，序列长度被大大截断，大大降低了计算复杂度。这种序列压缩方案可以用其他运算符来代替，比如平均池化，不过Google并没有注意到更复杂的方法带来的收益，因此，为了简单起见，Google选择了使用扩张。

一个双编码器网络，通过一个对比性目标来最大化评论和其回复之间的相互信息。每个编码器都会被送入一个字节序列，并被实现为一个计算效率很高的扩张变压器网络。

Google没有为每种语言训练一个单独的模型，而是选择为所有支持的语言训练一个单一的跨语言模型。这允许在评论中支持混合语言的使用，并使模型能够利用学习一种语言中的共同元素来理解另一种语言，如表情符号和数字。此外，拥有一个模型可以简化维护和更新的后勤工作。虽然该模型已经推出了英语和西班牙语，但这种方法固有的灵活性将使其在未来扩展到其他语言。

检查该模型产生的多语言建议集的编码，可以发现该模型会将适当的回复进行聚类，无论它们属于哪种语言。这种跨语言的能力在训练过程中没有将模型暴露在任何平行语料库中就出现了。Google在下图中为三种语言展示了当模型被探查到输入评论时，回复是如何根据其含义进行聚类的。例如，英文评论 &34;，周围有适当的回复，如 &34;。此外，检查其他语言中最近的回复，发现它们也是适当的，并且与英语回复的含义相似。二维投影还显示了其他几个由意义相似的回复组成的跨语言聚类。这种聚类展示了该模型如何在支持的语言中支持丰富的跨语言用户体验。

当呈现一个假设的评论和一个小的潜在回复列表时，模型编码的2D投影。请注意，该网络学会了将英语回复与其翻译对齐，而无需访问任何平行语料库。

Google的目标是帮助创作者，所以Google必须确保SmartReply只在非常可能有用的时候提出建议。理想情况下，只有当创作者很有可能回复评论，并且模型很有可能提供合理而具体的回复时，才会显示建议。为了达到这个目的，Google训练了辅助模型来识别哪些评论应该触发SmartReply功能。

本站所发布的文字与图片素材为非商业目的改编或整理，版权归原作者所有，如侵权或涉及违法，请联系我们删除