记者昨日获悉，在权威的WMT2021国际机器翻译大赛中，由阿里巴巴达摩院翻译团队打造的翻译质量评价体系在具有挑战性的句子级直接评估QE共享任务2021质量评价大赛中获得第一名与人工智能审查员相比，该系统可以自动对人工智能翻译的结果进行评分，从而不断优化翻译模型，提高人工智能翻译的质量

WMT有15年的历史，有很多比赛其中包括常见的翻译任务，例如将新闻从英语翻译成汉语质量评估基于人工翻译越近越好，BLEU值越高越好还有一个更具挑战性的评估翻译质量的竞争参与者需要创建一个AI系统，在没有人工参考翻译的情况下自动评估机器翻译的质量，因为现实世界中就是这样，很少有人工标准答案

达摩院翻译团队打造的AI考官参与了句子级直接评估任务的全部11个子任务，总平均分获得第一名，在华为，Unbabel等国内外资深团队中脱颖而出其中，达摩院在英汉，罗马尼亚语—英语，爱沙尼亚语—英语，尼泊尔语—英语，俄语—英语7种抽样语言中获得5项第一，在四种零射语言中，他们获得了三个第一，即英语—捷克语，普什图语—英语，高棉语—英语

据介绍，该项目的创新之处在于达摩院翻译团队在大规模预训练模型和迁移学习的基础上，对机器翻译的进行了改进，白盒特征，洞察机器翻译模型的内部状态和原理，包括非常重要的翻译解码概率同时，他们还发现了新的重要质量检验特征首先利用Levenshtein算法和Masked语言模型对原文进行适度加噪，然后利用待评估的翻译模型提取对应的解码概率，发现解码概率与翻译质量密切相关更重要的是，研究团队验证了这些创新方法可以跨语言使用，在多语种融合的翻译质量评估模型的训练过程中也表现良好，有望推动整个机器翻译领域的进步

达摩院AI考官已经在阿里多个业务场景中使用，包括全球速卖通，Lazada，钉钉，阿里巴巴云技术文档等可以实时监控在线翻译质量，定向优化翻译模型，将这些场景下的机器翻译性能提升5%—15%