人工智能行业资讯更多

学会动态丨位列总榜前三！中国科协网络平台宣传评价2022年第四季度排行榜公布

2023-02-03 18:52

热点关注丨当AI遇到世界杯：梅西的封神之路，多了一些特殊观众

来源：世展网分类：人工智能行业资讯 2022-12-20 17:19 阅读：6083

每届世界杯都会造就英雄，但也会有人率先离场。然而，足球场上滚动的，不仅有球员们的汗水，观众的欢呼，也有历届世界杯所迭代的科技。自1904年FIFA国际足联成立后，世界杯走进了人们的视线。但直至上世纪50年代，随着电视转播技术的出现，它才真正走向了千家万户。1998年的法国世界杯，电视转播观众人数达到40亿人次。然而，时至今日，依旧有一些人需要这样的“声音”。距离卡塔尔6000多公里外，身穿红色连衣裙、扎着马尾辫的“主播”弋瑭，开始了她繁忙的一天，不断向全世界传递着这样的“声音”。

图｜“主播”弋瑭为世界杯进行手语播报

从“奥运会”走向“世界杯”来自世界卫生组织（WHO）的数据显示，截至 2021 年 4 月 1 日，全球约有 15 亿人罹患某种程度的听力损失，其中约有 4.3 亿人需要针对听力损失的康复服务；到 2050 年，预计将有近 25 亿人存在某种程度的听力损失，至少 7 亿人需要听力康复。因此，由AI技术驱动的手语数字人届时或将出现在各种各样的实际场景中，是听障人士在试图认识世界、感受世界时必不可少的帮手。早在今年的北京冬奥会、北京冬残奥会上，一个同样身穿红色西装的AI手语数字人，就在北京卫视《北京您早》节目中对“冬奥赛事集锦”和“一起看冬奥”进行了手语播报，不仅降低了播报工作的运营成本，还为听障人士收看冬奥赛事提供了便利。她便是第一代手语数字人“华同学”。她源于北京市科委科技冬奥专项支持的“冬奥手语播报数字人系统”课题技术成果，经北京冬奥会、冬残奥会期间实践应用改进提升而来。

图｜“华同学”助力冬奥会现场AI手语数字人华同学的数据基础以《国家通用手语》为标准，采集大量动态数据，构建了符合国家通用手语规范的国内最大规模多模态手语语料库。智谱AI的研发团队基于大规模预训练模型构建手语数字脑，通过语义蒸馏算法与手语翻译模型，生成和原文语义高度接近、语义精简且符合手语表达习惯的手语词序列。最后，通过跨模态拟人生产算法，驱动AI手语数字人华同学能够以连贯、精准的手势动作、表情、口型，为观众朋友提供专业、准确的手语体育赛事解说。而在这个冬天，华同学“学会”了更多的新知识。基于冬奥手语数字人科研成果，她新学了足球相关手语词90个，提取了2018年世界杯8场比赛近1000分钟的语音解说文本，进行手语翻译词序列的语料标注，补充12场比赛14个球队365名球员的手语表达方式。然后，她走向了“世界杯”。

“华同学”赋能“弋瑭”升级后的“华同学”不仅能够为赛事提供更加连贯精准的手势、表情以及口型动作，还能赋能给其他的数字人。此次世界杯，她便赋能“弋瑭”，俩人一同出场。她们超有感染力流畅的实时解说，带给了观众们新奇的体验。

图｜“华同学”赋能“弋瑭”联袂播报世界杯期间咪咕推出智能手语主播弋瑭。那么， “华同学”是如何赋能给“弋瑭”的呢？主要包括以下三点原因：

新增手语词手势数据：依据《体育和律动常用词通用手语》以及世界杯解说高频词语，新增足球、足球项目裁判手势、足球联赛等相关手语词，共计90个。
补充语料：为提升手语翻译引擎在世界杯解说中的表现，项目组提取2018年俄罗斯世界杯，8场比赛近1000分钟的语音解说文本，进行手语翻译词序列的语料标注。并根据手语数智人解说场次，补充12场比赛14个球队365名球员的手语表达方式。
手语翻译算法：足球领域属于特定领域，通用领域的知识难以直接满足特定的业务场景，基于这点，智谱AI选择使用原始模型加上少量的领域数据对来获取一个面向特定领域的手语翻译模型。为了提高模型的泛化能力以及领域适配性，他们采用了一种新颖的正负样本生成的对比学习方法，以区分正确的输出和正确输出。