手语播报数字人“上岗” 助力听障人群冬奥观赛

2022-02-09 22:38:07来源：中国新闻网

中新网北京2月9日电(徐婧)北京2022年冬奥会和冬残奥会不仅是各国健儿欢聚的运动盛会，也是一场科技赋能的“智慧”盛会。为使更多人群感受到北京冬奥会的魅力，近日，在北京卫视《北京您早》节目中，冬奥手语播报数字人全新“上岗”，为听障人群带来亲切自然的冬奥手语播报服务。

手语播报数字人有何技术优势？数字人的手语播报怎样兼顾速度与准确性？冬奥会结束后，这项技术还能在哪些场景应用？9日，记者走进冬奥手语播报数字人研发企业之一智谱AI，在赛场之外，感受手语播报数字人的“过人之处”。

快人一步：手语播报更迅速

全国第二次残疾人抽样调查数据显示，中国有超过2700万名残疾性听力障碍人士。北京冬奥会是中国历史上首次举办冬奥会，听障人群也期待着深入了解比赛资讯，全面感受冬奥盛会。

2月5日，采用超大规模智能信息模型和虚拟数字人技术，为听障人士打造的冬奥手语播报数字人正式亮相北京卫视，为观众带来冬奥期间赛事新闻的专业手语翻译播报。

图为冬奥手语播报数字人。　中新社记者贾天勇摄

智谱AI合伙人及高级副总裁左家平介绍，冬奥手语播报数字人系统以超大规模预训练模型为核心技术，自主搭建多模态肢体动作、表情、手指同步采集系统，运用跨模态拟人生成算法、超高精度写实数字人等行业领先技术，实现冬奥期间赛事新闻的专业手语翻译播报。

与传统的人工手语播报相比，数字人播报有何优势？智谱AI首席技术官张鹏表示，手语播报数字人最大的优势是这是一套自动系统，不需要人工过多干预，可大量节省人力。同时，系统的运行速度接近实时，因此在呈现手语播报效果时，比传统的人工播报要快。

“学识”渊博：语料储备更丰富

2018年，《国家通用手语常用词表》和《国家通用盲文方案》作为语言文字规范正式发布。

为推广和普及国家通用手语，冬奥手语播报数字人系统完成了《国家通用手语词典》收录的8214条通用手语的采集和录制，并且语法都以听障群体习惯打法为准，以确保手语播报成果的准确性和专业度，更好服务听障人群。

由于当前中国缺少较完善的手语语料数据，系统研发人员在北京市残疾人联合会和市残联聋人协会的支持下，邀请超过40位聋人老师及手语专家进行手语文本转写和技术指导，并进行大范围听障群体评测，最终构建了符合国家通用手语规范的国内最大规模多模态手语语料库，词汇及语句总规模超10万。

精准翻译：播报方式更智能

张鹏表示，与传统的语音AI播报相比，冬奥手语播报数字人的最大区别是表意的准确性和表达的可懂度：语音播报的技术特点主要集中在对语音的理解上；而面对听障人士，手语播报还需要用具有韵律感的手势、丰富甚至有些夸张的表情来提升播报的可懂度。

“听懂”语音后，数字人如何将文字用手语更准确地表达出来？据介绍，为构建能理解、翻译语音和手语的智能数字大脑，冬奥手语播报数字人系统以超大规模预训练模型为核心技术，通过语义蒸馏及手语翻译快编模型，将新闻播报语音蒸馏成语义高度接近的手语文字，并翻译成符合手语习惯的语序。最终，手语数字脑可以通过计算机模仿听障人士的大脑，进行手语播报驱动。

此外，为实现高精度、高自然度的人物形象和手语动作姿态，研发团队还自主搭建了多模态肢体动作、表情、手指同步采集系统。通过肌肉绑定技术驱动实现面部采集，结合业内领先的语音识别及高清视频合成等技术，呈现给听障人群亲切自然的冬奥手语播报服务。

图为冬奥手语播报数字人在北京卫视《北京您早》节目中的应用场景。　智谱AI供图

便利生活：应用场景更广泛

目前，冬奥手语播报数字人正在北京卫视《北京您早》节目中对“冬奥赛事集锦”和“一起看冬奥”进行手语播报，手语信息播报服务降低了冬奥节目的运营成本，也便捷了听障人士收看赛事报道的途径。

未来，手语播报数字人有望在机场、车站、银行等公共场所落地，方便听障人士生活。此外，手语播报数字人的应用还将助力国家通用手语推广，推动国家通用手语标准普及，为残疾人平等参与社会生活创造无障碍环境，让科技更有温度。

据悉，冬奥手语播报数字人由北京市科委、中关村管委会支持，智谱AI、凌云光和北京广播电视台联合打造，清华大学贾珈教授团队和中科院计算所陈益强研究员团队参与了相关关键技术的研究和开发，项目还得到了北京市残疾人联合会和市残联聋人协会的帮助和支持。(完)

标签：训练模型同步采集高清视频听障多模态

责任编辑：hnmd003