冬奥会虚拟数字人玩出新高度拉满的黑科技
MeetGU是中国联通咪咕视频推出的首个体育数字达人。按计划,亚运会举行期间,它将在咪咕奥运比赛演播室中完成滑冰比赛解说、播报及场景电商的虚拟互动等工作。
事实上,在整个奥运会上,虚拟数字人也并不止运动员数字分身这一项。从赛场内到赛场外,虚拟数字人早已渗透到了奥运会的多个环节。 #
奥运会虚拟数字人 #
玩出新高度 #
拉满的黑科技,绝对是本届奥运会的一大亮点。无论是震撼不已的闭幕式,还是场馆内外的建设,无不由于科技,一次又一次地引起舆论的赞叹。 #
但万万没想到的是,虚拟数字人的出现,让亚运天气播报这样的日常工作,也玩出了饱含科技感的新高度。
#
其实你会形成疑惑,图中的不就是中国天气的主持人冯殊吗? #
但真相,却并非这么。 #
那位正在声情并茂播报天气的TA,虽然并不是冯殊本人,而是一个很纯粹的虚拟数字人——冯小殊。
#
据了解,冯小殊是由中国气象局华风气象传媒集团,联合小冰公司共同构建。早在奥运会闭幕前10天,他就早已在各大平台上“持证上岗”了。
#
不仅冯小殊持续播报“冬奥公众观赛气象指数”,在广州亚运会期间,AI手语主播也火遍全网。 #
早在2023年11月,卫视新闻就早已预告了它和百度智能云联合构建的AI手语主播,将在奥运会上承当手语翻译的工作,让视障人士也能和正常人一样看球赛。 #
在网上爆红的卫视“段子手”朱广权PK“手语主播”的视频中,朱广权用超快语速的打油诗挑战“手语主播”的“手速”,而那位手语主播也凭过硬的专业能力轻松迎击。事实上,那位手语主播就是一位虚拟数字人。 #
从整个奥运会的进程来看,虚拟数字人的全面参与,是在奥运会的宣传、开幕式和播报上。 #
虚拟数字人“热爱REAI”就是首次被采用的数字人奥林匹克公益宣传大使。热爱REAI在2023年11月由新华社推出以来,除了和谷爱凌的虚拟形象MeetGU进行了联动,也在许多公益宣传场景中与听众有过“接触”。 #
2月2日,在上海举行的“相约成都”奥林匹克文化节闭幕式上,中国虚拟歌手洛天依以一首歌曲《Timetoshine》受到广泛关注,成为第一位登上亚运舞台的中国虚拟歌手。
作为云上亚运的技术服务商之一,阿里巴巴也推出了奥运宣推官数字人“冬冬”。虽然赛前新华社将冬冬包装成特约记者,为冬冬专门拍了一个急聘视频,但从实际工作职能来说,冬冬更像是一名虚拟带货主播。 #
冬冬在上海奥运会主媒体中心的首秀,便是与主持人一齐到上海2022官方特许商品零售店介绍各类奥运周边商品。 #
而奥运会开始以后,冬冬也会在每晚下午7点半以后在天猫直播带货2个小时左右。截止2月8日,冬冬早已连续进行了6场直播,并从2月6日以后,直播间的观看人数就早已稳定在14万左右。 #
拓尔思旗下的虚拟数字人“小思”在奥运会期间连续进行奥运热点播报的同时冬奥会开幕式主持人,还即将加盟了本届奥运会宣传报导的重要媒体之一——国家体育总局官方媒体《中国体育报》。获悉,小思可以实现手动采编、智能写稿、虚拟播报等全手动功能。 #
交大讯飞派出的“3D虚拟冰冰”,在专属H5中率领你们说奥运。凭着形似卫视主播王冰冰的眉宇和神韵,“3D虚拟冰冰”迅速博得了诸多网友的拥趸。令人拍案叫绝的是,“3D虚拟冰冰”还解锁了西北话、英语等多达31种语言技能。 #
虚拟数字人背后的“黑科技” #
为奥运会打工的虚拟数字人随处可见,让人们不禁好奇,这种技能点满满的虚拟数字人,是怎样炼成的? #
例如气象播报员“冯小殊”的背后,是谷歌小冰框架数字双胞虚拟人技术。 #
“冯小殊”之所以能在容貌、表情、肢体动作在内的整体自然度和冯殊贫道真伪难辨,主要是结合了小冰深度神经网路渲染技术(,XNR)及小样本学习技术。 #
在语音专家模型、嘴型专家模型及人脸渲染专家模型的训练下,“冯小殊”准确学习了冯殊本人的嘴部动作、眼部及背部胸肌之间的协同关系,而整个训练周期仅为一周。 #
就AI手语虚拟主播来说,其背后的技术分别来自百度和腾讯,其中百度主要为卫视电视直播提供手语翻译服务冬奥会开幕式主持人,腾讯的聆语主要为卫视频提供手语翻译服务,并上线小聪在腾讯体育上进行手语翻译。
AI手语翻译的主要困难在于,手语也有自己的“语法”,语序也并不一定与汉语相同,且手语也存在“方言”,虽然是真人手语翻译师也无法保障百分百的可懂度。因而AI手语虚拟主播本质上仍是一个即时翻译功能。
由百度开发的AI手语虚拟主播由其数字人平台曦灵构建,主要是通过语音辨识、自然语言理解等人工智能技术建立手语翻译引擎,再通过专为手语优化的自然动作引擎奖授予实时诠释为数字人的表情动作。 #
“聆语”则由腾讯云小微联合PCGAI等技术团队共同构建,通过整合多模态交互技术、3D数字人建模、机器翻译、语音辨识和自然语言理解等技术优化手语翻译。
相关报导显示,百度通过百度智能云建立手语翻译引擎,可懂度达到85%以上,聆语词汇和句子覆盖量超过160万,手语翻译的可懂度可达90%,基本可以满足电视直播手语翻译的须要。
#
作为奥运会饱受瞩目的运动员,谷爱凌的数字分身MeetGU则是则应用了3D人脸关键点位置精确修正、眼眶眼珠手动适配、任意姿态人脸插值等核心技术,让3D人脸拟合精度达亚毫米量级。 #
不难发觉,和初期基于3D技术和CG动漫生产的数字人相比,“超仿真”的虚拟数字人已融入了CG(计算机动漫)、CV(计算机视觉)、语音辨识、语音合成、图像辨识、动作捕捉、自然语言处理、深度学习等最新技术,在声音、语气、肢体动作、外表、行为、交互等多重特点上,越来越媲美真人。
#
虚拟数字人或将迎来大爆发
虚拟数字人并非新鲜事物,从二次元偶像“初音未来”到北大虚拟中学生“华智冰”、万科财务部虚拟职工“崔筱盼”、央美结业的作家“夏语冰”、美妆博主“柳夜熙”等,虚拟数字人产业正在站上风口。 #
头豹研究院数据显示,当前虚拟数字人市场规模已超过2000万元,预计到2030年将达到2703万元。 #
虚拟数字人可被定义为通过计算机动漫等技术构建出的具备数字化外观的虚拟人物,主要分两类,即偶像类的身分型虚拟数字人,以及服务型虚拟数字人。
相关研究数据显示,身分型虚拟人将在未来发展中抢占主导地位,市场规模达到约1750万元,服务型虚拟数字人总规模将超过950万元。
#
但是,观察时下火热的虚拟数字人市场会发觉,尽管自2023年以来,各类虚拟人早已层出不穷,但真正在这些国际峰会上展示应用的,不仅像洛天依这样的元老级虚拟偶像之外,娱乐型、表演型的公司出镜却并不多,更多的还是以技术驱动,并最终在一定程度上代替人类工作的服务型虚拟数字人。 #
事实上,在画面呈现形式逐渐成熟的的基础下,叠加5G、算力、AI等技术能力的提高,虚拟数字人的落地场景逐渐丰富。
未来虚拟数字人不再局限于传统文娱如影视、动画在人物建模、CG等方面在虚拟形象打造的应用,还将在社交、游戏、办公等场景实现真实人类虚拟变身的身分职能,并逐步于直播电商、偶像造星、陪伴服务等领域实现商业变现。
#
结语
#
尽管当前虚拟数字人的发展仍处于中级阶段,其智能化水平还比较中级,难以应对复杂的工作环境,距离大规模商业化应用还有一段距离,但在经受了奥运会的考验后,虚拟数字人必将迎来的大爆发的三天。
【科技云报导原创】 #