AI洞见 ▎从两会“网红”新小微 看AI主播进化史

AI洞见 ▎从两会“网红”新小微 看AI主播进化史

本文2240个字

阅读全文预计6min

虽受疫情影响,今年的两会有所推迟。但推迟的两会,不仅如约带来了与我们息息相关的政府工作报告,还带来了充满惊喜与科技感的全球首位 3D AI 合成主播,展现了我国日新月异的科技实力,以及我国对发展人工智能的信心,与对“向上的生活”美好愿景。

2018年的11月,由搜狗发布的全球首个2D版主播在中国诞生,迅速惊艳世界。然而,仅仅2年后,主播已从2D迭代为由人工智能驱动的超写实全新3D。中国科技再次震惊世界,简直让人直呼,厉害了,我的国!

△ “新小微”

这位新主播举止端庄、表情生动、毛发清晰、纤毫毕现,她行动灵活,语速自然,简直360°直播,全程无死角。

这位全球首位 3D AI 合成主播名叫“新小微”,由搜狗与新华社联合推出。她的业务能力也是一级棒,她效率高、0出错、全天候在线,还可以随时切换各种场景,一秒换装,为大家带来别具一格又生动有趣的两会资讯播报体验,还满足了大众对新闻播报的时效性、高标准要求。记者们也可以释放时间,挖掘更多深度报道,提升新闻品质。

高逼格3D AI主播是如果炼成的?

“新小微”是搜狗分身最新的技术进展——基于AI算法实现实时驱动,打造的高逼真、高灵活、高可控3D AI合成主播。

为何“新小微”可以做到如此拟人逼真?这是因为“新小微”是基于新华社记者赵琬微为原型,采集的真人海量数据。赵琬微带着数据采集头套,几百个摄像头360°对着她全方位“打点”扫描,通过行业领先的扫描还原算法,以及面部肌肉驱动、表情肢体捕捉等技术,从而细致入微地捕捉赵琬微每一个生动的形态、表情、动作,再生成3D数字人模型。最后,再基于搜狗分身技术的多模态生成算法,对3D数字人模型进行实时驱动和渲染,使其面部表情与肢体动作及语言表达实现高度契合,进一步提升数字人在虚拟场景下的自然视觉效果。

编辑

搜狗 AI 交互技术部总经理陈伟解释,要想实现对模型更加逼真的驱动,主要通过两部分来实现,第一部分在于采集过程中使用的设备是否能捕捉到更精细的数据,第二部分是做到采集数据后的精准标注,这相当于在整个采集端把数据生产出来。

很多做写实类型的3D模型,均采用的是Blend Shape(融合变形)或骨骼动画,所以做出来的面部表情和身体动作不是特别逼真。

而搜狗采用的是全球最领先的肌肉模型来完成3D建模,因为肌肉模型更加符合人的生理结构,不同参数之间可以更好地协同,所以每一个肌肉点的运动都会连带着很多面部皮肤联动。因此,通过肌肉模型完成3D建模,无论是面部表情还是肢体动作等细节,均可达到甚至高于一些影视作品或游戏的写实度。所以,新小微说话时,她的脸部表情及肢体协调得非常自然。

而且,新小微的输出效率极高。在AI算法实时驱动下,若要生成一个1分钟的视频,输入文本后,只需1分钟,新小微就能活灵活现得播报了,并且表情动作、肢体语言高度契合。而普通的游戏或电影行业,均为人工驱动,要实现高真实度的动画,需要采集每一个字、音、动作后,还需要美术师勾画提升写实度。因此传统的3D写实视频需要花费大量的时间、金钱与人力成本。这意味着,AI驱动的3D AI合成机技术未来可能代替游戏产业中关于 3D 制作的工作,大幅降低 3D 人物制作成本,真正实现了降本增效。

2D主播进化为3D主播并不是迭代

搜狗公司可以说是分身技术和AI合成主播的开创者,一直引领着该领域的发展。2018年,搜狗推出会中英双语的2D AI合成男主播“邱小浩”。2019年3月的两会上,再次由搜狗推出的全球首个AI合成女主播“新小萌”诞生。

△ “邱小浩”

随着图形生成引擎的优化,AI主播从“坐着播新闻”的“邱小浩”升级成可结合肢体动作“站立式播报的”“新小萌”,再进一步从180°升级为可360°多机位,多景深虚拟场景播报的“新小微”。

△ “新小萌”

此次搜狗的3D AI合成主播“新小微”,并不是在此前2D合成主播的基础上升级迭代而来。陈伟在接受媒体采访时表示,2D的写实度比3D略高一些,但是3D的灵活性更高。基于路线探讨,搜狗还是区分了2D和3D,同时在底层算法上也做了充分的打通。

从2D的AI分身,到现在3D的进化,背后不仅是技术、产品在场景落地上的不断探索和精益求精,更是搜狗AI战略版图的不断推进。

自2016年开始,搜狗就确定了以语言为核心的自然交互+知识计算路线,而AI分身类产品,核心发展目标就是打造像人一样的自然交互,并且拥有强大的知识计算能力。

2D和3D的AI合成主播,正在基于强大的知识理解和计算能力,从“表达式”向“交互式”发展,这也是全球前沿的“数字人”技术的核心竞争力。

除了“新小微”外,还有央视网的AI主播“小智”、人民网“小晴”,澎湃新闻“小菲”等多名AI主播在两会期间跃然屏幕。AI主播已经成为各大媒体践行“推动媒体融合向纵深发展”的具体实践。

△ 由百度智能云和央视网在两会期间联合打造的AI主播

至于搜狗分身技术的未来,陈伟提到,搜狗将优先从内部产品出发,利用该技术打通输入法、搜索、AI硬件以及数字家庭医生等产品,以提供一个具有差异化竞争的技术能力。而外部,搜狗将把表达式的分身逐渐发展为交互式分身,在不断提高分身技术的自然度、灵活性和适配性的基础上,再陆续围绕医疗、健康、教育和泛娱乐等垂直领域做知识计算,成为用户个人助理。

让AI赋能于人们的生活,让人们的生活、生产更加高效、智能、便捷,是AI落地的重要意义。期待不久的将来,我国的分身技术可以从新闻“演播厅”,走进人们生活的更多场景。

素材来源于

CSDN、科技圈快报、智东西等

该文观点仅代表作者本人,与好萝卜网无关

转载请与我们联系,并注明来源