面向5G,虎牙AI的技术准备
“当5G到来时,普通用户的流量不再是限制看直播的因素,就像短视频今日的火热一样,整个直播市场会有5~ 10 倍的巨大增长空间。”
这是虎牙CEO董荣杰最新给出的机遇判断,他十分看好5G对整个直播业的助力作用。有了5G,流量不设限,用户心里没负担,而在通信基础设施之上,借助AI技术衍生出的诸多新应用,也将会是直播的新生机。
比如,虎牙自己上周就一口气推出了小程序开放平台和虚实结合开放平台HERO两大平台,前者让第三方开发者们都能利用虎牙技术接口开发直播中使用的各类小程序应用,后者则使得各家都能让自己的IP“活过来”,在虚实结合中成为直播的主角。
如果说,前几年的直播还是聚焦在优质公会、主播的“单兵作战”,那么在近几年,随着技术要求的不断提高和更多潜在的衍生技术应用,直播平台的竞争已经进入了围绕主播、公会、赛事、活动的“集群作战”时代。
新技术、新能力、新应用作为现代武器,给单一主播公会的能力乘上了巨大的倍数,而对于平台而言,技术加持的直播“集团军”,更需要如同制造业产业链一般成体系、成规模的运作方式。
虎牙也展露了他们在这个新时代的技术野心。两大平台发布后,量子位也和虎牙CTO赖立高、AI总经理许佳聊了聊虎牙在这两大新发布背后的技术与实践。
IP数字化,重现真实世界
借助生成对抗网络(GAN)、语音合成等AI技术的虚拟主播,虎牙并非业内头一家,然而应用在直播上,却是开天辟地之举。
究其缘由,还是业务驱动,“很多真人主播确实在才艺上可能擅长一点,但我们在业务上有很多对于真人不会的才艺进行赋能的需求”许佳谈到,而虎牙的第一个数字人“数字晚玉”的原型虎牙主播晚玉,本身确实是没有跳舞技能的游戏主播,而数字人的存在补充了晚玉的技能树。
而实现“让数字人跳舞”这个功能,则是基于两种方式,一种是捕捉真人舞蹈演员的动作,另一种是把已有的舞蹈视频中的动作提炼出来。
未来,除了在外观细节上重现真人的外表,虎牙技术团队也在准备加入语音识别等NLP功能。
基于此,虎牙打造了虚实结合开放平台HERO,“从技术上看,我们做的是非常通用的流程,现在有很多IP,你可以把你的形象拿过来,我们通过驱动技术把这些形象驱动起来,渲染给观众。我们的方案是平台,能够把所有的已经有的数字人IP拿到我们的平台,通过我们的驱动渲染,最后呈现给观众。”许佳介绍。
也就是说,用通用的方法给各种IP创建虚拟形象,实现技术上可复制,降低成本和使用门槛。
而这一切,归根结底是在重现真实世界,不仅包括人物,也包括真实世界中的场景。
正如许佳所言,虎牙主要的AI技术方向是“把直播间的物理世界结构化”,不仅包含人脸和人体,也有针对场景的理解。