虚拟人的“灵魂”是什么？

近期虚拟人的热度不断提升，10月31日，虚拟人柳夜熙在抖音横空出世，一夜涨粉百万。柳夜熙并不是第一个虚拟人，清华大学的华智冰、抖音红人阿喜，变装女神集原美，在各大社交平台上都拥有一批的粉丝喜爱和追捧。全国有近4亿人关注过虚拟偶像，去年虚拟偶像市场达到2000亿，两年时间翻了一倍。在2021英伟达GTC大会上，黄仁勋重点介绍了虚拟分身（avatar）Toy-me和虚拟人，对答如流令人印象深刻。

什么是虚拟人？虚拟人是以数字形式存在的，具有人的外观、特点、行为，依赖显示设备展示的虚拟形象。简单来说，虚拟人就是让用户感觉到人格的数字形象。当下，虚拟人可以扮演多种角色，包括虚拟主播、虚拟偶像、虚拟记者、虚拟助手等等。

虚拟人是元宇宙重要的赛道，能够为元宇宙带来丰富的内容和沉浸式的体验。

虚拟人的创作运营主要依靠专业团队商业化运作，以及爱好者社区的UGC内容；而在虚拟人的应用场景方面主要是强调功能与IP价值。我们从创作运营与应用场景两个维度，可以将虚拟人作以下四种分类：服务型虚拟人（PGC+功能型）、虚拟偶像（PGC+IP价值）、数字化身（UGC+功能型）、创作载体（UGC+IP价值）。四种类别的虚拟人的应用上有着完全不同的发展路径，制作上共用相关技术但略有差异。

服务型虚拟人为用户提供拟人化的社会服务。相较于聊天机器人、数字助理和数字人，服务型虚拟人的优势在于高精度建模与人工智能使得其能更大范围地承接社会工作。从影视到金融再到游戏，虚拟人可以承担多种服务型角色，为用户提供智能高效的人性化服务。新华社的虚拟记者、央视的虚拟手语师都属于此列，这些工作需要人的形象，成为了服务型虚拟人很好的落地场景。

虚拟偶像是通过科技手段展现的虚拟形象，有着自己的人设。虚拟偶像也可以举办的演唱会、直播，发行周边产品，参与商品代言，甚至参与影视剧中扮演角色。虚拟偶像由公司运营IP，专业化团队生产内容。例如2016年日本虚拟偶像“绊爱”诞生，主创团队赋予其“人工智障”的呆萌人设，4个月内粉丝量达40万，主要在视频平台发布作品，这类“Vtuber”开始兴起。

服务型虚拟人和虚拟偶像类都是依靠专业团队制作、运营，更好的增强平台和用户间的交互，近年来MCN的崛起使此类虚拟人有更多的变现通道和商业模式，成为新媒体、抖音等“新宠”。整体而言，此类虚拟人基于PGC，制作精良但生态相对封闭，制作和运营的过程通过自有团队或外包完成，虚拟人的“灵魂”由主办方定义、制作平台打造。

虚拟化身（Avatar）从游戏“捏脸”发展而来，给用户带来高度沉浸。满足用户个性化需求的“捏脸”游戏起源于单机游戏《上古卷轴3》，现已广泛应用于各类游戏种。在其漫漫发展历程中，“捏脸”系统可调参数据类型得到极大丰富，复杂程度也随着算法的精进而逐步提升。未来虚拟化身Avatar除了在游戏应用得风生水起，还能促进社交活动网络化。虚拟化身能够增强用户代入感，同时能够满足虚拟应用场景。

作为社区创作载体，这类虚拟人的形象和表达都不是固定的。最为熟知的创作载体“初音未来”是Crypton公司在语音合成引擎VOCALOID上出售的声源，并附带拟人化形象。由于该声源有着美妙的人声合成音，以及Crypton公司开放版权使用权，初音未来的社区创作十分活跃，涌现了大量高质量的社区作品，并在2009年举办了世界第一场全息影像的虚拟偶像演唱会。在中国后来也引入了“洛天依”，创作者通过购置“洛天依”的声源来让洛天依演唱自己喜欢的歌曲。

虚拟人赛道的兴起并非一时，经过数十年的技术积累，其应用场景在不断拓宽。早在20世纪80年代，创作者就开始尝试打造具有人格的数字形象。但由于技术限制，当时的数字人以2D手工绘制为主，应用非常有限。而在21世纪初，CG（电脑生成动画）、动作捕捉、人声合成等技术逐步成熟，虚拟人开始快速发展，CG技术产生的数字虚拟人在电影中普遍运用。而在最近5年，得益于人工智能技术的突破，虚拟人的制作得以简化、可交互性更强，进入了发展的快车道。当前更是在建模的精细度、动作捕捉和AI交互不断提升，虚拟人以达到写实级逼真程度，且具备情感表达和沟通交流的能力。

虚拟人的制作不断精细化的同时，制作门槛也在不断降低。在技术革命的推波助澜之下，虚拟人在机器学习、深度学习、计算机视觉等技术加持下，于面部形象、动作展示、声音识别与合成等维度越来越呈现精细化态势，体现其未来高精度的特质。同时，随着AI算法的发展以及制作平台的出现，虚拟人的制作门槛也在不断降低。静态展示的虚拟人只需要通过建模和渲染技术，就能够数除堪比真人的超写实图像。而动态展示需要在建模的基础上，加上动画制作和语音，这往往需要动作捕捉技术。交互型的虚拟人需要人工智能技术对用户反馈进行识别交互。

1.虚拟人制作——算力为王，边缘崛起

目前虚拟人设计的主流方式是扫描建模。其可分为静态重建和动态光场重建两类技术，其中静态扫描仍处于主流地位，而高保真动态光场三维重建技术初露锋芒。未来动态光场重建技术将进一步应用于静态虚拟人的制作，提升虚拟人的光影效果与用户视觉感官，由于技术的易得性，未来动态光场重建技术的使用门槛将逐步降低，达到普及态势。

平台化工具支持低门槛创作高精度虚拟人。2021年初EpicGames发布了可生成高保真角色形象的工具MetahumanCreator，基于预先制作的高品质模型，用户可以方便快捷地定制自己的虚拟人模型。该工具的定位是让小团队和个人能够快速、低门槛地生成自己所需的角色，大幅度提升美术效果，节约创作成本。

虚拟人的驱动依靠将人类的动作捕捉迁移至虚拟人模型。将动作捕捉采集到的动作迁移至虚拟人是目前3D虚拟人动作生成的主要方式。动作捕捉技术可按照实现方式的差异性分为光学式、惯性式、基于计算机视觉的动作捕捉方式等。

专业制作中常用光学捕捉和惯性捕捉。光学捕捉多应用于医疗、运动、电影等专业领域例如，2021年10月国内青瞳视觉携手华为带来全球首个5G+VR二次元偶像直播，完美展现了虚拟偶像曼妙的舞姿。惯性捕捉在影视作品中亦有较多应用，较好地呈现3D虚拟偶像形象并与用户进行互动。未来，随着计算机技术的进一步发展，动作捕捉技术有待取代低效的动作录播技术，成为虚拟人动画制作的主流技术。

而视觉捕捉技术，大大降低了使用门槛。视觉捕捉则多用在消费级市场，可以通过手机自带深感摄像头完成基础的面部与肢体捕捉。随着虚拟偶像加速吸引年轻群体，低门槛的视觉捕捉方案有望成为UGC创作者涌入虚拟偶像赛道的首选。如Epic推出的APPlivelinkface，可以轻松捕捉用户面部动作并推流至制作平台。

渲染技术可分为实时渲染和离线渲染，前者速度快适合游戏或交互式场景，后者算力强大更适合对精细度要求高的场景。实时渲染指图形数据实时计算与输出，其各帧都是针对实际的环境光源、相机位置和材质参数计算出来的图像。早期的实时渲染技术渲染时间短，计算资源有限，但是随着算法算力提升以及硬件水平的提升，渲染速度、逼真度等都实现了质的飞跃。离线渲染技术图像数据并不是实时计算输出，其渲染时间长，质量高，计算资源丰富。

虚拟人的制作——算力为王、边缘崛起。时至今日，在面向元宇宙的虚拟人制作时，将更强调边缘侧算力。如前所述，元宇宙强调虚实结合，仅仅通过离线渲染是不够的，而实时渲染对算力提出了极高要求。市场认为算力大都集中在云端，但实时渲染恰需要在边缘侧解决，大量消耗边缘+终端算力，这种架构与此前传统的通信算力架构有较大区别。此前Unity就与Verizon合作开发高速、低延迟的数字解决方案，涵盖从娱乐应用程序到企业工具包，源于独立的引擎厂商无法解决边缘计算的算力问题，通信、IT基础设施服务商将发挥更大作用。

2.虚拟人交互——AI+真人的虚实相融

交互型数字人根据驱动方式的不同可分为AI智能驱动型和真人驱动型。真人运作配合动作捕捉，能够使得虚拟人与观众进行实时交互。而智能驱动型数字人可通过智能系统自动读取并解析识别外界输入信息，根据解析结果决策数字人后续的输出文本，然后驱动人物模型生成相应的语音与动作来使数字人跟用户互动。虚拟人开发领域正在逐步打开市场空间。得益于深度学习、机器学习、计算机视觉、自然语言处理等先进计算机技术的发展，虚拟人将逐步融合客服答疑、智能营销等功能，并塑造客户良好的品牌形象，即将成为人机交互产品的价值突破点。

AI驱动的虚拟人依靠语音识别、自然语言处理、语音合成、语音驱动面部动画等多种技术。在语音识别领域，国内的科大讯飞、百度、腾讯、阿里均有布局。自然语言处理环节中的语义理解进展较为缓慢，相较于语音识别难度高了数倍，相对做的好的公司包括谷歌、IBM等。语音合成目前已经广泛运用，但往往是片段录播，离真正的自主表达还有一定距离。虚拟人在嘴形动作方面业已实现智能合成，其主要是通过建立输入文本到输出音频与输出视觉信息的关联映射实现。主要设计思路是以采集到的文本到语音或嘴形动画数据进行模型训练，得到一个输入任意文本都可以驱动嘴型动画的模型，然后通过模型智能合成虚拟人嘴形。