AI"卷”进实时互动2021年，元宇宙概念席卷全球
2021年，元界概念将席卷全球，国内各大厂商将加速赛道布局，通过元界为不同应用场景赋能相关内容生态。 针对元宇宙的四大核心基础：“身份”、“沉浸式”、“低延迟”、“随时随地”，ZEGO科技基于交互智能的业务逻辑，应用AI视觉技术，提出并实施了解决方案到虚拟形象，完成了业务与技术的无缝连接。
图1：产品AI能力矩阵
基础能力包括：面部表情跟随、语音驱动表情、AI面部特征识别（AI捏脸）、照片捏脸等。涉及的AI技术点包括人脸检测、人脸追踪、面部关键点检测、头部识别等人体姿态检测、3D人脸重建、AI特征识别等
今天我们就和大家一起探讨一下中国的AI捏脸部分！
捏脸技术的发展历史
首先我们先来说一下“捏脸”的概念。 “捏脸”是将系统设定的元素结合到虚拟角色中，定制出个性化的形象，比如通过脸型、眉毛、眼睛、发型等元素的重新组合，搭配成头像作品。
一、关于捏脸的发展过程
2005年，第一款捏脸游戏《完美世界》在中国出现。 在游戏中，您可以自定义角色的形象并创建您想要的外观。
当然，当时它还被称为“图像定制系统”，只能满足一些比较初级、简单的五官替换功能。 虽然当时大多数玩家只是先在系统库中选择脸型，然后选择发型，再选择五官模型，但这种新颖的模式不仅给玩家带来了全新的游戏体验，也奠定了为后来游戏中“捏脸”系统的蓬勃发展奠定了基础。
2013年，《剑灵》B&S普及了捏脸玩法。 它还具有非常好的捏脸导入功能。 您可以直接将别人的捏脸数据导入到您创建的角色中，即捏脸。 成本非常低。
2018年国内新推出的热门游戏《逆水寒》提供了捏脸系统，可以调动面部几十个肌肉群，通过排列组合创造出无数的可能性。
2. 为什么我们要“捏脸”？
关于我们为什么“捏脸”的问题，我们可以从审美标准、代入感和个性化三个方面来思考：
通过比较不同世代的审美标准，我们可以发现这样的规律：随着时代的不断进步，人们的审美观念和对美的要求在不断变化。 对于服装、配色的追求如此，对于游戏品质的追求亦是如此。
无论是游戏还是虚拟社交，最重要的无疑是“代入感”，而对此最直观的感觉就是自己的玩家形象。 因此，一款强大的换脸游戏给玩家带来无与伦比的代入感。
捏脸也是个性化表达的载体之一。 如果你想给自己一个酷炫的外表，那就给自己一张霸气的脸； 如果你想向外界呈现温柔可人的一面，那么不妨让你的头像变得柔和、端庄。
目前，不少玩家的关注点已经从游戏中的“炫目实力”转向“炫酷炫目”、“炫目特色”。 无论打开哪款热门网游，玩家们在装扮、美化上花费的钱永远不会少于提升能力。 独特的虚拟人物面孔成为虚拟世界社交的第二张名片，也成为连接虚拟世界的桥梁。
捏脸效果展示
给大家展示一下拍照时捏脸的效果：
图2：捏脸效果
阐明：
1、实验数据来源均来自内部采集和付费采集，不涉及用户隐私；
2、当您使用我们产品的SDK功能时，我们需要在本地处理您的人脸特征值信息和语音特征信息，以实现捏脸、表情跟随、声音驱动等功能场景。 您需要授权我们使用摄像头和麦克风。 关闭后仅影响相应功能，不影响应用程序的其他功能。 我们只会在您的本地设备中离线处理相关的面部特征值信息和语音信息，不会上传、存储或与第三方共享这些信息。
整体捏脸流程分析技术方案中，拍照捏脸是获取照片中人的性别、年龄、发型、脸型、眼睛大小、眉位、眉毛长度、眉型等信息通过发送脸部照片。 诸如是否戴眼镜之类的信息用于给出最适合化身的化身。
与传统的捏脸方式不同，捏脸拍照采用了AI技术，可以自动生成自己的虚拟形象，让每个人的虚拟形象不再一样。 下面我们将详细讲解人脸捏脸算法的一般流程和整体架构。
1、AI技术在捏脸中的具体应用
AI捏脸涵盖的主要技术包括：人脸检测、人脸对齐、性别分类、发型分类、眉毛、眼睛、五官的属性分类等。
2、捏脸的大致流程
图3：虚拟形象制作流程图
捏脸效应难以克服
为了获得最佳的捏脸效果，我们在实际研发过程中需要解决好以下问题：
1. 科学数据的收集
根据数据采集模块获取人脸属性数据，通过数据修正和增强训练得到AI表情模型，分为以下部分：
数据采集：根据业务需求，我们购买并采集了约102万条人脸数据，并经过严格标注和验收； 为此，我们开发了一套可以用于人脸属性的数据标注软件，获取人脸属性。 性别、头发、胡须、是否戴眼镜、皮肤等级等数据；
数据管理：我们还在数据集上细分了一些困难情况，特别是人脸太黑、图像质量低、人脸角度过大等极端情况的数据，以便在训练时进行分类和管理。 对数据进行不同的处理，如样本均衡、对困难样本类型添加超参数均衡损失计算等，对数据进行训练优化；
数据增强：针对实施场景，设计定制的数据增强流程，丰富训练数据模型。
2 模型设计的主要思路
在搭建捏脸推理模块中的网络模型时，我们对比验证了实验结果，设计了性能和精度非常好的网络结构，主要包括用于提取图像特征的主干网络和用于输出对应头像的输出头编码。 。 结构图如下：
图4：网络结构示意图
我们尝试了诸如、、、、等想法的网络结构和训练策略。 经过反复测试验证，最终的主干网络由CBA、Ghost、Block组成。 结构如下：
图5：网络主干示意图（）
主干网络和输出头模块的具体结构如下：
图6：主干网络及输出头模块结构图
Ghost通过“廉价”操作（）获得“冗余”特征图来加速模型的推理，并通过增加和减少特征图的通道来进一步减少参数数量。 其结构如下：
图 7：幽灵
，Block可以用较少的参数获得每个特征图中的局部表示信息以及该特征图对其他特征图的全局表示信息。 通过特征之间的相互“引用”，使特征的表达更加准确。 其结构如下：
图 8：模块
输出头采用的特征共享结构使得相关子任务能够相互促进。 其结构如下：
图 9：输出标头
这样，我们完整的网络结构就搭建好了：
图10：完整的网络结构图
3、精心设计优化方法
根据类别设计并细分不同的任务分支。 共享特征机制还用于利用任务之间的相关性来辅助目标任务学习。
损失函数为：
在实际训练中，我们不知道每个子任务之间的影响是否有效。 为了消除多个任务之间的竞争，我们调整梯度，使得每个任务的训练率相同，这样多个任务就可以自动平衡。 损失中的权重。例如，如果任务 i 收敛得很快，那么该任务相对于其他子任务的性能
应该减少，以便其他任务对当前网络产生更大的影响。
一般来说天谕捏脸数据导入图，我们一般从以下几个方面进行优化：
从网页设计来看：
人脸捏脸算法不是通用的端到端算法，需要从多个维度提取特征进行详细分析。 为了减少模型消耗，我们的许多模型采用多任务辅助监督训练。 中间辅助监督的思想最早出现在2014年的冠军模型中，后来在分割网络中被借鉴。 最近在 ECCV 2020 中提出，甚至解释了将 -truth 标签映射到潜在嵌入空间作为辅助训练的中间监督。 检测区域信息的有效性。 结合我们的实际任务，我们的多任务辅助监督训练与上面提到的中级辅助监督是不同的。 我们的中间监督不仅仅使用-truth。 大多数时候，我们设计的网络将使用多个任务来协作监督一个主题。 任务。
从数据处理来看：
对于数据处理，我们会根据自己的实际需求，使用不同的数据增强。 另外，为了减少计算量，在一些任务中，我们还采用了重建图像的策略，X=AS，X表示原始图像，S表示重建图像，A表示基组成的矩阵功能。
我们的优化指南是：
其中，I(x,y)表示原始图像X上的像素点，
表示基函数矩阵A的第i个向量，
表示S中的第i个响应值。通过优化准则，我们可以通过感受野响应较强的信息来表达整个图像的所有信息。
从损失函数
损失函数的设计直接影响网络收敛的质量。 不同任务的损失函数不同，但其本质都是通过最小化损失函数来获得全局最优。 我们会针对特定的任务定义不同的损失函数，或者根据我们的需要对公共损失函数添加惩罚或约束。
4.完美捏脸效果
如果直接根据编码结果生成头像，则可能存在脸型、五官或发型不匹配的情况。 如何保证定制化的头像具有更高的颜值，还需要整个团队的通力合作。
一方面，开发同学不断调试和优化头像的渲染效果，在肤色调整、阴影渲染、头发渲染、高光效果等方面做了很多尝试； 另一方面，设计专业的学生为头像设计了各种效果。 纹理材质，已建成完整的材质库。 例如：眉型、眼睛形状、睫毛样式、脸型、肤色等。
在技术的不断研究和美学角度的检验的碰撞下，最终的虚拟图像不仅具有很高的精度，而且还提供了非常丰富的捏脸自由度。
下面从三个方面简单表述一下捏脸过程的效果：
按性别分析
性别识别是捏脸中最基本、最关键的环节。 由于角度、光线等外界因素的影响，很容易出现识别错误。 一旦性别识别错误，后续的捏脸过程就会“越走越远”。 为了平衡移动端的准确性和实时性，我们在训练过程中做了很多尝试。 我们的性别识别在 5 万名不同国籍、年龄、场景和表情的测试集上达到了 96.7% 的准确率。
从人脸的外观特征分析
性别识别结果出来后，识别人脸上的外观特征就显得尤为重要，比如是否戴眼镜、是否有胡子、胡子分布在哪里等。 如果对这些人脸上明显的外部特征识别不准确，捏出来的效果就会很假。 我们的面部外观特征模型包括眼睛、胡须和胡须分布的识别。 各维度准确率：眼镜：99.5%，胡须：96.2%，胡须上下左右分布：95.0%。
从毛发尺寸分析
头发分析也是捏脸过程中非常重要的一环，头发在多个维度上是多样的。 在头发分析中，如果某一维度识别错误，整体效果就会大打折扣。 我们的头发分析模型包括5种长度、9种刘海、2种捆绑方式和4个维度的头发面积信息。 它可以赋予渲染模块非常细粒度的头发特征，从而渲染出非常逼真的头部形状。 。
ZEGO科技基于AI行业的发展变化，抓住适合自身技术能力的垂直应用场景，探索虚拟社交、在线KTV场景中的核心问题，为用户打造个性化的虚拟形象。 我们在做AI捏脸的时候走了一些弯路。 后来我们开始关注市场主体的热点，随着整个团队的不断探索和验证，积极寻找突破口，我们捏脸的质量越来越高。
莎士比亚通过《仲夏夜之梦》中人物的话说，“想象中的事物往往是虚幻的，但在诗人的笔下，它们可以是有形的，有内在的实质，也可以有名字。” ZEGO就像莎士比亚笔下的诗人，为每个人定制个性化的虚拟形象，成功打开虚拟宇宙时代的入口。
ZEGO科技也将随着相关领域技术的成熟，创造出具有新内涵和意义的数字人。 从技术底层赋能内容开发者，将虚拟技术更直接、便捷、高效地交付给最终用户。
未来我们可以通过AI模型直接获取捏脸系数，真正实现千人千面！
