在国际计算机视觉与模式识别会议 （CVPR 2023）上，首届人物交互重建大赛（The First Rhobin Challenge at CVPR 2023）公布了比赛结果，网易互娱AI Lab打败了来自全球的75支参赛队伍，在单目人体重建赛道获得了第一名的优异成绩。网易互娱AI Lab已经将类似相关技术方案应用于自研的AIxPose视觉动捕工具链中，并为多个游戏工作室处理了上千分钟的动画资源，展现出强大的技术实力与应用价值。
据悉，CVPR 2023人物交互重建大赛由德国马克斯·普朗克计算机科学研究所主办，大赛主要关注从人物与物体近距离交互的单目RGB图像中重建三维人体和物体，一共分为三个赛道，分别是：人体重建、物体姿态估计和人体-物体联合重建，最终考量的是重建的精度和效果。单目人体重建技术一直是计算机视觉领域的重要课题之一，本次比赛的难度也是堪比“地狱”级别，不仅汇集了来自全球的顶尖学者参赛，其中包括中国科技大学、首尔国立大学、NIP3D等人工智能研究领域的国内外顶尖院校以及企业，竞争十分激烈；而且此次比赛提供的BEHAVE数据集包含真实环境中人与物体的交互，存在大量的物体（如桌椅等）遮挡人体的情况，因此如何利用时序信息恢复人体的合理形态，也是考验技术效果的一大难题。
为了解决上述问题，网易互娱AI lab创新性地使用了一种可以从单目图像中得到准确的三维人体姿态和外形的多阶段框架，相比其他参赛队伍，这种方案在重建人体后的四肢朝向与真值之间的角度误差可以减少10%以上，可显著提升重建后的人体关键点精度和准确度。整个人体重建流程可以分为三个部分：
单目图像和获取的三维人体姿态对比
这些在国际赛事中得到验证的技术实力，并非停留在实验室的理论成果，而是已经快速转化为实际生产力，深度融入网易互娱自研的 AIxPose 视觉动捕工具链中，并在多款游戏的内容创作与玩家互动中展现出强大的应用价值 —— 从专业美术团队的离线资产生产，到玩家 UGC 创作的实时互动，AIxPose 正以技术赋能的方式，重塑游戏内容的创作逻辑与呈现形态。
凭借高效的技术能力，AIxPose 在离线动作生成领域展现出了强大优势，成为游戏美术资产制作的 “加速器”，为多款游戏的动画内容生产提供了有力支撑。
在《一梦江湖》中，AIxPose 的多视频拍摄动捕功能为关键剧情的过场动画制作提供了核心技术支持。以 “萧鸿飞之死” 这一过场动画中的骑马场景为例，传统动捕方案需要搭建专门的拍摄场景，协调演员动作与镜头调度，仅前期筹备就需耗费数周时间，且后期还要反复调整动作与剧情氛围的适配度。而借助 AIxPose，制作团队通过多机位拍摄的视频素材，便能快速生成符合场景基调的动作数据。整个动画从素材采集到最终渲染完成，周期较传统流程缩短近 60%，不仅保证了剧情的感染力，更让开发团队得以将更多精力投入到叙事细节的打磨中。
在《蛋仔派对》中，AIxPose 的快速生成能力则成为热门动作资产的 “生产引擎”。针对玩家对潮流内容的高频需求，团队借助工具高效制作了 “小熊跳舞” 等近期流行的动作资源。这类动作往往节奏明快、肢体变化丰富，传统制作方式需要跟踪全网热点动态，再由动画师手动拆解动作细节，从立项到上线至少需要 1 周时间，很容易错过最佳传播窗口。而 AIxPose 能直接基于热门舞蹈视频生成基础动作框架，动作同学仅需调整部分骨骼框架和动作细节，2-3 天即可完成整套动作资产的制作与上线，让小蛋仔的 “舞姿” 始终紧跟潮流，持续为玩家带来新鲜感。
《大话西游手游》则通过 AIxPose 实现了游戏角色与现实创作者的跨次元联动。官方联合 B 站 UP 主-小D-biu，利用AIxPose工具精准采集其舞蹈动作，让游戏角色镜花影化身 “虚拟舞者”，完美演绎了绝美的朱雀之舞。这段融合了传统美学与灵动舞姿的营销视频上线后，凭借动作的细腻还原度引发玩家热议。不仅如此，开发团队还通过 PoseCap 采集内部动作师的原创动作，为召唤兽 “哥俩好” 定制了充满趣味的互动姿态，让虚拟角色的形象更显鲜活，进一步丰富了游戏内的动作生态。
《明日之后》则将 AIxPose 的动作捕捉能力与 AIxFace 的面部动捕技术相结合，实现了角色动画的全维度升级。在制作瑞秋的出海营销视频时，团队不仅通过 AIxPose 精准还原角色的肢体动作，包括挥手时的力度、指尖的动作等细节；更借助 AIxFace 同步采集口型动画，让角色说话时的唇形变化与语音内容完美匹配，彻底告别了 “配音与表情脱节” 的尴尬。这种 “动作 + 面捕” 的协同方案，让口播视频的沉浸感大幅提升，玩家能更直观地感受到角色的情绪波动与叙事张力。
除了赋能专业团队的离线创作，AIxPose 更将技术门槛进一步降低 ，全新研发的 “近实时” 动捕功能即将上线，届时普通玩家也能轻松变身游戏内容创作者。《蛋仔派对》已确定与 AIxPose 达成合作，计划同步在游戏内 “乐园工坊” 接入这一功能。玩家只需上传一段 15 秒内的人物动作视频，短时间内即可将动作精准迁移到乐园 NPC 身上，无论是魔性搞怪的舞步、经典影视桥段，还是自编的趣味手势，都能通过简单操作转化为蛋仔角色的专属动作，让创意落地更高效、更便捷。
目前，AIxPose 的技术赋能已覆盖更广泛的游戏矩阵，除了上面这些案例以外，在《梦幻西游端游》《第五人格》《荒野行动》《机动都市阿尔法》《天下3》《绿茵信仰》《猎魂觉醒》等项目组中均有深度落地，持续为不同类型的游戏内容创作提供高效支持。
从技术突破到场景落地，从专业制作到全民创作，AIxPose 的进化轨迹正重塑行业对动捕技术的认知。未来，网易互娱 AI Lab 将继续深耕 AI 与动捕技术的融合，探索在虚拟人直播、AR 互动、影视特效等更多领域的应用可能，让 “人人都是创作者” 的愿景照进现实。