Motionshop

Motionshop简介 Motionshop，ai角色动画工具，通过先进的视频处理和3D渲染技术，Motionshop能够自动检测视频中的人物，并替换成3D卡通角色模型，生成有趣的AI视频。同时不改变视频中的其他场景和人物，被替换的3D角色能完整复刻原视频中人物的动作，动作保持一致。Motionshop项目主页：https://aigc3d.github.io/motionshop/Motionshop的技术原理：1、视频处理和背景提取： 利用视频处理技术，从原始视频中分离出人物，留下无人的背景。这一步涉及复杂的图像分析和处理，以确保背景的完整性和连贯性。角色检测： Motionshop使用基于变换器的框架紧密融合文本信息与现有封闭集检测器，实现零样本对象检测。分割与追踪： 成功检测目标后，通过视频对象分割追踪方法跟踪像素级目标区域。修补： 视频中剩余的图像区域通过视频修补技术完成，包括递归流完成、图像和特征域的双域传播等。2、姿势估计： 这一步骤使用姿势估计技术来分析视频中人物的动作。它涉及到对人体动作的捕捉和分析，使用CVFFS方法估计稳定的人体姿势，并采用SMPL人体模型表示3D人体。3、3D卡通角色动画生成： 根据估计出的姿势和动作，生成相应的3D动画人物。这个过程需要确保3D模型的动作与原视频中的人物动作相匹配。4、光照估计： 为了让3D模型更自然地融入原视频背景，需要估计视频中的光照条件，并对3D模型进行相应的光照处理。5、高性能渲染： Motionshop使用如TIDE这样的高性能光线追踪渲染器对3D卡通角色模型进行渲染，确保其具有高度的真实感和视觉效果。6、视频合成： 最后，Motionshop将渲染好的3D卡通角色合成回无人背景视频中，生成最终的视频成果。Motionshop如何使用：上传一段视频，AI自动识别视频中的运动主体人物，并一键替换成有趣的3D角色模型，生成与众不同的AI视频。第一步：上传一个包含人物的视频（请保证人物完整，视频时长不超过15秒）；第二步：选择视频中要替换的人物（自动选择）；第三步：选择要替换的虚拟角色模型并点击生成，等待10分钟即可生成结果。Motionshop基本上可以平替Wonder Studio。Wonder Studio可以自动化将现实场景中的人物转换替代成CG 角色，还可以进行动画、灯光和合成。