MotionAgent一站式视频生成工具

Diffutoon简介 Diffutoon 是一项突破性的卡通着色进步，植根于扩散模型，可将逼真的视频无缝地转变为动漫视觉风格。该方法将卡通着色挑战分解为四个可辨别的方面：风格化、一致性增强、结构指导和着色。其主要卡通着色管道由植根于动漫风格扩散原理的多模块去噪模型推动，拥有令人印象深刻的渲染详细、高分辨率和长时间视频的能力。编辑分支的合并有助于根据提供的提示进行内容操作。通过闪存注意力的战略集成巧妙地缓解了 GPU 内存限制，从而实现高达 1536 x 1536 的分辨率。Diffutoon 能够以动漫风格渲染出细致、高分辨率、以及延长时间的视频。它还可以通过额外的分支编辑内容。Diffutoon 的有效性通过数值指标和人类评估进行评估。值得注意的是，Diffutoon 在我们的实验中超越了开源和闭源基线方法。Diffutoon 的主要功能：将真实感视频转换成各种动漫风格根据用户提示编辑视频内容，例如改变颜色或添加特效。详细保留了光照、头发和姿势等细节，同时保持了与动画风格密切相关的视觉效果。保持视频内容的一致性，避免闪烁和失真。能够生成高分辨率、长时间的视频。Diffutoon 的主要特点：高分辨率输出：Diffutoon 可以处理超高分辨率的视频，使其适合专业级动画和视频项目。一致性增强：它确保跨帧的风格化一致，这对于保持动画序列的视觉连贯性至关重要。可编辑内容：该方法允许根据提示进行内容编辑，为创作过程提供灵活性。结构指导和着色：Diffutoon 结合了结构指导和着色，以增强风格化输出的视觉吸引力和准确性。Diffutoon应用：动画制作：Diffutoon 可用于动画创作，将真人镜头或其他类型的视频转换为动画风格的动画。视频编辑：它能够根据提示编辑视频内容，这使其成为希望将动漫美学融入其项目的视频编辑者的强大工具。创意项目：艺术家和创作者可以使用 Diffutoon 在其视频内容中尝试不同的风格和效果。论文：https://arxiv.org/pdf/2401.16224Github：https://github.com/modelscope/DiffSynth-Studio项目：https://ecnu-cilab.github.io/DiffutoonProjectPage/

MedisGo简介 MedisGo，一款视频在线提取工具，视频解析下载工具，支持流媒体下载 、视频下载 、 m3u8下载 、B站视频下载。MedisGo特点MedisGo支持m3u8视频在线提取工具 流媒体下载m3u8下载。无需抓包：使用软件自带浏览器可以轻松嗅探网页中的视频资源，通过嗅探到的资源列表选择自己想要下载的资源，简单快速。移动播放：可以轻松无缝的在 PC 和移动设备之前切换，下载完成后即可使用手机观看视频。批量下载：支持同时下载多个视频和直播资源，高速带宽不闲置。MedisGo使用方法第1步：在软件的【素材提取】选项中输入网址第2步：随后在下载列表选项就可看到下载链接，如果没有，可以在素材提取中按一下刷新按钮。MedisGo基础设置选择文件夹： 视频下载的路径下载器主题： 支持浅色和深色模式在新窗口中打开浏览器： 开启了之后浏览器页面会独立出一个窗口。下载完成提示： 开启之后下载完成会出现系统提示MedisGo项目在Github已经获得1.6K的stars和201K的下载量，是一款十分火爆的视频解析下载工具。运行MedisGo代码需要 node 和 pnpm，node 需要在官网下载安装，pnpm 可以通过npm i -g pnpm安装。

CosyVoice简介 CosyVoice是一款基于语音量化编码的语音生成大模型，一个可以深度融合文本理解和语音生成的一项新型语音合成技术，它对语音进行离散化编码，并依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice能够精准解析并诠释各类文本内容，将其转化为宛如真人般的自然语音。你只需提供3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。CosyVoice项目官网：https://www.modelscope.cn/studios/iic/CosyVoice-300MCosyVoice源码地址：https://github.com/FunAudioLLM/CosyVoiceCosyVoice API地址：https://help.aliyun.com/zh/model-studio/developer-reference/cosvoice-large-model-for-speech-synthesis/?spm=a2c4g.11186623.0.0.56f01751Ke29mhCosyVoice功能特征：高度拟人化：采用阿里通义语音实验室自研的CosyVoice 生成式神经网络语音大模型算法，使生成的语音在语调、韵律、情感表达等方面达到超拟人程度。多语言：CosyVoice支持中英日粤韩5种语言的生成，专注自然语音生成，支持多语言、音色和情感控制，效果显著优于传统语音生成模型。多样化音色选择：提供海量优质的音库资源，包括不同性别、年龄、方言以及各种特色声音，满足用户在不同场景下的个性化需求。无论是新闻播报的庄重严肃，还是故事讲述的情感丰富，都能轻松驾驭。实时高效合成：系统具有出色的响应速度和流式语音合成处理能力，无论是长篇文档还是短句指令，都能实现快速、准确的实时语音合成。情感和韵律控制：CosyVoice支持富语言声音事件以及多情感的高拟人语音生成，例如笑声、语气词等，以及不同情感表现的高拟人语音生成。声音克隆：只需提供3~10s的原始音频，CosyVoice即可克隆生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。CosyVoice应用：CosyVoice适用于多种应用场景，如智能客服、有声读物、车载导航、教育辅导等。智能设备/机器人播报的语音内容，如智能客服机器人、智能音箱、数字人、语音助手等。音视频创作中需要将文字转为语音播报的场景，如小说阅读、新闻播报、影视解说、剧本配音等。CosyVoice极大地拓宽了语音交互的可能性，提升用户体验的同时，也为企业智能化转型提供了强大支持。同最近大火的ChatTTS对比，可以发现CosyVoice的合成音频在内容一致性上更高，CosyVoice对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升，并且没有很少存在幻觉额外多字的现象。CosyVoice很好地建模了合成文本中的语义信息，在内容一致性和说话人相似度上超越人类。

RTranslator简介 RTranslator 是一款（几乎）开源、免费、离线的 Android 实时翻译应用程序。连接到拥有该应用程序的人，连接蓝牙耳机，将手机放入口袋中，然后您就可以像对方说您的语言一样进行对话。RTranslator对话模式对话模式是RTranslator的主要功能。在此模式下，您可以与使用此应用程序的另一部手机连接。如果用户接受您的连接请求：当您说话时，您的手机（或蓝牙耳机，如果已连接）将捕获音频。捕获的音频将转换为文本并发送到对话者的手机上。对话者的手机会将收到的文本翻译成他的语言。对话者的手机会将翻译后的文本转换为音频，并从扬声器中再现它（或者通过对话者的蓝牙耳机，如果连接到他的手机）。所有这一切都是双向的。每个用户可以拥有多部已连接的电话，以便您可以翻译两个以上的人之间以及任意组合的对话。RTranslator对讲机模式如果对话模式适用于与某人进行长时间对话，那么该模式则专为快速对话而设计，例如在街上询问信息或与店员交谈。该模式只能翻译两个人之间的对话，不适用于蓝牙耳机，而且必须轮流说话。这不是真正的同声翻译，但它只能在一部手机上使用。在此模式下，智能手机麦克风将同时以两种语言收听（可在对讲机模式的同一屏幕中选择）。该应用程序将检测对话者使用哪种语言，将音频翻译成另一种语言，将文本转换为音频，然后从手机扬声器中再现。 TTS 结束后，它将自动恢复收听。RTranslator文本翻译模式这种模式只是一个经典的文本翻译器，但总是有用的。一般模式RTranslator 使用 Meta 的 NLLB 进行翻译，使用 Openai 的 Whisper 进行语音识别，两者都是（几乎）开源且最先进的 AI，具有出色的质量并直接在手机上运行，确保绝对隐私，甚至可以在离线状态下使用 RTranslator。质量损失。此外，RTranslator 甚至可以在后台运行、手机处于待机状态或使用其他应用程序时（仅当您使用对话或 WalkieTalkie 模式时）。然而，有些手机会限制后台的电量，因此在这种情况下，最好避免它并在屏幕打开的情况下保持应用程序打开。RTranslator支持的语言阿拉伯语、保加利亚语、加泰罗尼亚语、中文、捷克语、丹麦语、德语、希腊语、英语、西班牙语、芬兰语、法语、克罗地亚语、意大利语、日语、韩语、荷兰语、波兰语、葡萄牙语、罗马尼亚语、俄语、斯洛伐克语、瑞典语、泰米尔语、泰语、土耳其语、乌克兰语、乌尔都语、越南语。

Zero123简介 今天，我们发布了稳定版 Zero123，这是我们内部训练的模型，用于生成视图条件图像。与之前最先进的 Zero123-XL 相比，稳定的 Zero123 产生了显着改善的结果。这是通过 3 项关键创新实现的：1、改进的训练数据集，从 Objaverse 中大量过滤，只保留高质量的 3D 对象，我们渲染的对象比以前的方法更加真实。2、在训练和推理过程中，我们为模型提供了估计的摄像机角度。这种海拔调节使其能够做出更明智、更高质量的预测。3、预先计算的数据集（预先计算的潜在变量）和改进的数据加载器支持更高的批量大小，与第一个创新相结合，与 Zero123-XL 相比，训练效率提高了 40 倍。Zero123特征：稳定的 Zero123 可以生成物体的新颖视图，展示从各个角度对物体外观的 3D 理解，由于训练数据集和高程条件的改进，其质量比 Zero1-to-3 或 Zero123-XL 显着提高。该模型基于稳定扩散 1.5，消耗与 SD1.5 相同数量的 VRAM 来生成 1 个新视图。使用 Stable Zero123 生成 3D 对象需要更多时间和内存（建议使用 24GB VRAM）。为了实现 3D 对象生成方面的开放研究，我们改进了 Threestudio 开源代码的开源代码，以支持 Zero123 和 Stable Zero123。 Stable 3D 流程的简化版本目前处于私人预览阶段。从技术角度来说，这使用分数蒸馏采样 (SDS) 来使用稳定的 Zero123 模型来优化 NeRF，稍后我们可以从中创建纹理 3D 网格。该过程可以适用于文本到 3D 生成，首先使用 SDXL 生成单个图像，然后使用 Stable Zero123 生成 3D 对象。Zero123项目：https://github.com/cvlab-columbia/zero123Zero123试用：https://huggingface.co/spaces/cvlab/zero123-liveZero123论文：https://arxiv.org/abs/2303.11328该模型现已发布在 Hugging Face 上，研究人员和非商业用户可以下载并进行实验。

Media2Face简介 在人工智能领域，从语音中创建准确的面部唇部动作一直是一个持续的挑战。然而，突破已经到来——Media2Face。Media2Face是通过音频、文本和图像多模态引导的共语言面部动画生成工具。它利用音频、文本和图像输入的引导来自然地模仿人类语言，引入了广义神经参数面部资产 （GNPFA）。这是一种高效替在空间，从而解耦表情和身份。然后，我们利用GNPFA从大量视频中提的变分自动编码器，可将面部几何形状和图像映射到高度广义的表情取高质量的表情和准确的头部姿势。由于高质量的 4D 面部数据有限，从语音合成 3D 面部动画面临着挑战。然而，借助 Media2Face，现在可以从任何音频、图像或文本输入无缝生成逼真且富有表现力的面部动画。Media2Face能够根据声音来生成与语音同步的、表现力丰富的3D面部动画。同时允许用户对生成的面部动画进行更细致的个性化调整，如情感调整，“快乐”或“悲伤”等。Media2Face还能理解多种类型的输入信息（音频、文本、图像），并将这些信息作为生成面部动画的指引。Media2Face实际应用：创造对话场景：根据你写的剧本，电脑可以生成人物对话的动画场景。制作风格化的面部动画：你可以给电脑一个表情符号，它就能根据这个符号创造出动画。情感歌唱：电脑还能根据不同的语言唱歌，表现出对应的情感。个性化动画：最神奇的是，这个项目能够创造出符合不同人种、年龄和性别的个性化面部动画。影视制作公司使用Media2Face生成影片中虚拟人物的面部动画。虚拟主持平台利用Media2Face实现虚拟主持的面部表情生成。游戏开发公司在虚拟角色设计中应用Media2Face进行面部动画生成。Media2Face是如何工作的？Media2Face项目的工作原理涉及几个关键技术和步骤，使其能够从语音合成出具有丰富表情和情感的3D面部动画。下面是该项目的主要工作流程：1. 通用神经参数化面部资产（GNPFA）：首先，研究团队创建了一个特殊的工具（叫做GNPFA），它就像一个大型的面部表情数据库。无论你想要什么样的表情，这个工具都能帮你找到，并且还能确保每个人的面部动画都独一无二，不会和别人混淆。这个过程实现了表情和身份的解耦，即能够在不同的身份之间转换相同的表情。然后，他们用这个工具处理了很多视频，从中提取出了高质量的表情和头部动作。这样就创建了一个巨大的数据集，里面包含了各种各样的面部动画和对应的情感、风格标签。2. 多模态引导的动画生成：Media2Face采用一个扩散模型在GNPFA的潜在空间中进行动画生成，这个模型能够接受来自音频、文本和图像的多模态引导。模型将音频特征和CLIP潜在代码作为条件，与表情潜在代码序列的噪声版本以及头部运动代码（即头部姿势）一起去噪。条件被随机掩蔽，并通过与噪声头部运动代码的交叉注意力进行处理。3. 表情和头部姿势生成：利用GNPFA从大量视频中提取高质量的表情和准确的头部姿势。这呈现了 M2F-D 数据集，这是一个大型、多样化和扫描级别的共同语音3D面部动画数据集，具有注释良好的情感和风格标签。4.表情和风格微调：通过表情编码器提取关键帧表情潜在代码，并通过CLIP提供每帧的风格提示，如“快乐”或“悲伤”，用户可以调整动画的强度和控制范围。通过以上这些技术步骤，Media2Face能够生成与语音同步的、表现力丰富的3D面部动画，支持复杂的情感表达和风格变化，为创建虚拟角色和增强AI数字人的交互体验提供了强大工具，大量实验表明，Media2Face不仅在面部动画合成中实现了高保真度，而且拓宽了3D面部动画的表现力和风格适应性。

Animagine XL 3.1简介 Animagine XL 3.1，一个开源的文本生成图像动漫模型，通过整合新的数据集，Animagine XL 3.1扩展了对广泛动漫作品和风格的理解，从经典作品到最新发布的动漫，覆盖了从古老到现代的各种艺术风格。Animagine XL 3.1在线体验：https://huggingface.co/spaces/cagliostrolab/animagine-xl-3.1Animagine XL 3.1特点：通过整合新的数据集，Animagine XL 3.1扩展了对广泛动漫作品和风格的理解，从经典作品到最新发布的动漫，覆盖了从古老到现代的各种艺术风格。解决曝光过度问题，提高了生成图像的质量。新增美学标签，更新了质量和年份标签，支持生成特定美感和时代风格的图像。采用标签排序，优化了生成结果的准确性。优化算法和训练过程，使用了2x A100 80GB GPU进行了约350小时的训练，针对性地提升了图像的细节和色彩表现。数据丰富度：该模型预训练使用了一个包含870000张有序且标注的图像的数据集。这些图像覆盖了广泛的动漫角色、风格和主题，从而为模型提供了一个深厚的知识基础。Animagine XL 3.1使用有多种方法可以开始使用此模型：Animagine XL 3.1 在 SeaArt 和 Huggingface 中提前发布。Animagine XL 3.1 已在 Huggingface Spaces 上上线，由 Zero Nvidia A100 GPU 提供支持。Animagine XL 3.1 也将于稍后在其他平台上发布。Animaine XL 3.1许可Animaine XL 3.1基于Animagine XL 3.0，属于Fair AI Public License 1.0-SD许可证，与Stable Diffusion模型的许可证兼容。关键点：修改共享：如果您修改 Animagine XL 3.1，则必须共享您的更改和原始许可证。源代码可访问性：如果您的修改版本可以通过网络访问，请为其他人提供获取源代码的方式（例如下载链接）。这也适用于派生模型。分发条款：任何分发都必须遵循本许可证或具有类似规则的其他许可证。合规性：不合规行为必须在 30 天内解决，以避免许可证终止，强调透明度和遵守开源价值观。

EchoMimic简介 EchoMimic是一个蚂蚁集团支付宝基于音频驱动的肖像动画生成工具，通过可编辑的特征点条件生成逼真、自然的动画，用户可以根据自己的需求调整动画细节，可用于虚拟主播、视频编辑等，效果比SadTalker、MuseTalk好，表情更丰富动作更顺畅。EchoMimic可以根据人像面部特征和音频来帮人物对口型，结合面部标志点和音频内容生成较为稳定、自然的视频。EchoMimic功能:音频驱动动画，可以根据音频生成人物肖像的动画，比如唱歌、说话视频等。姿势驱动动画，可以根据姿势数据生成人物肖像的动画。音频和姿势混合驱动动画，可以同时使用音频和姿势数据来生成动画。WebUI 和 GradioUI，提供图形界面，易于使用。可编辑的标志调节：用户可以选择特定的面部标志来控制动画，提供更大的灵活性和定制性。支持多语言（包含中文普通话、英语）及多风格，也可应对唱歌等场景。EchoMimic应用：肖像图像动画：使用音频输入从静态图像创建动态视频，可用于娱乐、虚拟化身和数字通信。增强稳定性和自然度：通过结合两种输入，克服音频驱动方法的不稳定性和关键点驱动方法的不自然性。可定制的动画：用户可以编辑特定的面部标志以实现所需的动画效果。ComfyUI EchoMimic：https://github.com/smthemex/ComfyUI_EchoMimicEchoMimic项目：https://badtobest.github.io/echomimic.htmlEchoMimic Github：https://github.com/BadToBest/EchoMimicEchoMimic模型：https://huggingface.co/BadToBest/EchoMimicEchoMimic 由蚂蚁集团支付宝终端技术部开发的音频输入驱动创建逼真肖像动画的技术。它使用可编辑的地标调节来实现逼真的面部动作和表情，从而实现高度可定制且外观自然的动画。