SoraWebui

DreamTalk简介 DreamTalk，一个由清华大学、阿里巴巴和华中科大共同开发的一个基于扩散模型可以让人物照片说话，支持包括歌曲、多种语言的语音、嘈杂的音频在内的各种声音匹配让人物头像说话的框架。DreamTalk演示地址：https://dreamtalk-project.github.ioDreamTalk项目地址：https://dreamtalk-project.github.io/DreamTalk论文地址：https://arxiv.org/abs/2312.09767DreamTalk使用场景：使用 DreamTalk 生成具有多样化语言和表情风格的说话人脸应用 DreamTalk 在影视制作中实现逼真的虚拟角色表情动作使用 DreamTalk 在人机交互场景中实现自然的面部表情和嘴唇运动DreamTalk功能：具体来说，DreamTalk 由三个关键组件组成：降噪网络、风格感知唇部专家和风格预测器。基于扩散的降噪网络能够在不同的表情中一致地合成高质量的音频驱动的面部运动。为了提高嘴唇动作的表现力和准确性，我们引入了一位具有风格意识的嘴唇专家，可以在注意说话风格的同时指导嘴唇同步。为了消除对表情参考视频或文本的需求，使用额外的基于扩散的样式预测器直接从音频中预测目标表情。1、去噪网络：这是核心组件之一，负责生成音频驱动的面部动作。去噪网络使用扩散模型来逐步去除噪声，从而生成清晰、高质量的面部表情。这个过程涉及从带有噪声的数据中逐步恢复出清晰的面部动作。2、风格感知的嘴唇专家：这个组件专注于提高嘴唇动作的表现力和准确性。它通过分析说话风格来引导嘴唇同步，确保生成的动画既自然又符合说话者的风格。3、风格预测器：为了消除对表情参考视频或文本的依赖，DreamTalk引入了一个基于扩散的风格预测器。这个预测器可以直接从音频预测目标表情，无需额外的表情参考视频或文本。4、音频和视频处理：处理音频输入，提取关键的音频特征，并将这些特征用于驱动面部动画。同时，它还能处理视频输入，以提取和模仿特定的表情和风格。5、数据和模型训练：为了实现这些功能，DreamTalk需要大量的数据来训练其模型，包括不同表情和说话风格的面部动画数据。通过这些数据，模型学习如何准确地生成与输入音频匹配的面部动作。DreamTalk可以利用强大的扩散模型有效地生成富有表现力的面孔，并减少对昂贵的风格参考的依赖。实验结果表明，DreamTalk能够生成具有不同说话风格的逼真的说话面孔，并实现准确的嘴唇动作，超越了现有的最先进的同类产品。DreamTalk不仅能够处理和生成它在训练过程中见过的面部类型和表情，还能有效处理和生成它之前未见过的、来自不同数据集的面部类型和表情。包括不同种族、年龄、性别的人物肖像，以及各种不同的表情和情绪。

Media2Face简介 在人工智能领域，从语音中创建准确的面部唇部动作一直是一个持续的挑战。然而，突破已经到来——Media2Face。Media2Face是通过音频、文本和图像多模态引导的共语言面部动画生成工具。它利用音频、文本和图像输入的引导来自然地模仿人类语言，引入了广义神经参数面部资产 （GNPFA）。这是一种高效替在空间，从而解耦表情和身份。然后，我们利用GNPFA从大量视频中提的变分自动编码器，可将面部几何形状和图像映射到高度广义的表情取高质量的表情和准确的头部姿势。由于高质量的 4D 面部数据有限，从语音合成 3D 面部动画面临着挑战。然而，借助 Media2Face，现在可以从任何音频、图像或文本输入无缝生成逼真且富有表现力的面部动画。Media2Face能够根据声音来生成与语音同步的、表现力丰富的3D面部动画。同时允许用户对生成的面部动画进行更细致的个性化调整，如情感调整，“快乐”或“悲伤”等。Media2Face还能理解多种类型的输入信息（音频、文本、图像），并将这些信息作为生成面部动画的指引。Media2Face实际应用：创造对话场景：根据你写的剧本，电脑可以生成人物对话的动画场景。制作风格化的面部动画：你可以给电脑一个表情符号，它就能根据这个符号创造出动画。情感歌唱：电脑还能根据不同的语言唱歌，表现出对应的情感。个性化动画：最神奇的是，这个项目能够创造出符合不同人种、年龄和性别的个性化面部动画。影视制作公司使用Media2Face生成影片中虚拟人物的面部动画。虚拟主持平台利用Media2Face实现虚拟主持的面部表情生成。游戏开发公司在虚拟角色设计中应用Media2Face进行面部动画生成。Media2Face是如何工作的？Media2Face项目的工作原理涉及几个关键技术和步骤，使其能够从语音合成出具有丰富表情和情感的3D面部动画。下面是该项目的主要工作流程：1. 通用神经参数化面部资产（GNPFA）：首先，研究团队创建了一个特殊的工具（叫做GNPFA），它就像一个大型的面部表情数据库。无论你想要什么样的表情，这个工具都能帮你找到，并且还能确保每个人的面部动画都独一无二，不会和别人混淆。这个过程实现了表情和身份的解耦，即能够在不同的身份之间转换相同的表情。然后，他们用这个工具处理了很多视频，从中提取出了高质量的表情和头部动作。这样就创建了一个巨大的数据集，里面包含了各种各样的面部动画和对应的情感、风格标签。2. 多模态引导的动画生成：Media2Face采用一个扩散模型在GNPFA的潜在空间中进行动画生成，这个模型能够接受来自音频、文本和图像的多模态引导。模型将音频特征和CLIP潜在代码作为条件，与表情潜在代码序列的噪声版本以及头部运动代码（即头部姿势）一起去噪。条件被随机掩蔽，并通过与噪声头部运动代码的交叉注意力进行处理。3. 表情和头部姿势生成：利用GNPFA从大量视频中提取高质量的表情和准确的头部姿势。这呈现了 M2F-D 数据集，这是一个大型、多样化和扫描级别的共同语音3D面部动画数据集，具有注释良好的情感和风格标签。4.表情和风格微调：通过表情编码器提取关键帧表情潜在代码，并通过CLIP提供每帧的风格提示，如“快乐”或“悲伤”，用户可以调整动画的强度和控制范围。通过以上这些技术步骤，Media2Face能够生成与语音同步的、表现力丰富的3D面部动画，支持复杂的情感表达和风格变化，为创建虚拟角色和增强AI数字人的交互体验提供了强大工具，大量实验表明，Media2Face不仅在面部动画合成中实现了高保真度，而且拓宽了3D面部动画的表现力和风格适应性。

TryOnDiffusion简介 TryOnDiffusion是一种基于两个UNet的扩散架构，旨在生成穿在输入人物身上的服装的可视化效果图。该方法能够在保留服装细节的同时，适应显著的身体姿势和形状变化。TryOnDiffusion在定性和定量上都取得了最先进的性能，是一种非常有效的虚拟试衣技术。TryOnDiffusion 可以将两幅图片进行合成，帮照片中的人物更换不同的服饰。一张是展示某个人，另一张是展示另一个人所穿的服装——生成一张图像，展示这件服装可能在输入的人身上的样子。此前这类模型通常会存在缺乏服饰细节的缺点。传统的合成方法通常只能接受造型区别不大的两张图片，否则合成出来的新图片会出现服装变形严重的情况。而 TryOnDiffusion 利用一种被称为并行 UNet 的扩散式架构，让合成的照片可以在保留服饰细节的情况下适应人体的姿势以及形状变化。TryOnDiffusion特点：该模型使用扩散技术，展示不同体型和姿势的人穿着衣物的效果。新的ai模型能够生成高质量、逼真的试穿图像。该模型使用图像扩散和交叉注意力技术，而非文本输入。为了提高准确性，该模型使用Google购物图谱进行训练。虚拟试衣间功能现已支持Anthropologie、LOFT、H&M和Everlane等品牌的女士上衣。该功能将逐步扩展到更多品牌。目前没有开源。

libcom简介 libcom是由上海交通大学BCMI实验室耗资数百万、历经六年时间研发的图像合成工具箱，它在2023年底正式发布，并迅速获得关注，截至2024年10月，其下载量已突破1.2万次。libcom集成了十余项图像合成功能，包括前景背景融合、光照匹配、阴影生成等，结合传统方法与深度学习技术，显著提升合成图像质量。libcom的推出，目的在于提供一个开箱即用的解决方案，让用户无需大量训练微调即可进行图像合成。libcom核心特点与功能：libcom的设计理念是全面覆盖图像合成的各个方面，它集成了十几项核心功能，每项功能都经过精心挑选和优化，以确保简单有效。get_composite_image：通过基础技术如剪切粘贴、alpha融合和泊松融合，实现前景与背景的自然结合。OPAScoreModel：评估合成图像的合理性，给出0到1的评分，帮助用户判断合成效果是否自然。FOPAHeatMapModel：生成热力图，指导用户找到最佳的前景物体放置位置和尺寸，提升合成图像的合理性。color_transfer：实现颜色迁移，帮助合成图像的前景与背景在色彩上更加和谐。ImageHarmonizationModel：通过调整光照，使前景与背景在视觉上更加一致，增强图像的和谐性。此外，libcom还提供了艺术图像和谐化、阴影生成等其他高级功能，以及一系列辅助资源，如awesome-image-composition资源库、在线演示（尽管可能不是最新模型）和一篇持续更新四年的综述文章，为图像合成领域的研究和应用提供了丰富的资料和工具。libcom应用领域：libcom工具箱广泛适用于虚拟现实、艺术创作、电子商务广告设计、以及作为数据增强工具来提升机器学习模型的训练质量等多个领域。如何使用Libcom进行图像合成？1.环境准备：确保你已经安装了Libcom工具箱。可以从其GitHub项目页面下载并安装。2.加载图像：准备好需要合成的前景图像和背景图像。确保前景图像有清晰的边界，以便后续处理。3.使用合成函数：Libcom提供了多个功能来实现图像合成，以下是一些常用的功能：get_composite_image：通过剪切、粘贴和融合技术将前景与背景合成。FOPAHeatMapModel：输入背景和前景，生成合理性分数热力图，帮助确定前景物体的最佳放置位置。ImageHarmonizationModel：调整前景光照，使其与背景和谐。4.执行合成：根据需要选择合适的模型进行合成。例如，使用get_composite_image函数可以直接将前景和背景合成，代码示例如下：composite_image = libcom.get_composite_image(foreground, background)5.评估合成效果：使用OPAScoreModel等模型评估合成后的图像质量，确保前景物体的位置和大小合理。可以通过以下代码获取分数：score = libcom.OPAScoreModel(composite_image, foreground_mask)6.后处理：如果需要，可以使用阴影生成模型（如ShadowGenerationModel）为合成图添加阴影，以增强真实感。7.保存结果：完成合成后，将结果保存为新图像文件，以便后续使用。libcom的推出不仅仅是图像合成技术的一次飞跃，更是开源社区的一大贡献。

易魔声EmotiVoice简介 易魔声EmotiVoice是一个强大的开源TTS引擎，支持中英文双语，包含2000多种不同的音色，以及特色的情感合成功能，支持合成包含快乐、兴奋、悲伤、愤怒等广泛情感的语音。易魔声EmotiVoice提供一个易于使用的web界面，还有用于批量生成结果的脚本接口。当前的实现侧重于通过提示控制情绪/风格。易魔声EmotiVoice只使用音高、速度、能量和情感作为风格因素，而不使用性别。但是将其更改为样式、音色控制并不复杂，类似于PromptTTS的原始闭源实现。所有用户可免费在开源社区GitHub进行下载使用，并通过提供的 web 界面和批量生成结果的脚本接口实现音色的情感合成与应用。

Emote Portrait Alive简介 Emote Portrait Alive是阿里巴巴发布的EMO，一种音频驱动的AI肖像视频生成框架。输入单个参考图像和声音音频，例如说话和唱歌，Emote Portrait Alive就可以生成具有表情丰富的面部表情和各种头部姿势的声音肖像视频，让照片中的人物根据音频内容自然地张嘴说话或唱歌，面部表情和头部姿态非常逼真。同时，我们可以根据输入视频的长度生成任意持续时间的视频。Emote Portrait Alive功能和特点：音频驱动的视频生成：EMO能够根据输入的音频（如说话或唱歌）直接生成视频，无需依赖于预先录制的视频片段或3D面部模型。高表现力和逼真度：生成的视频具有高度的表现力，能够捕捉并再现人类面部表情的细微差别，包括微妙的微表情，以及与音频节奏相匹配的头部运动。无缝帧过渡：确保视频帧之间的过渡自然流畅，避免了面部扭曲或帧间抖动的问题，从而提高了视频的整体质量。身份保持：通过FrameEncoding模块，EMO能够在视频生成过程中保持角色身份的一致性，确保角色的外观与输入的参考图像保持一致。稳定的控制机制：采用了速度控制器和面部区域控制器等稳定控制机制，以增强视频生成过程中的稳定性，避免视频崩溃等问题。灵活的视频时长：可以根据输入音频的长度生成任意时长的视频，为用户提供了灵活的创作空间。跨语言和跨风格：训练数据集涵盖了多种语言和风格，包括中文和英文，以及现实主义、动漫和3D风格，使得EMO能够适应不同的文化和艺术风格。Emote Portrait Alive应用场景：唱歌视频生成：输入一张人物肖像照片和唱歌音频，EMO可以生成与音频同步且富有表现力的唱歌视频。说话视频生成：不仅限于唱歌，还可以处理说话音频，生成与语音同步的说话视频。多语言支持：支持多种语言的音频输入，能够生成不同语言下的人物肖像视频。跨风格应用：可以将不同风格（如动漫、3D模型等）的肖像图像与音频结合，生成具有特定风格的视频内容。Emote Portrait Alive不仅限于处理唱歌的音频输入，还可以容纳各种语言的口语音频。此外，Emote Portrait Alive还能够将过去的老照片、绘画以及 3D 模型和AI生成的内容制作成视频，为它们注入逼真的动作和真实感。

Documate简介 Documate 是一款针对站内文档问答的开源 ai 工具，旨在将 AI 聊天对话框无缝嵌入到您的网站之中。并使用您的内容生成用户问题的实时答案，有效地充当您平台的人工客服，有了大模型的加持，用户上来几乎可以不读文档，直接与 AI 对话就可以完成自己的需求，对技术类产品文档来说，Documate的价值很高。Documate功能特点：轻松集成： 轻松与VitePress，Docusaurus，Docsify和任何其他文档站点集成，无需AI或LLM知识。完全可控：您拥有代码，拥有您的数据，选择要编制索引的内容。完全可定制：带有经过微调的 UI，可完全自定义以满足您的特定需求。易于使用：无需 AI 或矢量搜索知识。只需执行几个步骤，您就可以在几分钟内将Documate集成到您的网站中。

Wiseflow简介 Wiseflow，一款敏捷的信息挖掘开源免费工具，它可以从网站、微信公众号、社交平台等各种信息源中按设定的关注点提炼讯息，自动做标签归类并上传数据库，你可以轻松将它整合到任意 Agent 项目中作为动态知识库。项目可完全本地部署，硬件基本无要求。Wiseflow功能特色原生 LLM 应用：我们精心选择了最适合的 7B~9B 开源模型，最大化降低使用成本，且利于数据敏感用户随时完全切换至本地部署。轻量化设计：不用任何向量模型，系统开销很小，无需 GPU，适合任何硬件环境。智能信息提取和分类：从各种信息源中自动提取信息，并根据用户关注点进行标签化和分类管理。WiseFlow尤其擅长从微信公众号文章中提取信息：为此我们配置了mp article专属解析器！可以被整合至任意Agent项目：可以作为任意 Agent 项目的动态知识库，无需了解wiseflow的代码，只需要与数据库进行读取操作即可！流行的 Pocketbase 数据库：数据库和界面使用 PocketBase，除了 Web 界面外，目前已有 Go/Javascript/Python 等语言的SDK。我们缺的其实不是信息，我们需要的是从海量信息中过滤噪音，从而让有价值的信息显露出来！看看Wiseflow是如何帮您节省时间，过滤无关信息，并整理关注要点的吧！