Audio2Photoreal

ComfyUI Portrait Master简体中文版简介 ComfyUI Portrait Master 肖像大师简体中文版，超详细参数设置!再也不用为不会写人像提示词发愁啦!重新优化为ison列表更方便自定义和扩展!已包含标准工作流和turbo工作流，大家快去玩!ComfyUI项目地址：https://github.com/ZHO-ZHO-ZHO/comfyui-portrait-master-zh-cnComfyUI系统教程：https://space.bilibili.com/484366804参数说明 | Parameters镜头类型：头像、肩部以上肖像、半身像、全身像、脸部肖像性别：女性、男性国籍_1：193个国家可选国籍_2：193个国家可选眼睛颜色：琥珀色、蓝色等8种面部表情：开心、伤心、生气、惊讶、害怕等24种脸型：椭圆形、圆形、梨形等12种发型：法式波波头、卷发波波头、不对称剪裁等20种头发颜色：金色、栗色、灰白混合色等9种灯光类型：柔和环境光、日落余晖、摄影棚灯光等32种灯光方向：上方、左侧、右下方等10种起始提示词：写在开头的提示词补充提示词：写在中间用于补充信息的提示词结束提示词：写在末尾的提示词提高照片真实感：可强化真实感负面提示词：新增负面提示词输出提示词合成顺序 | Prompt composition order起始提示词镜头类型 + 镜头权重国籍 + 性别 + 年龄眼睛颜色面部表情 + 面部表情权重脸型发型头发颜色头发蓬松度补充提示词皮肤细节皮肤毛孔皮肤瑕疵酒窝雀斑痣眼睛细节虹膜细节圆形虹膜圆形瞳孔面部对称性灯光类型 + 灯光方向结束提示词提高照片真实感自定义 | Customizations可将需要自定义增加的内容写到lists文件夹中对应的json文件里（如发型、表情等）使用建议 | Practical advice皮肤和眼睛细节等参数过高时可能会覆盖所选镜头的设置。在这种情况下，建议减小皮肤和眼睛的参数值，或者插入否定提示(closeup, close up, close-up:1.5)，并根据需要修改权重。安装 | Installcd custom_nodesgit clone https://github.com/ZHO-ZHO-ZHO/comfyui-portrait-master-zh-cn.git重启 ComfyUI

DeepFaceLive简介 DeepFaceLive 是一款免费开源的实时直播视频ai换脸工具软件，它使用深度学习算法创建逼真的换脸视频。它是一种深度伪造技术，可以将一个人的脸部超级放置在另一个人的身体上的视频中。从而实现非常逼真的面部合成效果。由于其高度逼真的效果，DeepFaceLive 在影视、游戏、虚拟现实 等领域具有广泛的应用前景。使用 DeepFaceLive 非常简单，只需要准备好两个人的面部照片，然后使用 DeepFaceLive 的软件进行面部合成即可。在合成过程中DeepFaceLive 会利用深度学习算法 来分析面部表情和动作，并将其合成到目标脸部上，从而实现高度逼真的效果除了在影视、游戏、虚拟现实等领域应用外，DeepFaceLive 还可以用于医学领域，比如用于仿真手术和医学教育等方面。此外DeepFaceLive 还可以用于人脸识别技术 的研究和开发，从而提高人脸识别技术的准确性和鲁棒性。虽然DeepFaceLive可以用于无害的娱乐，但也引发了人们对其潜在滥用的担忧，例如传播虚假信息或制作虚假色情作品。重要的是要意识到与深度伪造技术相关的潜在风险，并负责任地使用它。DeepFaceLive Github项目地址：https://github.com/iperov/DeepFaceLiveDeepFaceLive中文交流论坛：https://dfldata.cc/DeepFaceLive下载地址：https://mega.nz/folder/m10iELBK#Y0H6BflF9C4k_clYofC7yADeepFaceLive 系统要求：任何支持 DirectX12 的显卡（推荐 RTX 2070+ / Radeon RX 5700 XT+ ）现代的支持 AVX 指令的 CPU4GB RAM，32GB+ 交换文件Windows 10

EmojiGen简介 EmojiGen是一个开源的表情符号生成器。它由 Replicate 上的 fofr/sdxl-emoji 提供支持。可以根据用户任意的文字描述生成新的表情符号，不同用户可以获得完全定制的个性表情符号，用户只需要在输入框中输入一个词或短语，EmojiGen就会立即生成相关的表情符号。EmojiGen，应该是世界上最大的表情符号库（约 25 万表情）,EmojiGen有大量默认的表情符号，分类为“最新”和“特色”两部分。EmojiGen还有个开源项目，为其他开发者提供了参考，并进行二次开发打造出更多优秀的ai应用。可以利用文本提示生成表情。接受用户的提示，生成一个表情。然后，使用Replicate去除背景。用户可以点击下载并添加到Slack。EmojiGen功能：使用AI技术根据文字生成相关的表情符号。提供大量默认表情符号库（约 25 万表情）。用户可以输入任意文字获得自定义表情符号。生成的图片可以下载保存和在聊天软件中使用。

LivePortrait简介 LivePortrait，利用AI技术将静态照片转换为视频，展现逼真的面部表情和动作。LivePortrait开源项目来自中国快手科技和复旦大学，使用经过特殊训练的模型，可以将视频或网络摄像头中的动画转换为动画，并将动作转换为图像或照片。LivePortrait 利用基于隐式关键点的框架从单个源图像创建逼真的视频动画。这种方法平衡了计算效率和可控性，使其成为各种应用的实用工具。LivePortrait的Comfyui版本：https://github.com/shadowcz007/comfyui-liveportraitLivePortrait功能征：将静态照片转换为动画视频；生成逼真的面部表情和动作；支持不同风格的动画生成；允许用户上传视频并同步面部动作。提供个性化视频沟通工具，提升沟通效果；LivePortrait 如何生成 AI 内容LivePortrait 的动画过程涉及两个阶段的训练流程：第一阶段：基础模型训练在第一阶段，从头开始训练基础模型。此阶段涉及优化外观提取器（F）、运动提取器(M)、变形模块(W)和解码器(G)。这些组件协同工作，分别从源图像和驾驶视频中提取和合成外观和运动。第二阶段：拼接和重定向模块培训在第二阶段，之前训练的组件被冻结，重点转移到优化拼接和重定向模块。这些模块通过对眼睛和嘴唇等特定面部特征提供更精细的控制来提高动画质量，从而实现更详细和更具表现力的动画。LivePortrait 的主要特点效率和速度：LivePortrait 实现了惊人的生成速度，在使用 PyTorch 的 RTX 4090 GPU 上达到每帧 12.8 毫秒。这种效率使其适合实时应用。高品质动画：通过将训练数据扩展至约6900万个高质量帧并采用混合图像视频训练策略，LivePortrait确保了卓越的动画质量和泛化能力。先进的可控性：拼接和重定向模块可以精确控制面部特征，从而实现详细的动画。用户可以控制眼睛和嘴唇运动的程度，增强生成视频的真实感。多功能性：LivePortrait支持写实、油画、雕塑、3D渲染等多种风格。这种多功能性使其适用于从创意内容到专业视频制作的广泛应用。LivePortrait应用群体内容创作者和影响者：LivePortrait 使内容创作者和影响者能够从单个图像生成高质量的动画视频，通过逼真的动画增强其内容。电影制片人和动画师：专业电影制作人和动画师可以使用 LivePortrait 高效创建逼真的角色动画，从而节省制作过程中的时间和资源。营销人员和广告商：营销人员和广告商可以利用 LivePortrait 制作引人入胜的动态视频广告，通过逼真的动画吸引观众的注意力。教育工作者和电子学习开发人员：教育内容可以通过动画肖像变得更具互动性和吸引力，从而使学习材料对学生更具吸引力。游戏开发商：游戏开发者可以使用 LivePortrait 创建逼真的角色动画，通过逼真的表情和动作增强整体游戏体验。LivePortrait的Comfyui版本：Liveportrait comfyui：https://github.com/shadowcz007/comfyui-liveportrait

M2UGen简介 腾讯发布多模态音乐生成模型M2UGen 支持图片、视频生成音乐，M2UGen是一款引领潮流的框架，融合了音乐理解和多模态音乐生成任务，旨在助力用户进行音乐艺术创作。通过其强大的功能，M2UGen提供了全方位的音乐生成和编辑体验。M2UGen演示地址：https://huggingface.co/M2UGenM2UGen项目地址：https://github.com/shansongliu/M2UGenM2UGen论文地址：https://arxiv.org/abs/2311.11255M型2UGen模型是一种音乐理解和生成模型，能够从文本，图像，视频和音频中进行音乐问答和音乐生成，以及音乐编辑。 该模型利用编码器，如用于音乐理解的 MERT、用于图像理解的 ViT 和用于视频理解的 ViViT，以及 MusicGen/AudioLDM2 模型作为音乐生成模型（音乐解码器），以及适配器和 LLaMA 2 模型。音乐的产生和理解我们介绍M2UGen框架，能够同时 包括音乐理解和多模态音乐生成任务， 旨在协助用户进行与音乐相关的艺术创作。面向音乐的数据集我们提出了一种系统化的方法，用于生成大面向多模态音乐的指令数据集，我们使用 MU-LLaMA 模型和 MosaicML 的 MPT-7B-Chat 模型来生成面向音乐的数据集。我们还利用BLIP图像字幕模型和VideoMAE字幕模型来为各自的模态添加字幕。除了可以从文字生成音乐外，它还支持图像、视频和音频生成音乐，并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解，ViT进行图像理解，ViViT进行视频理解，并使用MusicGen/AudioLDM2模型作为音乐生成模型（音乐解码器）。用户可以轻松移除或替换特定乐器，调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。此外，M2UGen还加入了适配器和LLaMA2模型，使得该模型具备多种能力。

TextBase简介 TextBase 是一款简单的框架，用于构建 ai 聊天机器人，它可以帮助开发人员快速搭建和优化聊天机器人。TextBase简单易用，自由可扩展，是聊天机器人开发的首选框架。Textbase的优点在于它简单易用。你只需要实现main.py中的on_message函数，Textbase就会负责其他所有事情。由于Textbase只是Python代码，所以你可以自由使用任何模型、库、向量数据库和API。TextBase 的简洁设计和强大功能，使其成为人工智能领域的新力量。TextBase 的自然语言处理能力出色，能够理解和生成人类语言，从而实现人机交互。此外，TextBase还可以通过机器学习技术不断提升自身的语言理解和应答能力。TextBase 的出现为 AI 聊天机器人的开发带来了新的可能。TextBase功能:简单的Python框架，只需实现on_message函数完全可自定义，可以使用任何模型和技术支持通过pip安装使用可以轻松部署到服务器未来可扩展性强，可集成更多模型

8spAi系统简介 8spai系统集成了全模型AI问答、创作、绘画、文生图、思维导图一站搞定！GPT4对话识图、知识库训练、文档提问总结、DALLE-3绘图、Midjourney绘画动态全功能与思维导图自动生成等功能，为用户提供了智能化的服务和体验。8spAi系统已支持OpenAI GPT全模型+国内AI全模型+绘画池系统！8spAi助手是一款在线AI系统，该系统集成了丰富多样的功能，包括AI全模型智能问答、GPT4对话识图、知识库训练、文档提问总结、DALLE-3绘图、Midjourney绘画动态全功能与思维导图自动生成等。无论是在生活还是工作中，8spAi助手都能全方位满足用户的各种需求。让我们来看看该系统的功能特点：AI全模型智能问答：使用最新的AI技术，对用户提出的问题进行智能回答，提供准确的解答和建议。GPT4对话识图：通过对话交互的方式，能够对图片进行识别和解读，帮助用户理解图片内容。知识库训练：用户可以根据自己需求创建自己的知识库，并进行训练和优化，提供更准确的搜索结果和答案。文档提问总结：将大段文本进行分析和总结，提供关键信息和摘要，帮助用户快速了解文档内容。DALLE-3绘图：使用先进的DALLE-3绘图技术，能够生成高质量的图像作品，满足用户的创作需求。Midjourney绘画动态全功能：提供丰富的绘画工具和特效，让用户能够创作出生动有趣的动画作品。思维导图自动生成：根据用户输入的关键词或概念，自动生成思维导图，帮助用户整理和组织思维。8spAi优点：支持最新GPT-4多模态、OpenAI GPT-4-Turbo-With-Vision-128K模型（后续支持对话识图功能）支持最新OpenAI GPT-3.5-Turbo-1106、GPT-4-1106-Preview模型支持对话插件系统，后续逐步增加插件功能，扩展AI能力支持OpenAI DALL-E3文生图插件，可直接对话文生图，搭配GPT4-Turbo使用。通过这些功能，8spAi助手能够为用户提供智能化的服务和解决方案，提升工作效率，满足各种需求。无论是在学习、工作还是创作中，用户都能够依靠8spAi助手获得有力的支持和帮助。

UniVG简介 百度UniVG是一种统一模式ai视频生成系统，能够以文本和图像的任意组合作为输入条件进行视频生成。UniVG系统由百度团队开发，解决现有视频生成模型在处理单一任务或单一目标时的局限性。UniVG开源地址：https://univg-baidu.github.io/UniVG主要功能和特点：高自由度视频生成：使用多条件交叉注意力机制，根据输入的图像或文本生成与语义一致的视频。低自由度视频生成：引入偏置高斯噪声替代完全随机的高斯噪声，以更好地保留输入条件的内容。多任务处理：系统内的视频生成模型被重新划分为高自由度生成和低自由度生成两类，分别适用于不同的生成任务。扩散模型：基于扩散的视频生成方法，在学术和工业界取得了显著成功。UniVG应用场景和优势：灵活输入：用户可以灵活地输入图像和文本条件，单独或组合使用，满足实际应用场景的需求。高质量输出：在MSR-VTT数据库上实现了最低的FVD（Fréchet Video Distance），在人类评估中超过了当前开源方法，并与现有闭源方法Gen2相当。多样化任务：支持文本到视频、图像到视频以及文本和图像结合到视频等多种视频生成任务。UniVG作为一个强大的工具，它通过整合文本和图像输入，推动了视频生成技术向更灵活、更高质量的方向发展，为内容创作、广告、娱乐等多个领域提供更大的推广思路。