Ai开源项目

ComfyUI Portrait Master简体中文版简介 ComfyUI Portrait Master 肖像大师简体中文版，超详细参数设置!再也不用为不会写人像提示词发愁啦!重新优化为ison列表更方便自定义和扩展!已包含标准工作流和turbo工作流，大家快去玩!ComfyUI项目地址：https://github.com/ZHO-ZHO-ZHO/comfyui-portrait-master-zh-cnComfyUI系统教程：https://space.bilibili.com/484366804参数说明 | Parameters镜头类型：头像、肩部以上肖像、半身像、全身像、脸部肖像性别：女性、男性国籍_1：193个国家可选国籍_2：193个国家可选眼睛颜色：琥珀色、蓝色等8种面部表情：开心、伤心、生气、惊讶、害怕等24种脸型：椭圆形、圆形、梨形等12种发型：法式波波头、卷发波波头、不对称剪裁等20种头发颜色：金色、栗色、灰白混合色等9种灯光类型：柔和环境光、日落余晖、摄影棚灯光等32种灯光方向：上方、左侧、右下方等10种起始提示词：写在开头的提示词补充提示词：写在中间用于补充信息的提示词结束提示词：写在末尾的提示词提高照片真实感：可强化真实感负面提示词：新增负面提示词输出提示词合成顺序 | Prompt composition order起始提示词镜头类型 + 镜头权重国籍 + 性别 + 年龄眼睛颜色面部表情 + 面部表情权重脸型发型头发颜色头发蓬松度补充提示词皮肤细节皮肤毛孔皮肤瑕疵酒窝雀斑痣眼睛细节虹膜细节圆形虹膜圆形瞳孔面部对称性灯光类型 + 灯光方向结束提示词提高照片真实感自定义 | Customizations可将需要自定义增加的内容写到lists文件夹中对应的json文件里（如发型、表情等）使用建议 | Practical advice皮肤和眼睛细节等参数过高时可能会覆盖所选镜头的设置。在这种情况下，建议减小皮肤和眼睛的参数值，或者插入否定提示(closeup, close up, close-up:1.5)，并根据需要修改权重。安装 | Installcd custom_nodesgit clone https://github.com/ZHO-ZHO-ZHO/comfyui-portrait-master-zh-cn.git重启 ComfyUI

AnyDoor简介 AnyDoor，由香港大学、阿里巴巴和蚂蚁集团联合研发AnyDoor，可以将一张照片上的任何物品传送到另一张图片的世界中。AnyDoor项目地址：https://damo-vilab.github.io/AnyDoor-Page/AnyDoor在线演示地址：https://huggingface.co/spaces/xichenhku/AnyDoor-onlineAnyDoor功能：对象移动：AnyDoor 可以应用于对象移动等花哨的任务。对象交换：AnyDoor 也可以扩展为进行对象交换。虚拟试妆：AnyDoor还可以作为虚拟试妆的简单但强大的基准。它可以保留不同衣服的颜色、图案和纹理，而无需复杂的人工解析。多主体合成:：由于 AnyDoor 具有高度可控性，可将对象放置在给定场景的特定位置，因此很容易扩展到多主题构图。AnyDoor使用场景：在虚拟试穿应用中，用户可以将选定的衣物快速定制到自己的照片中。在物体移动应用中，用户可以将目标物体从一张照片移动到另一张照片中的指定位置。在设计领域中，用户可以将自己设计的家具或装饰品定制到不同的室内场景中，以获得更直观的效果预览。AnyDoor是一种基于扩散的图像生成器，能够以和谐的方式将目标物体传送到用户指定位置的新场景。 我们的模型不是为每个对象调整参数，而是只训练一次，并在推理阶段毫不费力地泛化到不同的对象-场景组合。 如此具有挑战性的零样本设置需要对特定物体进行充分的表征。为此，我们用细节特征来补充常用的身份特征，这些特征经过精心设计，以保持纹理细节，同时允许多种局部变化（例如，照明、方向、姿势等），支持物体与不同环境的有利融合。 我们进一步建议从视频数据集中借用知识，在那里我们可以观察到单个物体的各种形式（即沿时间轴），从而实现更强的模型泛化性和鲁棒性。大量的实验证明了我们的方法优于现有的替代方案，以及它在实际应用中的巨大潜力，如虚拟试妆和物体移动。

DemoFusion简介 DemoFusion，一个开源的 ai 图像重绘增强工具，一个超更高分辨率的图像生成增强工具，通过使用最新的 BSR Gan技术，可以把生成图像的分辨率提高4倍、16倍，甚至更高，并修复和增强图像的细节。Demofusion项目地址：https://github.com/PRIS-CV/DemoFusionDemofusion体验地址：https://huggingface.co/spaces/radames/Enhance-This-DemoFusion-SDXLDemoFusion由萨里大学的人工智能研究所开发，允许用户使用免费提供的开源人工智能模型（如Stable Diffusion）生成基本图像，然后对其进行增强，以更高的分辨率添加更多细节和功能。任何中端游戏 PC 或 Mac M1 都提供必要的计算能力。为了使用普通的开源 AI 工具获得高分辨率结果，该团队首先生成了低分辨率图像，然后对其进行了增强。这不是一种放大方法，而是通过在图像上以补丁形式处理，将细节和分辨率提高至少 16 倍，从 AI 模型中哄骗出更多细节。DemoFusion功能特征：我们的DemoFusion框架无缝扩展了开源 GenAI 模型，采用渐进式升频、跳过残差和扩展采样机制来实现更高分辨率的图像生成。1、高分辨率图像生成:D emoFusion 专注于利用潜在扩散模型（LDMs）生成更高分辨率的图像，突破了传统图像生成技术的限制。2、渐进式上采样：该框架通过逐步提高图像的分辨率来生成更清晰、更详细的图像。这种渐进式方法允许更精细地控制图像质量。它会逐步提高图片的清晰度，这样你可以先看到一个大概的效果，然后再慢慢变得更清晰。3、跳过残差和扩张采样机制：DemoFusion 使用这些先进的技术来改善图像的局部细节和全局一致性，从而生成更自然和逼真的图像。4、与 ControlNet 的集成：可以无缝集成到基于 LDM 的多种应用中，例如与 ControlNet 结合，实现可控的高分辨率图像生成。5、放大真实图像：还能够放大真实图像，通过编码的真实图像表示来替换初始阶段的输出，实现图像的高分辨率放大。6、无需大量内存和调整：DemoFusion 设计得既高效又易于使用，不需要大量的内存资源或复杂的调整过程。DemoFusion 是否会获得足够的牵引力来与 OpenAI 的 DALL-E 等巨头竞争还有待观察，但它的创建是向公众和更广泛的科技界开放 AI 图像生成潜力的重要一步，它不需要额外的训练，可以直接应用于现有模型，提供分辨率的显著提升。

HandRefiner简介 解决ai图像生成中手部畸形的问题 目前的图像生成模型，再生成图像方面已经非常出色，但在生成人类手部的图像时却常常出现问题，比如手指数量不对或者手形怪异。HandRefiner项目地址：https://github.com/wenquanlu/HandRefiner/HandRefiner论文地址：https://huggingface.co/hr16/ControlNet-HandRefiner-prunedHandRefiner模型下载：https://huggingface.co/hr16/ControlNet-HandRefiner-prunedHandRefiner提出一种方法，在不改变图片其他部分的情况下，修正那些形状不正常的手部图像。 它采用条件修补方法来纠正畸形的手部，可以识别出手部的正确形状和手势，并将这些正确的信息重新应用到原始的错误手部图像上。HandRefiner主要特点：- 精确性：HandRefiner能够精确地识别和修正生成图像中的畸形手部，提供了一种有效的后处理解决方案。- 保持一致性：在修正手部的同时，它保持图像其他部分的一致性，不会影响图像的整体质量。- 利用合成数据：研究中发现了ControlNet中的一个相变现象，这使得HandRefiner能够有效地利用合成数据进行训练，而不会受到真实手和合成手之间域差异的影响。这意味着HandRefiner还能学习很多不同的手的样子，这样无论手有多怪，它都能找到合适的方式来修正。- 适用性：尽管HandRefiner主要针对手部图像，但其基本原理和技术可以适用于其他需要精细修正的图像生成任务。比如这种方法也可以用来修正其他部分，比如脚或者耳朵。HandRefiner工作原理：1、手部识别与重建： 识别问题：首先，HandRefiner识别出生成图像中形状不正常的手部。重建手部：使用手部网格重建模型，HandRefiner根据人手应该有的样子重新画出一个正确的手。它能够重建出正确的手部形状和手势。这得益于模型基于正常手部的训练数据，即使是在畸形的手部图像中也能生成合理的重建结果。2、条件修补： 修补过程：HandRefiner采用条件修补方法来处理识别出的问题手部。它生成一个深度图，这个深度图包含了关于手部形状和位置的重要信息。集成与修正：然后，这个深度图被用作指导，通过ControlNet集成到扩散模型中。HandRefiner会把这个重新画好的手放回原来的画作中，替换掉那个画错的手，但其他部分不动，保持原画的风格和内容。

M2UGen简介 腾讯发布多模态音乐生成模型M2UGen 支持图片、视频生成音乐，M2UGen是一款引领潮流的框架，融合了音乐理解和多模态音乐生成任务，旨在助力用户进行音乐艺术创作。通过其强大的功能，M2UGen提供了全方位的音乐生成和编辑体验。M2UGen演示地址：https://huggingface.co/M2UGenM2UGen项目地址：https://github.com/shansongliu/M2UGenM2UGen论文地址：https://arxiv.org/abs/2311.11255M型2UGen模型是一种音乐理解和生成模型，能够从文本，图像，视频和音频中进行音乐问答和音乐生成，以及音乐编辑。 该模型利用编码器，如用于音乐理解的 MERT、用于图像理解的 ViT 和用于视频理解的 ViViT，以及 MusicGen/AudioLDM2 模型作为音乐生成模型（音乐解码器），以及适配器和 LLaMA 2 模型。音乐的产生和理解我们介绍M2UGen框架，能够同时 包括音乐理解和多模态音乐生成任务， 旨在协助用户进行与音乐相关的艺术创作。面向音乐的数据集我们提出了一种系统化的方法，用于生成大面向多模态音乐的指令数据集，我们使用 MU-LLaMA 模型和 MosaicML 的 MPT-7B-Chat 模型来生成面向音乐的数据集。我们还利用BLIP图像字幕模型和VideoMAE字幕模型来为各自的模态添加字幕。除了可以从文字生成音乐外，它还支持图像、视频和音频生成音乐，并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解，ViT进行图像理解，ViViT进行视频理解，并使用MusicGen/AudioLDM2模型作为音乐生成模型（音乐解码器）。用户可以轻松移除或替换特定乐器，调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。此外，M2UGen还加入了适配器和LLaMA2模型，使得该模型具备多种能力。

DreamTalk简介 DreamTalk，一个由清华大学、阿里巴巴和华中科大共同开发的一个基于扩散模型可以让人物照片说话，支持包括歌曲、多种语言的语音、嘈杂的音频在内的各种声音匹配让人物头像说话的框架。DreamTalk演示地址：https://dreamtalk-project.github.ioDreamTalk项目地址：https://dreamtalk-project.github.io/DreamTalk论文地址：https://arxiv.org/abs/2312.09767DreamTalk使用场景：使用 DreamTalk 生成具有多样化语言和表情风格的说话人脸应用 DreamTalk 在影视制作中实现逼真的虚拟角色表情动作使用 DreamTalk 在人机交互场景中实现自然的面部表情和嘴唇运动DreamTalk功能：具体来说，DreamTalk 由三个关键组件组成：降噪网络、风格感知唇部专家和风格预测器。基于扩散的降噪网络能够在不同的表情中一致地合成高质量的音频驱动的面部运动。为了提高嘴唇动作的表现力和准确性，我们引入了一位具有风格意识的嘴唇专家，可以在注意说话风格的同时指导嘴唇同步。为了消除对表情参考视频或文本的需求，使用额外的基于扩散的样式预测器直接从音频中预测目标表情。1、去噪网络：这是核心组件之一，负责生成音频驱动的面部动作。去噪网络使用扩散模型来逐步去除噪声，从而生成清晰、高质量的面部表情。这个过程涉及从带有噪声的数据中逐步恢复出清晰的面部动作。2、风格感知的嘴唇专家：这个组件专注于提高嘴唇动作的表现力和准确性。它通过分析说话风格来引导嘴唇同步，确保生成的动画既自然又符合说话者的风格。3、风格预测器：为了消除对表情参考视频或文本的依赖，DreamTalk引入了一个基于扩散的风格预测器。这个预测器可以直接从音频预测目标表情，无需额外的表情参考视频或文本。4、音频和视频处理：处理音频输入，提取关键的音频特征，并将这些特征用于驱动面部动画。同时，它还能处理视频输入，以提取和模仿特定的表情和风格。5、数据和模型训练：为了实现这些功能，DreamTalk需要大量的数据来训练其模型，包括不同表情和说话风格的面部动画数据。通过这些数据，模型学习如何准确地生成与输入音频匹配的面部动作。DreamTalk可以利用强大的扩散模型有效地生成富有表现力的面孔，并减少对昂贵的风格参考的依赖。实验结果表明，DreamTalk能够生成具有不同说话风格的逼真的说话面孔，并实现准确的嘴唇动作，超越了现有的最先进的同类产品。DreamTalk不仅能够处理和生成它在训练过程中见过的面部类型和表情，还能有效处理和生成它之前未见过的、来自不同数据集的面部类型和表情。包括不同种族、年龄、性别的人物肖像，以及各种不同的表情和情绪。

VideoDrafter简介 VideoDrafter，一个高质量视频生成的开放式扩散模型，相比之前的生成视频模型，VideoDrafter最大的特点是能在主体不变的基础上，一次性生成多个场景的视频。项目地址：https://videodrafter.github.io论文地址：https://arxiv.org/abs/2401.01256VideoCrafter由腾讯ai实验室和香港科技大学主导，同时也有来自中国科学院、香港中文大学和香港城市大学的研究人员参与。是一款全新的视频生成模型，可以进行创建和编辑套件，采用了扩散模型，能够从文本描述生成照片和视频。即使没有视频编辑或动画经验的人也可以轻松制作专业品质的视频。VideoDrafter目前包括Text2Video和Image2Video模型。Text2Video模型用于生成通用的文本到视频的转换，Image2Video模型用于生成通用的图像到视频的转换。商用的Text2Video模型可以生成高质量的视频，但是不开源。VideoDrafter功能：VideoCrafter 是一个创新的开源视频创作和编辑套件。它使用扩散模型和机器学习从文本描述中生成逼真的视频。该工具用户友好，适合初学者，提供专业品质的结果。VideoCrafter 的操作涉及将文本转换为视觉序列并将它们拼接在一起。它的多功能性允许创建各种视频类型，从教育内容到宣传材料。分步指南使 VideoCrafter 入门变得容易。该工具是免费使用的，所有创作者都可以使用。VideoDrafter使用步骤：1、创建视频的书面大纲。2、根据自己的喜好设置视频相关参数，包括分辨率和帧速率。3、使用“生成”按钮。4、输入一些文字，VideoCrafter将为您生成视频。5、生成的视频可以在集成编辑器的帮助下进行修改。6、在进行调整后，可以将视频保存为多种格式，包括MP4、MOV和AVI。VideoCrafter的用户友好性使其即使对于从未使用过视频或动画软件的人也可以轻松使用。与商业制作的电影媲美，VideoCrafter的输出质量非常高。无论您想制作解释性视频还是短片，VideoCrafter都能胜任。更重要的是，VideoCrafter是一个免费的开源项目。

IP-Adapter-FaceID简介 IP-Adapter-FaceID模型利用面部识别模型的面部ID嵌入，可以更准确地捕捉和再现特定人物的面部特征。结合文本描述生成可以生成高度个性化且与原始面部特征一致的图像。意思就是你只要上传几张自己的照片，就能生成你在各种场景下的照片，克隆你的脸。模型地址：https://huggingface.co/h94/IP-Adapter-FaceID在线体验：https://huggingface.co/spaces/multimodalart/Ip-Adapter-FaceIDIP-Adapter-FaceID的主要功能：面部ID嵌入：支持导入面部ID嵌入，生成特定人物图像。图像生成：结合文字描述，可以生成特定人物的不同风格图像。图像控制：用户可以控制生成图像的样式和质量。ID一致性：使用LoRA技术来提高生成图像的ID一致性。IP-Adapter-FaceID用法：1、上传您的脸部照片2、写一个提示，例如：一张戴棒球帽的女性的照片。3、选择生成类型，在几秒钟内生成新图像！IP-Adapter-FaceID局限性：该模型无法实现完美的照片级真实感和 ID 一致性。由于训练数据、基础模型和人脸识别模型的限制，模型的泛化受到限制。

Audio2Photoreal简介 Meta ai最近发布了一项炸裂的技术：Audio2PhotoReal，从音频生成全身逼真的虚拟人物形象。它可以从多人对话中语音中生成与对话相对应的逼真面部表情、完整身体和手势动作。这些生成的虚拟人物不仅在视觉上很逼真，而且能够准确地反映出对话中的手势和表情细节，如指点、手腕抖动、耸肩、微笑、嘲笑等。Audio2PhotoReal工作原理：Audio2PhotoReal结合了向量量化的样本多样性和通过扩散获得的高频细节的优势，以生成更具动态性和表现力的动作。1、数据集捕获：首先捕获了一组丰富的双人对话数据集，这些数据集允许进行逼真的重建。2、运动模型构建：项目构建了一个包括面部运动模型、引导姿势预测器和身体运动模型的复合运动模型。3、面部运动生成：使用预训练的唇部回归器处理音频，提取面部运动相关的特征。利用条件扩散模型根据这些特征生成面部运动。4、身体运动生成：以音频为输入，自回归地输出每秒1帧的向量量化（VQ）引导姿势。将音频和引导姿势一起输入到扩散模型中，以30帧/秒的速度生成高频身体运动。5、虚拟人物渲染：将生成的面部和身体运动传入训练好的虚拟人物渲染器，生成逼真的虚拟人物。6、结果展示：最终展示的是根据音频生成的全身逼真虚拟人物，这些虚拟人物能够表现出对话中的细微表情和手势动作。Audio2Photoreal项目地址：https://github.com/facebookresearch/audio2photoreal/Audio2Photoreal论文地址：https://arxiv.org/pdf/2401.01885.pdf

Zero123简介 今天，我们发布了稳定版 Zero123，这是我们内部训练的模型，用于生成视图条件图像。与之前最先进的 Zero123-XL 相比，稳定的 Zero123 产生了显着改善的结果。这是通过 3 项关键创新实现的：1、改进的训练数据集，从 Objaverse 中大量过滤，只保留高质量的 3D 对象，我们渲染的对象比以前的方法更加真实。2、在训练和推理过程中，我们为模型提供了估计的摄像机角度。这种海拔调节使其能够做出更明智、更高质量的预测。3、预先计算的数据集（预先计算的潜在变量）和改进的数据加载器支持更高的批量大小，与第一个创新相结合，与 Zero123-XL 相比，训练效率提高了 40 倍。Zero123特征：稳定的 Zero123 可以生成物体的新颖视图，展示从各个角度对物体外观的 3D 理解，由于训练数据集和高程条件的改进，其质量比 Zero1-to-3 或 Zero123-XL 显着提高。该模型基于稳定扩散 1.5，消耗与 SD1.5 相同数量的 VRAM 来生成 1 个新视图。使用 Stable Zero123 生成 3D 对象需要更多时间和内存（建议使用 24GB VRAM）。为了实现 3D 对象生成方面的开放研究，我们改进了 Threestudio 开源代码的开源代码，以支持 Zero123 和 Stable Zero123。 Stable 3D 流程的简化版本目前处于私人预览阶段。从技术角度来说，这使用分数蒸馏采样 (SDS) 来使用稳定的 Zero123 模型来优化 NeRF，稍后我们可以从中创建纹理 3D 网格。该过程可以适用于文本到 3D 生成，首先使用 SDXL 生成单个图像，然后使用 Stable Zero123 生成 3D 对象。Zero123项目：https://github.com/cvlab-columbia/zero123Zero123试用：https://huggingface.co/spaces/cvlab/zero123-liveZero123论文：https://arxiv.org/abs/2303.11328该模型现已发布在 Hugging Face 上，研究人员和非商业用户可以下载并进行实验。

Make-A-Character简介 Make-A-Character，通过一句话描述人的脸型、五官、发型特征，即可高效率、规模化地生成具备全栈式美术能力的超写实3D数字人。生成结果包含人头人体，配饰服装，并支持表情动画资产进行驱动，让3D数字人栩栩如生地动态化展示。你也可以自定义面部特征，例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子，以及添加皱纹和雀斑等。Make-A-Character支持英文和中文提示。Make-A-Character项目地址：https://human3daigc.github.io/MACH/Make-A-Character演示地址：https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/summaryMake-A-Character主要特征：1、高度逼真：角色基于真实人类扫描数据集生成，发型为实际发丝而非网格，使用Unreal Engine的物理基础渲染（PBR）技术渲染，以实现高质量实时渲染效果。2、完整模型：每个角色都是完整模型，包括眼睛、舌头、牙齿、全身和服装，无需额外建模即可立即使用。3、可动画化：角色配备复杂的骨骼装置，支持标准动画，增强其逼真外观和多样化应用。4、可控制性：用户可以详细自定义面部特征，例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子，以及添加皱纹和雀斑等。5、行业兼容：生成的3D角色可以无缝集成到现有的计算机图形（CG）工作流程中，特别是在游戏和电影行业中常用的工作流程。Make-A-Character原理：Make-A-Character（MACH）结合了大语言模型、视觉模型和3D生成技术。该框架利用大型语言模型（LLM）来提取各种面部属性（例如，脸型、 眼睛形状、嘴巴形状、发型和颜色、眼镜类型）。然后，这些语义属性被映射到 相应的视觉线索，进而指导使用Stable生成参考人像图像 与 ControlNet 一起扩散。通过一系列的2D人脸解析和3D生成模块，网格 并生成目标面部的纹理，并将其与其他匹配的配件一起组装。 参数化表示可以轻松制作生成的 3D 头像的动画。Make-A-Character使用：1、输入人脸描述2、点击生成并等待2分钟3、查看生成效果通过这些步骤，Make-A-Character可以快速从简单的文本描述中生成逼真的、完整的、可动画化的3D角色，适用于各种娱乐和专业场景。

ChatGPT-Plus简介 ChatGPT-PLUS 基于 ai 大语言模型 API 实现的 AI 助手全套开源解决方案，自带运营管理后台，开箱即用。集成了 ChatGPT, Azure, ChatGLM,讯飞星火，文心一言等多个平台的大语言模型。支持 MJ AI 绘画，Stable Diffusion AI 绘画，微博热搜等插件工具。采用 Go + Vue3 + element-plus 实现。ChatGPT-PLUS主要功能：完整的开源系统，前端应用和后台管理系统皆可开箱即用。基于 Websocket 实现，完美的打字机体验。内置了各种预训练好的角色应用，比如小红书写手，英语翻译大师，苏格拉底，孔子，乔布斯，周报助手等。轻松满足你的各种聊天和应用需求。支持 OPenAI，Azure，文心一言，讯飞星火，清华 ChatGLM等多个大语言模型。支持 Midjourney / Stable Diffusion AI 绘画集成，开箱即用。支持使用个人微信二维码作为充值收费的支付渠道，无需企业支付通道。已集成支付宝支付功能，微信支付，支持多种会员套餐和点卡购买功能。集成插件 API 功能，可结合大语言模型的 function 功能开发各种强大的插件，已内置实现了微博热搜，今日头条，今日早报和 AI 绘画函数插件。ChatGPT-Plus功能截图：ChatGPT-PLUS全套完整的开源系统，前端应用和后台管理系统皆可开箱即用，基于 MIT 开源协议，集成支付系统，可以直接商用变现。

Jan.ai简介 Jan.ai，桌面客户端是 ChatGPT 的替代品，可在您自己的计算机上运行，并带有本地 API 服务器。Jan 附带了本地优先、AI 原生和跨平台扩展框架。从本质上讲，Jan 是一个跨平台、本地优先和 AI 原生框架，可用于构建任何内容。开发人员可以扩展和自定义从功能到 UI 再到品牌的所有内容。事实上，Jan 目前的主要功能实际上是作为扩展构建在这个框架之上的。Jan 将数据存储在本地文件系统中。您的数据永远不会离开您的计算机。您可以自由删除、导出、迁移数据，甚至可以迁移到其他平台。Jan.ai特征：兼容开源模型（通过 llama.cpp 的 GGUF、通过 TensorRT-LLM 的 TensorRT 和远程 API)兼容大多数操作系统：Windows、Mac、Linux，通过 llama.cpp 进行 GPU 加速以开放文件格式存储数据本地 API 服务器模式可通过扩展进行定制还有更多在路线图中。加入我们的 Discord 并告诉我们您想看什么！为什么选择Jan？我们相信需要一个开源的人工智能生态系统。我们专注于构建基础设施、工具和自定义模型，使开源 AI 能够在与专有产品公平的竞争环境中竞争。Jan 支持通用架构：Nvidia GPU（快速）Apple M 系列（快速）苹果英特尔Linux Debian的视窗 x64

QAnything AI简介 QAnything ai是一个本地知识库问答系统，旨在支持多种文件格式和数据库，允许离线安装和使用。您可以简单地删除任何格式的任何本地存储文件，并获得准确、快速和可靠的答案。QAnythingQAnything AI目前支持的格式包括：PDF、Word（doc/docx）、ppt、Markdown、Eml、TXT、图像（jpg、png等）、网页链接和更多即将推出的格式......QAnything AI功能：1、多种格式文档，一键上传处理支持一键上传多种格式文档，也支持网页内容获取。有效节约文档处理时间。无需对接QA、格式转换和人工整理文档全面支持PDF、Word(doc/docx)、PPT、TXT、图片、邮件（eml）格式文档和网页链接。具备答案溯源能力，用户可自主按照答案来源获取更多所需信息。2、智能寻找答案，团队协作新体验利用大模型能力快速理解提问者意图，从知识库中提取有效信息，辅助您更快速、更高效的阅读并理解文档，提高工作效率和准确性。智能文档问答可轻松实现知识归纳、构建、问答、推荐等，帮您精准获取有效信息支持聊天记录导入和导出，便于跨设备间的交流协作支持简体中文、繁体中文、英语、韩语、俄语等语言，便于开展国际团队协作3、创建专属知识库，让知识成为价值可根据不同内容领域、访问权限等创建多知识库，无需人工整理，即可拥有专属Ai助手，不断获取新知识。可利用不同知识库的上传文档差异实现访问权限控制，避免无关信息外泄。快速智能分析各类文档，提取文档摘要，帮助您快速实现全文通阅深入挖掘文档结构和细节，实现高效、准确信息识别和提取，帮助您更轻松地获取专业知识QAnything AI主要特点：数据安全，支持全程拔网线安装使用。跨语言QA支持，无论文档使用何种语言，中英文QA自由切换。支持海量数据QA，两阶段检索排名，解决大规模数据检索的降级问题;数据越多，性能越好。高性能生产级系统，可直接部署用于企业应用。人性化，无需繁琐配置，一键安装部署，即开即用。多知识库 QA支持选择多个知识库进行问答为什么要使用QAnything AI？数据安全:模型数据全在本地，可断网使用；确保对数据的控制，以及对隐私的保护。跨语种：可跨语种检索问答，尤其在中英跨语种领域适应海量数据：QAnything更适应于海量数据，随着数据量的增加，准确率越高。高性能：面向生产级别的性能优化，高并发，低延迟，低资源下即可运行使用。一键安装：不需要复杂配置，安装后即可快速使用，减少二次开发量。网易有道致力于提供全球领先的智能学习产品和服务。主要产品包括在线翻译工具、在线词典、语言学习平台和在线教育服务等。网易有道以其强大的技术实力和专业的语言学习经验，成为全球数百万用户的首选学习平台之一。

Personalized Restoration简介 Personalized Restoration，一个面部图像精准恢复和个性编辑技术，Personalized Restoration不仅能复原受损图像细节，同时能精准捕捉和重现个人独特的面部特征，确保恢复的图像既清晰自然，又忠实于原始面貌。同时它还支持换脸。Personalized Restoration通过先进的双轴调整方法——结合文本引导和模型调整——确保恢复的图像既忠实于原始面貌，又保持个人的独特身份。此外，Personalized Restoration还支持文本引导的编辑，允许用户通过简单的文本提示来改变恢复图像的特定细节。Personalized Restoration功能特色：利用参考图像个性化扩散先验在去噪框架中保留面部身份信息保留退化图像的视觉属性Personalized Restoration使用场景：针对某位明星的几张参考照片,个性化扩散模型进行人像图像复原使用不同个性化模型实现人脸互换效果结合文字提示实现个性化模型的文本导向编辑Personalized Restoration主要功能和作用：假设你有一张模糊的老照片，是你的外祖父在年轻时的样子。这张照片非常重要，但因为年代久远，这张照片非常模糊，颜色褪色，面部细节几乎无法辨认。你想恢复这张照片，使其看起来更清晰、更接近原始状态。传统的图像恢复技术可能会使照片变得更清晰，但可能会丢失你祖父独特的面部特征，如特定的微笑或眼睛的形状。这是因为传统技术通常依赖于一般性的图像模型，这些模型并不专门针对你祖父的独特外观。Personalized Restoration调整过程：1、文本引导的调整阶段：假设你还有一些外祖父其他时期的清晰照片。这些照片和一些描述性文本（如“年轻时的外祖父，戴着眼镜，有着特别的笑容”）被用来微调生成模型G。这个微调过程让模型能够了解和学习你外祖父的独特面部特征，比如他的眼睛形状、微笑的方式等。2、模型基础的调整阶段：接下来，引导网络E在固定了微调过的生成模型G的基础上进行调整。这一步骤的目的是让引导网络在恢复模糊照片时，能够同时考虑到个性化特征（比如外祖父的笑容）和图像的其他方面（如颜色和清晰度）。最终结果是：恢复后的照片不仅变得清晰，颜色和细节也都得到了改善。更重要的是，这张照片忠实地反映了你外祖父的独特面部特征，让人一看就能认出是他。通过这种双轴调整方法，这个系统能够在保留个人独特特征的同时，恢复出自然且高质量的图像，使得老照片得以新生，且更具个人记忆的价值。同时它还支持面部交换功能，可以将个人特征应用于其他图像，打造出全新的视觉体验。例如，你可以将某人的面部特征转移到另一个人的照片上。此外，它还支持文本引导的编辑，允许用户使用提示修饰符（如“微笑”和“蓝眼睛”）可以启用 与修复一起进行相关编辑。

Chatbot UI简介 Chatbot UI，一个开源的聊天机器人Web UI框架，提供 Openai 的 ChatGPT UI 的改进版本。该工具提供了一个简单的用户界面，具有新对话、新聊天、导入数据、导出数据、设置和插件键等功能。Chatbot UI支持接入OpenAI、Azure OpenAI、Anthropic、Google、Mistral和Perplexity等模型，同时支持Ollama上的本地模型接入。Chatbot UI功能特征：聊天功能，包括图像和文件功能。使用OpenAI嵌入或本地嵌入。详细的聊天设置。用于快速选择的聊天设置预设创建。使用/命令的提示。使用@命令的文件。使用@命令的文件集合（集合）。助手（比如角色/GPTs，工具正在开发中）。所有功能的导入/导出。分享功能。认证系统。带有个人档案背景的个人资料。带有自定义指令的工作区。本地运行或部署托管。集成的图像/文件存储。Chatbot UI旨在与 OpenAI 的 API 一起使用，允许用户输入他们的 API 密钥并快速轻松地连接。需要注意的是，Chatbot UI 不隶属于 OpenAI，只是其 ChatGPT UI 的克隆。Chatbot UI仅用作与 OpenAI 的 API 进行通信的一种方式，如果不使用 API 密钥，它将无法运行。还建议用户在侧边栏左下角设置他们的 OpenAI API 密钥，以便与该工具无缝集成，并可以通过 OpenAI 的网站获取密钥。此外，Chatbot UI还提供“新提示”功能，允许用户输入新数据。总体而言，对于那些正在寻找通过有效且用户友好的界面使用 OpenAI API 的方法的人来说，聊天机器人 UI 是一个有用的工具。

PhotoMaker简介 PhotoMaker，利用多张照片作为身份ID，获取人物特征，然后根据描述生成符合描述的人物照片创造出一个新的、个性化的人物图像。PhotoMaker也能把几个不同人的照片特征混合在一起，创造出一个全新的人物形象。还能改变照片人物的性别、年龄和生成多种风格的其他照片。快速逼真，效果自然。PhotoMaker主要功能：根据文字描述制作照片：你可以告诉它你想要的人物样子，它就能生成符合描述的人物照片。身份混合：如果用户提供不同的图像 ID作为输入，我们的PhotoMaker可以很好地整合这些特性 的不同 ID 形成一个新的 ID。改变年龄或性别：比如，你可以把一张男士的照片转换成女士的样子，或者让照片中的人看起来年轻或年老。风格化：它还能给照片加上不同的艺术效果，比如油画风格或卡通风格。而保留 ID 属性。将艺术品/旧照片中的人物带入现实：由 拍摄一个人的艺术绘画、雕塑或旧照片 作为输入，我们的PhotoMaker可以将一个人从上个世纪甚至远古时代带到本世纪 为他们“拍照”。我们在每张图片下方显示条件反射提示。PhotoMaker主要特点：结合多张照片的特征：PhotoMaker可以取多张照片，这些照片可以是同一个人的，也可以是不同人的。它分析这些照片中的特征，然后将它们结合起来，创造出一个新的、个性化的人物图像。灵活的文本控制：与其他方法相比，PhotoMaker提供了更灵活的文本控制能力。用户可以通过文本提示来指导图像的生成，这使得创造出的图像不仅逼真，而且能更好地符合用户的具体要求。高效率和快速生成：相比于需要大量微调的方法（如DreamBooth），PhotoMaker在保持身份信息的同时，提供了更快的生成速度。它能在短时间内（例如10秒）生成定制的人类照片，这对于需要快速生成结果的应用场景非常有利。高身份保真度：PhotoMaker在生成图像时能更好地保持人物的身份特征。这对于需要精确保留人物特征的场景（如个性化肖像或身份识别）尤其重要。PhotoMaker如何工作？PhotoMaker首先分析照片，识别出每张照片中人物的特征，比如面部特征、发型、服装风格等。然后，它将这些特征结合起来，创建一个新的图像。这个图像基本上是你的脸，但可能有着电影明星的发型和表情，同时穿着那张历史服装照片中的服装。最终的结果是一张全新的照片，这张照片展示了一个独特的人物形象：看起来像你，但具有其他照片中人物的特征和风格。这就是PhotoMaker的核心功能——结合多个不同照片的特征，创造出一个全新、个性化的图像。源码：https://github.com/TencentARC/PhotoMaker

LibreChat简介 LibreChat，一个增强版的ChatGPT程序，一个免费开源的聊天机器人平台，集成了多种 ai 模型，例如 ChatGPT、OpenAI、BingAI、PaLM 2 等。 LibreChat 允许您与不同的 AI 进行自然且引人入胜的对话，并使用各种功能和插件定制您的体验。LibreChat还集成并增强了原始客户端功能，例如对话和消息搜索、提示模板和插件。项目地址：https://github.com/danny-avila/LibreChatLibreChat功能列表：多功能聊天界面： LibreChat 提供类似于ChatGPT的用户界面，包括深色模式、流式传输。多模式聊天： 支持GPT-4V 和 Gemini Vision分析图像。多语言用户界面： 支持多种语言，包括英语、中文、德语、西班牙语、法语、意大利语等。AI模型选择：包括OpenAI API、Azure、BingAI、ChatGPT、Google Vertex AI、Anthropic（Claude）、插件等。用户可以创建、保存并共享自己的自定义预设Agent。提供会话分支功能，允许编辑、重新提交和继续消息。导出对话： 支持将对话导出为截图、Markdown、文本和 JSON 格式。消息/对话搜索： 提供全面的消息和对话搜索功能。插件支持： 包括 Web 访问、使用 DALL-E-3 生成图像等插件。多用户安全认证： 提供多用户安全认证，包括监督和令牌消费工具。配置选项： 配置代理、反向代理、Docker、许多部署选项，并且完全开源。文档和支持： 提供详细的文档和指南，帮助用户安装、配置软件，并使用高级功能。LibreChat 将助理 AI 的未来与 OpenAI 的 ChatGPT 的革命性技术结合在一起。为了庆祝原始风格，LibreChat 使您能够集成多个 AI 模型。它还集成并增强了原始客户端功能，例如对话和消息搜索、提示模板和插件。使用 LibreChat，您不再需要选择 ChatGPT Plus，而是可以使用免费或按通话付费的 API。我们欢迎贡献、克隆和分叉，以增强这个高级聊天机器人平台的功能。官方GitHub：https://librechat.ai文档：https://docs.librechat.ai加入我们的 Discord：https://discord.librechat.ai

GPT-SoVITS简介 GPT-SoVITS，一个声音克隆和文本到语音转换的开源 Python RAG框架，只需1分钟语音即可训练一个自己的TTS模型。完美克隆你的声音！GPT-SoVITS完美适配中文，应该是目前中文支持比较好的模型。github发布地址：https://github.com/RVC-Boss/GPT-SoVITSGPT-SoVITS主要特点：1、零样本TTS： 输入5 秒的声音样本即可体验即时的文本到语音转换。2、小样本 TTS： 只需 1 分钟的训练数据即可微调模型，以提高语音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。跨语言支持： 使用与训练数据集不同的语言进行推理，目前支持英语、日语和中文。3、WebUI工具：集成工具包括语音伴奏分离、自动训练集分割、中文 ASR 和文本标注，帮助初学者创建训练数据集和 GPT/SoVITS 模型。4、适用于不同操作系统： 项目可以在不同的操作系统上安装和运行，包括 Windows。5、预训练模型： 项目提供了一些已经训练好的模型，你可以直接下载使用。如何使用GPT-SoVITS？如果您是 Windows 用户（使用 win>=10 进行测试），您可以直接通过预压缩进行安装。只需下载预压缩，解压并双击 go-webui.bat 即可启动 GPT-SoVITS-WebUI。GPT-SoVITS是一款强大的语音克隆和文本到语音转换工具，它可以实现零样本和少样本的语音克隆，以及跨语言的文本到语音转换。它具有数据量少、质量高、灵活性强、易用性高等优点，可以应用于多种场景。如果你对GPT-SoVITS感兴趣，具体详细步骤，可以去项目开源网址上查看，哔哩哔哩上也有相应的教程。

DiffusionGPT简介 DiffusionGPT，字节跳动开发的由LLM驱动文本生成图像多合一系统，专门设计用于为不同的输入提示生成高质量的图像。其主要目标是解析输入提示并确定产生最优结果的生成模型，该模型具有高泛化、高效用和方便的特点。DiffusionGPT的牛P之处在于它集成了多种领域的专家图像生成模型。然后使用LLM来对接这些图像生成模型，让LLM来处理和理解各种文本提示。最后根据理解的信息选择最合适的图像模型来生成图像。这样就和GPT 4一样，通过聊天画图...DiffusionGPT主要特点：1、多样化文本提示处理：DiffusionGPT 能够理解和处理各种类型的文本提示，包括具体的指令、抽象的灵感、复杂的假设等。2、集成多个领域专家模型：系统集成了多种领域的图像扩散模型，每个模型在其特定领域具有专业的图像生成能力。这类模型专注于特定领域的图像生成，比如自然景观、人物肖像、艺术作品等。这意味着系统不仅能够生成普通的图像，还能够处理更特定、更复杂的图像生成任务，比如特定风格或类型的图像。模仿特定艺术家的风格、漫画风格或摄影技术。3、大语言模型驱动：DiffusionGPT 使用大语言模型（LLM）来解析和理解用户输入的文本提示。这个过程类似于其他基于 LLM 的系统（如 GPT-4）处理文本的方式，但特别应用于理解用于图像生成的指令和描述。4、智能选择合适的图像模型：基于对文本提示的理解，DiffusionGPT 能够智能地选择最合适的图像生成模型来生成图像。这不仅包括选择正确的模型，还涉及调整生成参数以最好地满足用户的需求。5、输出高质量图像：通过精准地匹配文本提示与最佳生成模型，DiffusionGPT 能生成高质量、与用户需求高度吻合的图像。6、用户反馈与优势数据库：结合用户反馈和优势数据库，系统能够根据用户偏好调整模型选择，提升图像生成的相关性和质量。例如：在系统的早期使用中，用户可能提供对生成图像的反馈，比如“这张图片的颜色太暗了”。DiffusionGPT 利用这些反馈来调整其模型选择，使得未来的图像生成更符合用户的偏好。DiffusionGPT主要工作原理：1、输入解析：用户提供文本提示，如描述、指令或灵感。大型语言模型（LLM）负责解析这些文本提示，理解其含义和需求。2、思维树（Tree-of-Thought）构建：根据不同的图像生成任务，系统构建了一个“思维树”，这是一种组织不同图像生成模型的结构。思维树基于先验知识和人类反馈，涵盖了多种领域的专家级模型。3、模型选择：根据 LLM 解析的结果，系统通过思维树来确定最适合当前文本提示的图像生成模型。在选择过程中，可能还会考虑用户的偏好和历史反馈，这些信息存储在优势数据库中。4、图像生成：一旦选定了合适的模型，该模型就会被用来生成图像。生成的图像将与输入的文本提示紧密相关，并反映出用户的意图和偏好。5、结果输出：最终生成的图像会呈现给用户。这些图像可以是多样化的，包括但不限于具体描述的场景、概念艺术作品或符合特定风格的图像。6、用户反馈优化过程：用户对生成图像的反馈被用来丰富优势数据库，进而帮助系统更好地理解用户偏好，优化后续的模型选择和图像生成。DiffusionGPT 在生成人类和场景等类别的图像时展现了高度的真实性和细节。与基准模型（如 SD1.5）相比，DiffusionGPT 生成的图像在视觉保真度、捕捉细节方面有明显提升。DiffusionGPT 在图像奖励和美学评分方面的表现优于传统的稳定扩散模型。在进行图像生成质量的量化评估时，DiffusionGPT 展示了较高的评分，说明其生成的图像在质量和美学上更受青睐。

Lumiere简介 Lumiere是谷歌研究院团队开发的基于空间时间的文本到视频扩散模型。Lumiere采用了创新的空间时间U-Net架构，该架构通过模型中的单次传递一次性生成视频的整个时间，不同于其他模型那样逐帧合成视频。确保了生成视频的连贯性和逼真度，Lumiere可以轻松促进广泛的内容创建任务和视频编辑应用程序，包括图像到视频、视频修复和风格化生成。Lumiere功能特点：文本到视频的扩散模型： Lumiere能够根据文本提示生成视频，实现了从文本描述到视频内容的直接转换。图像到视频：该模型通过对第一帧进行调节，将静止图像平滑地转换为视频。空间时间U-Net架构： 与其他需要逐步合成视频的模型不同，Lumiere能够一次性完成整个视频的制作。这种独特的架构允许Lumiere一次性生成整个视频的时间长度，不同于其他模型那样逐帧合成视频。全局时间一致性： 由于其架构的特点，Lumiere更容易实现视频内容的全局时间一致性，确保视频的连贯性和逼真度。多尺度空间时间处理： Lumiere通过在多个空间时间尺度上处理视频来学习直接生成视频，这是一种先进的方法。风格化视频生成： 使用单个参考图像，Lumiere可以按照目标风格生成视频，这种能力在其他视频生成模型中较为罕见。广泛的内容创作和视频编辑应用： Lumiere支持多种内容创作任务和视频编辑应用，如图像到视频、视频修补和风格化生成。视频样式化编辑： 使用文本基础的图像编辑方法，Lumiere可以对视频进行一致性的样式编辑。影像合成能力： 当图像的一部分保持静止而另一部分呈现运动时，可以实现局部运动效果，从而为静止图像增添迷人的美感。视频修复功能： Lumiere 可以根据文本提示对现有视频的任意遮罩区域进行动画处理。这为视频编辑、对象插入和/或删除提供了有趣的可能性。尽管取得了这些进步，但Lumiere在需要在不同场景和镜头之间转换的视频方面仍然受到限制。这种能力差距为未来的扩散模型研究提供了重要方向。

SupIR简介 SupIR是一个通过增加模型规模来提升图像修复能力的技术，SupIR能够根据文本提示进行智能修复，提高图像修复的质量和智能程度。SupIR是一种突破性的图像恢复方法，它利用了生成先验和模型放大的力量。利用多模态技术和先进的生成先验，SUPIR标志着智能和逼真的图像恢复的重大进步。作为 SUPIR 中的关键催化剂，模型缩放极大地增强了其功能，并展示了图像恢复的新潜力。SupIR的主要功能：图像修复和文本引导的修复，利用了模型放大、多模态技术和结果表明，SUPIR在各种图像修复任务和复杂处理场景中都有出色的表现，特别是在处理真实世界复杂场景中的能力令人印象深刻。SupIR还进行了用户定制和交互行为，用户可以通过简单的文本指令控制图像修复过程，为图像修复提供了新的交互维度。SupIR应用场景：景观图像修复通过图像修复让大自然栩栩如生，突出风景照片中的自然之美。人脸图像修复展现真实的表情 -- 增强每一个细节，使人像栩栩如生。动物图像修复绒毛和活力：在动物图像修复中将皮毛和魅力带入生活。建筑图像处理用现代技术振兴建筑遗产。游戏图像增强以惊人的清晰度和细节体验重制版游戏世界。电影重生与经典还原以原始的细节体验电影的黄金时代。复古照片修复重新发现过去 - 以生动的清晰和细节将历史带入生活。SupIR技术的应用将极大提升图像修复的效率和质量，为图像处理领域带来了新的突破和可能性。

Diffuse to Choose简介 Diffuse to Choose主要用于虚拟试穿场景。它能够在修复图像时保留参考物品的细节，并且能够进行准确的语义操作。Diffuse to Choose能让你在将任何商品放入任何环境中，同时和环境完美融合，并结合感知损失来进一步保留参考物品的细节，该模型在快速推理和高保真细节方面取得了良好的平衡。比如您可以使用Diffuse to Choose装饰您的房间，或者不受任何限制地尝试不同的衣服组合,改变衣服的风格，例如塞进衣服或卷起袖子。Diffuse to Choose能够帮助用户更好地了解产品在真实环境中的样子，提高了在线购物的体验。Diffuse to Choose功能：1、虚拟试穿技术：允许用户在不同环境中虚拟放置商品，实现逼真的在线购物体验。2、与传统扩散模型相比，DTC模型能更好地捕捉商品细节，提升修复质量。采用特殊的算法，将来自参考图像的细粒度特征直接融入主扩散模型的潜在特征图中，保证产品与环境的高度融合。3、高效平衡：在快速推断与保持高保真细节方面达到了有效的平衡。4、广泛测试与评估：在不同数据集上测试，证明了DTC模型相较于现有技术的优越性。5、场景适应性：能够处理多种场景中的图像，确保产品与场景的无缝整合。6、快速推断能力：提供快速且高效的零次射推断，加快虚拟试穿过程。7、修复图像：在虚拟试穿应用中修复图像，为产品图像添加缺失的细节。

DuckDB-NSQL简介 DuckDB-NSQL，一个专门为DuckDB数据库设计的文本到SQL的模型，你可以使用自然语言说描述你的需求，它会自动转换成SQL代码，也就是可以使用自然语言来和你的数据库聊天。DuckDB-NSQL大大简化了数据库查询的过程，使得即使是不太懂SQL语言的用户也能轻松地与数据库进行交互和数据处理。DuckDB-NSQL-7B模型是基于大约200,000条合成生成并验证的DuckDB SQL查询以及来自Numbers Station的超过250,000条一般性文本到SQL问题训练而成的。DuckDB-NSQL不仅能生成有用的DuckDB代码片段，还能生成用于回答分析问题的SQL查询。Hugging Face：https://huggingface.co/spaces/motherduckdb/DuckDB-NSQL-7BDuckDB-NSQL主要特点：1、自然语言处理能力： 能够理解和处理自然语言输入，将用户用普通话语描述的数据查询需求转换成SQL查询代码。2、针对DuckDB优化： 专为DuckDB-NSQL数据库定制，能够充分利用DuckDB的特性和功能。3、高效的查询生成： 对于常见的数据查询任务，如创建表、选择数据、排序和过滤等，都能快速生成准确的SQL代码。4、用户友好的交互： 用户无需深入了解SQL语法，只需通过自然的语言描述就可以进行复杂的数据查询。5、文档式的查询指导： 模型知识覆盖DuckDB 0.9.2中记录的所有功能，包括官方扩展，类似于一个随时可用的文档查询工具。6、低延迟： 为了提供低延迟的SQL辅助特性，该模型采用了相对较小的模型大小，使得推理过程更快、成本更低。7、广泛的应用场景： 不仅能生成DuckDB-NSQL的代码片段，还能生成用于回答分析性问题的SQL查询。8、开源和易于访问： 模型权重在Hugging Face上完全公开，方便用户下载和使用。9、本地运行支持： 支持与llama.cpp一起在本地完全体验，提供了完整的本地运行指导。

StreamRAG简介 StreamRAG，一个视频搜索和流媒体代理工具，StreamRAG 使您能够在 ChatGPT 中与您的视频库聊天并观看视频流。StreamRAG能够在数百小时的视频内容中找到你输符合你需求的相关视频时刻，并立即返回一个视频剪辑，也就是说它能搜索视频内容的任意时刻。StreamRAG能够迅速浏览存储的大量视频资料，找到包含这些内容或主题的视频片段，并把这些片段展示给你，这样你就能直接观看到与你搜索内容相关的视频部分。StreamRAG有什么作用？StreamRAG允许用户上传视频，创建视频集合，并在这些视频中进行搜索，以获得实时的视频回应或编辑。此外，用户还可以将他们的视频集合发布到ChatGPT商店，以便他人搜索和使用。视频库创建： 上传多个视频以创建视频库或集合。视频搜索与回应： 在这些视频中搜索，能立即获得实时的视频响应或编译结果。GPTs发布： 在ChatGPT的GPT商店发布你的可搜索集合，这意味着您可以与更广泛的受众分享您丰富的视频内容，或者将其保留为个人专用或在选定的群组中。文本回答总结（RAG）： 接收总结性的摘要文本答案 （RAG）。视频关键洞察： 从特定视频中获得关键见解，例如“第31集的要点”。开源且易于使用：StreamRAG 是开源的，确保它可以访问和修改以满足您的所有需求。即使您不熟悉 ai 和视频数据库，StreamRAG 的设计也易于用户友好且易于实施。StreamRAG如何使用？1、获取 API 密钥：在 VideoDB 控制台上注册（前 50 次上传免费，没有 需要信用卡）。2、设置VIDEO_DB_API_KEY：在文件中输入您的密钥。env3、安装依赖项：在终端中运行。4、将集合上传到 VideoDB：在 中添加链接。upload.py5、在本地运行：使用 启动 flask 服务器。python app.py

WhisperFusion简介 WhisperFusion 建立在开源工具 WhisperLive 和 WhisperSpeech 的功能之上。WhisperFusion可以让你和ai聊天机器人进行超低延迟对话，同时它还整合了Mistral模型，增强对转录文本上下文的理解。使得WhisperFusion能更好地理解人说的每句话背后的意思。WhisperFusion 的主要功能：1、实时语音转文本：利用 OpenAI WhisperLive 进行转换将口语实时转换为文本，方便进行后续的处理和回应。2、整合大语言模型：通过加入 Mistral 这样的大语言模型，WhisperFusion 能够更好地理解转换成文字的语音内容，提高回应的准确性和相关性。3、性能优化：使用 TensorRT 技术对语言模型和 Whisper 进行了优化，确保了快速、高效的处理能力，特别是在实时语音转文本的应用中。4、推理加速：利用 torch.compile 对 WhisperSpeech 进行优化，通过即时编译（JIT）PyTorch 代码，进一步加快了处理速度，减少了延迟。5、易于使用：提供预构建的 Docker 容器，包含了所有必要的组件和模型，用户可以很容易地开始使用 WhisperFusion，体验其功能。了解WhisperLive和WhisperSpeech：WhisperLive 是 OpenAI 的 Whisper 的一个实时转录应用程序，它使用 OpenAI Whisper 模型将语音输入转换为文本输出。它可用于转录来自麦克风的实时音频输入和预先录制的音频文件。与依赖连续音频流的传统语音识别系统不同，我们使用语音活动检测 （VAD） 来检测语音的存在，并且仅在检测到语音时才将音频数据发送到 Whisper。这有助于减少发送到 Whisper 模型的数据量，并提高转录输出的准确性。查看我们的转录帖子和 WhisperLive 存储库了解更多详情。WhisperSpeech 是开源文本转语音技术领域的重大进步。该模型由 Collabora 开发，其重点是提供听起来自然的语音以改善沟通。其目的是创建一个具有多语言功能的适应性强且无缝集成的 TTS 模型。WhisperFusion通过使用 WhisperLive 和 WhisperSpeech 的快速处理能力以及低延迟的通信实现，您可以实现实时、高效、智能的通信。这种适应性可确保您的模式在业务扩展时保持领先一步，同时满足客户的需求，这是提供一流服务的标志。

Audio2Face简介 Audio2Face，一款由ai驱动的应用程序，通过语音生成富有表现力的3D面部动画。Audio2Face 简化了 3D 角色的动画，以匹配任何画外音轨道，无论您是为游戏、电影、实时数字助理制作角色动画，还是只是为了好玩。您可以将该应用程序用于交互式实时应用程序或作为传统的面部动画创作工具。Audio2Face是如何工作的？Omniverse Audio2Face 应用基于 NVIDIA Research 的原创论文。Audio2Face 预装了“数字标记”——一个 3D 角色模型，可以用您的音轨制作动画，因此入门很简单。只需选择您的音频并将其上传到应用程序中即可。该技术将音频输入输入到预先训练的深度神经网络中，网络的输出实时驱动角色的面部动画。用户可以选择编辑各种后处理参数以编辑角色的表演。然后，网络的输出驱动角色网格的 3D 顶点以创建面部动画。您在此页面上看到的结果大多是 Audio2Face 的原始输出，几乎没有编辑任何后期处理参数。Audio2Face 的实际应用：语言Audio2Face将能够轻松处理任何语言。我们会定期添加越来越多的语言。查看这些英语、法语、意大利语和俄语的测试。Misty 动画聊天机器人在 GTC Spring 2020 上展示的 Misty 是一个交互式天气机器人，在运行时由 Audio2Face 驱动。我们演示了从逼真的人类网格到风格化角色网格的重定向，以用作交互式服务代理。Omniverse 机械Audio2Face 在 GeForce 30 系列发布会上亮相，出现在 Omniverse Machinima 演示中。众所周知，面部动画非常复杂且成本高昂。Audio2Face 可自动执行详细的面部动画，使 3D 内容创建过程民主化。人脸Audio2Face可以使用任何对话驱动的音轨，并最终能够重新定位到任何3D人脸，无论是逼真的还是风格化的。观看此测试，我们将从 Digital Mark 重新定位到 Rain。实验角色生物和外星人此功能允许您重新定位和驱动奇幻生物和外星人的面部动画。在这里，我们有数字标记推动了外星人的性能。

Media2Face简介 在人工智能领域，从语音中创建准确的面部唇部动作一直是一个持续的挑战。然而，突破已经到来——Media2Face。Media2Face是通过音频、文本和图像多模态引导的共语言面部动画生成工具。它利用音频、文本和图像输入的引导来自然地模仿人类语言，引入了广义神经参数面部资产 （GNPFA）。这是一种高效替在空间，从而解耦表情和身份。然后，我们利用GNPFA从大量视频中提的变分自动编码器，可将面部几何形状和图像映射到高度广义的表情取高质量的表情和准确的头部姿势。由于高质量的 4D 面部数据有限，从语音合成 3D 面部动画面临着挑战。然而，借助 Media2Face，现在可以从任何音频、图像或文本输入无缝生成逼真且富有表现力的面部动画。Media2Face能够根据声音来生成与语音同步的、表现力丰富的3D面部动画。同时允许用户对生成的面部动画进行更细致的个性化调整，如情感调整，“快乐”或“悲伤”等。Media2Face还能理解多种类型的输入信息（音频、文本、图像），并将这些信息作为生成面部动画的指引。Media2Face实际应用：创造对话场景：根据你写的剧本，电脑可以生成人物对话的动画场景。制作风格化的面部动画：你可以给电脑一个表情符号，它就能根据这个符号创造出动画。情感歌唱：电脑还能根据不同的语言唱歌，表现出对应的情感。个性化动画：最神奇的是，这个项目能够创造出符合不同人种、年龄和性别的个性化面部动画。影视制作公司使用Media2Face生成影片中虚拟人物的面部动画。虚拟主持平台利用Media2Face实现虚拟主持的面部表情生成。游戏开发公司在虚拟角色设计中应用Media2Face进行面部动画生成。Media2Face是如何工作的？Media2Face项目的工作原理涉及几个关键技术和步骤，使其能够从语音合成出具有丰富表情和情感的3D面部动画。下面是该项目的主要工作流程：1. 通用神经参数化面部资产（GNPFA）：首先，研究团队创建了一个特殊的工具（叫做GNPFA），它就像一个大型的面部表情数据库。无论你想要什么样的表情，这个工具都能帮你找到，并且还能确保每个人的面部动画都独一无二，不会和别人混淆。这个过程实现了表情和身份的解耦，即能够在不同的身份之间转换相同的表情。然后，他们用这个工具处理了很多视频，从中提取出了高质量的表情和头部动作。这样就创建了一个巨大的数据集，里面包含了各种各样的面部动画和对应的情感、风格标签。2. 多模态引导的动画生成：Media2Face采用一个扩散模型在GNPFA的潜在空间中进行动画生成，这个模型能够接受来自音频、文本和图像的多模态引导。模型将音频特征和CLIP潜在代码作为条件，与表情潜在代码序列的噪声版本以及头部运动代码（即头部姿势）一起去噪。条件被随机掩蔽，并通过与噪声头部运动代码的交叉注意力进行处理。3. 表情和头部姿势生成：利用GNPFA从大量视频中提取高质量的表情和准确的头部姿势。这呈现了 M2F-D 数据集，这是一个大型、多样化和扫描级别的共同语音3D面部动画数据集，具有注释良好的情感和风格标签。4.表情和风格微调：通过表情编码器提取关键帧表情潜在代码，并通过CLIP提供每帧的风格提示，如“快乐”或“悲伤”，用户可以调整动画的强度和控制范围。通过以上这些技术步骤，Media2Face能够生成与语音同步的、表现力丰富的3D面部动画，支持复杂的情感表达和风格变化，为创建虚拟角色和增强AI数字人的交互体验提供了强大工具，大量实验表明，Media2Face不仅在面部动画合成中实现了高保真度，而且拓宽了3D面部动画的表现力和风格适应性。

YOLO-World简介 YOLO-World，腾讯ai实验室开发的一个实时目标检测工具，它能够自动识别和定位图像中的各种对象。YOLO-World在速度和准确性方面都优于许多最先进的方法。YOLO-World 是下一代 YOLO 检测器，旨在实时开放词汇目标检测。YOLO-World在大规模视觉语言数据集（包括Objects365、GQA、Flickr30K和CC3M）上进行了预训练，这使得YOLO-World具有强大的零样本开放词汇能力和图像落地能力，无需训练即可进行实时目标检测，即便某些物品之前没有见过，YOLO-World适用于物体检测和开放词汇实例分割。YOLO-World功能特点：1、大规模学习：YOLO-World通过学习大量的图片和对应的描述（如物品名称），获得了丰富的视觉知识和语言知识，这使得它能识别出广泛的物品。该项目在包括Objects365、GQA、Flickr30K和CC3M在内的大规模视觉-语言数据集上进行了预训练，赋予了YOLO-World强大的零样本开放词汇能力和图像中的定位能力。2、快速准确：YOLO-World在LVIS数据集上的零样本评估中达到了35.4 AP，并且在V100上的处理速度为52.0 FPS，速度和准确性均超过许多最先进的方法。即使是在包含复杂场景的图片中也能保持高准确率。YOLO-World 声称比 GroundingDINO 快 20 倍。3、零样本检测：最令人印象深刻的是，即便某些物品YOLO-World之前没有见过，它也能凭借先前的学习和理解能力，通过图片中的线索和上下文信息，成功识别和定位这些新物品，这意味着我们不必训练它来让它检测新的一类物体。我们只需要给出类名作为输入文本提示，模型将返回这些对象的边界框（如果存在）。4、理解物体：YOLO-World不仅依靠视觉信息，还结合了语言信息。它理解人类的语言描述，这让它能够识别出即使是之前没有直接见过的物体。5、与现有的开放词汇检测方法相比，YOLO-World模型至少快 20 倍。每秒可以处理大约 52 帧。6、在LVIS对象检测数据集上设置了最先进的新数据集。

notesGPT简介 notesGPT，一个能够录下你的语音内容，然后自动帮助你把这些语音转成文字，对内容进行总结，创建具有视觉吸引力的文档，并能够添加图像、待办事项列表、图表、链接和多媒体内容，使您的笔记更具表现力和全面性。要把文字给notesGPT，就会细致地分析好几遍，像海绵一样吸收每一个细节。notesGPT将制作一套完美的笔记，保持原始结构，同时结合表情符号、标题、表格、粗体、斜体和其他格式元素以提高保留率。您不再需要为总结或遗漏重要细节而苦苦挣扎。NotesGPT 超越了单纯的摘要，它捕获了所有细节、关键术语、示例、引文、统计数据——所有使您的笔记真正全面的内容。把我想象成你的个人学习指南创建者或内容总结者！notesGPT的主要功能包括：1. 录制语音笔记：用户可以直接通过该工具录制他们的语音笔记，无需手动输入文字，方便快捷。2. 自动转录：录制的语音笔记会自动被转换成文本形式，便于阅读和编辑。3. 内容总结：notesGPT能够自动分析转录的文本内容，并提供一个简洁的总结，帮助用户快速把握笔记的关键信息。4. 生成行动项：根据语音笔记的内容，自动生成相关的行动项或任务，帮助用户更有效地组织和规划工作或学习任务。5. 100%免费和开源：notesGPT是一个完全开放源代码的项目，用户可以免费使用所有功能，同时社区的开发者也可以参与到项目的改进和扩展中来。