OOTDiffusion

Sora.FM简介 Sora.FM 是用于生成 Sora ai 视频的开源 Web 模板，使用 nextjs 创建。生成视频的接口暂时 Mock，等 Sora API 发布后可快速替换上线。 支持数据读写，可以把全网收集到的Sora视频更新到DB，先做一个 Sora Showcase 网站跑流量。开发者：idoubi艾逗笔，前腾讯高级工程师，微信后台开发；现自由职业。之前开发的一个《AI Cover 红包封面生成器》受到很多人的欢迎。Github开源地址：https://github.com/all-in-aigc/sorafm类似的一个Sora生成器开源模板：SoraWebui

LangChain简介 LangChain是一个用于构建基于大型语言模型（LLMs）的应用程序的开源框架。 LLMs 是根据大量数据预先训练的大型深度学习模型，可以生成对用户查询的响应，例如回答问题或根据基于文本的提示创建图像。LangChain 提供工具和抽象来提高模型生成信息的定制性、准确性和相关性。它通过将语言模型连接到上下文源并根据提供的上下文进行推理，简化了创建生成式人工智能应用程序接口的过程，并简化了人工智能应用程序的开发。LangChain由几个部分组成，包括LangChain Libraries、LangChain Templates和LangServe，它们共同为各种任务提供了一系列易于部署的参考架构。 LangChain 还包含允许 LLMs 无需重新训练即可访问新数据集的组件，从而提高 AI 开发人员的效率。LangChain功能特征：核心功能：LangChain 允许用户将不同的组件链接在一起，围绕 LLMs 创建高级用例。这些组件可能包括提示模板、LLMs 和使用 LLMs 决定应采取哪些操作的代理。应用程序开发：在LangChain中开发应用程序的过程通常包括定义应用程序、使用提示构建功能以及自定义功能以满足特定用例要求。安装：要开始使用LangChain，您可以使用pip或conda来安装它。此外，LangChain 可能需要与模型提供者、数据存储和 API 集成，这些可以设置为环境的一部分。灵活性和可扩展性：LangChain非常灵活，可用于构建从聊天机器人到问答系统的各种应用程序。它还提供了满足不同应用需求的可扩展性。开源免费：LangChain是开源的，完全免费使用。它可以从 GitHub 下载并安装在计算机上。此外，它还可以作为 Docker 镜像提供，以便在云平台上轻松部署。LangChain案例：Wolfram Alpha：提供强大的计算和数据可视化功能，实现复杂的数学功能。Google 搜索：提供对 Google 搜索的访问，为应用程序和代理提供实时信息。OpenWeatherMap：获取天气信息。维基百科：提供对维基百科文章信息的高效访问。LangChain 由 Harrison Chase 于 2022 年 10 月推出，迅速崛起：截至 2023 年 6 月，它是 Github 上增长最快的开源项目。 1 与下个月 OpenAI 的 ChatGPT 的重大发布同时发生，LangChain 在生成式 AI 广泛流行后，在让生成式 AI 更容易被爱好者使用方面发挥了重要作用。总的来说，LangChain 提供了一个通用框架，用于构建由语言模型功能支持的应用程序，提供灵活性、可扩展性和一系列组件来围绕 LLMs 创建高级用例。

YouDub-Webui简介 YouDub-webui是一款开源的多语言ai配音和视频翻译工具，YouDub-webui提供了一套完整的视频中文化工具包，涵盖了从视频下载、语音识别、字幕翻译、AI声音克隆、视频处理、自动上传等一系列流程。YouDub-webui 是 YouDub 项目的网页交互版本，基于 Gradio 构建，为用户提供简易操作界面来访问和使用 YouDub 的强大功能。YouDub 是一个开创性的开源工具，能将 YouTube 和其他平台上的高质量视频翻译和配音成中文版本。YouDub-webui结合了最新的 AI 技术，包括语音识别、大型语言模型翻译，以及 AI 声音克隆技术，提供与原视频相似的中文配音，为中文用户提供卓越的观看体验。YouDub-webui主要特点视频下载: 支持通过链接直接下载 YouTube 视频。无论是单个视频、播放列表还是频道内的多个视频，均能轻松下载。AI 语音识别: 利用先进的 AI 技术，将视频中的语音高效转换为文字。不仅提供精确的语音到文本转换，还能自动对齐时间并识别不同说话者，极大地增强了信息的丰富性和准确性。大型语言模型翻译: 结合大型语言模型如 GPT，实现快速且精准的中文翻译。无论是俚语还是专业术语，均能得到恰当的翻译，确保内容的准确性与地道性。AI 声音克隆: 通过 AI 声音克隆技术，生成与原视频配音相似的中文语音。这不仅提升了视频的观看体验，也保留了原视频的情感和语调特色。视频处理: 综合了音视频同步处理、字幕添加、视频播放速度调整和帧率设置等多项功能。用户可以根据需要生成高质量的最终视频，实现无缝的观看体验。自动上传: 支持将最终视频自动上传到 Bilibili 平台。用户可以在不离开 YouDub-webui 的情况下，将视频上传到 Bilibili 平台，实现一键式的视频中文化处理。YouDub-webui技术细节AI 语音识别：我们的 AI 语音识别功能现在基于 WhisperX 实现。WhisperX 是一个高效的语音识别系统，建立在 OpenAI 开发的 Whisper 系统之上。它不仅能够精确地将语音转换为文本，还能自动对齐时间，并识别每句话的说话人物。这种先进的处理方式不仅提高了处理速度和准确度，还为用户提供了更丰富的信息，例如说话者的识别。大型语言模型翻译：我们的翻译功能继续使用 OpenAI API 提供的各种模型，包括官方的 GPT 模型。同时，我们也在利用诸如 api-for-open-llm 这样的项目，这使我们能够更灵活地整合和利用不同的大型语言模型进行翻译工作，确保翻译质量和效率。AI 声音克隆：在声音克隆方面，我们已经转向使用 Coqui AI TTS。同时，对于单一说话人的情况，我们采用了火山引擎进行 TTS，以获得更优质的音质。火山引擎的高级技术能够生成极其自然且流畅的语音，适用于各种应用场景，提升了最终产品的整体质量。视频处理：在视频处理方面，我们依然强调音视频的同步处理。我们的目标是确保音频与视频画面的完美对齐，并生成准确的字幕，从而为用户提供一个无缝且沉浸式的观看体验。我们的处理流程和技术确保了视频内容的高质量和观看的连贯性。YouDub-webui 适用于多种场景，包括教育、娱乐和专业翻译，特别适合那些希望将国外优秀视频内容本地化的用户。此工具的简洁界面使得即使是非技术用户也能轻松上手，实现视频的快速中文化处理。YouDub-webui 的这些特点使其成为一个强大且易于使用的视频中文化工具，无论是个人用户还是专业团队，都能从中受益。

MimicMotion简介 腾讯和上交大出的，MimicMotion可以生成任意长度、具有任何动作指导的高质量视频生成框架，可以生成细节丰富、逼真的人类动作视频，可以生成任意长度的视频内容，可以对视频内容进行精确控制，包括动作、姿势和视频风格等。类似阿里的通义舞王，但效果看起来比阿里通义舞王好很多，MimicMotion支持面部特征和唇形同步，不止可以搞跳舞视频，也可以做数字人。近年来，生成式人工智能在图像生成领域取得了重大进展，催生了多种应用。然而，视频生成在可控性、视频长度、细节丰富度等各方面仍面临相当大的挑战，阻碍了该技术的应用和普及。在这项工作中，我们提出了一种可控视频生成框架，称为 MimicMotion，它可以在任何运动指导下生成任意长度的高质量视频。与以前的方法相比，我们的方法有几个亮点。首先，通过置信感知姿势指导，可以实现时间平滑性，从而可以通过大规模训练数据增强模型的连贯流畅。其次，基于姿态置信度的区域损失放大显着减轻了图像的失真，能够显著减少生成图像中的扭曲和变形。最后，为了生成流畅的长视频，提出了一种渐进式潜在融合策略。通过这种方式，能够在可接受的计算资源消耗下，实现任意长度视频的生成。通过大量的实验和用户研究，MimicMotion 在多个方面比阿里的通义舞王的方法有了明显的改进。MimicMotion代码：https://github.com/Tencent/MimicMotionMimicMotion ComfyUI版本：https://github.com/aiFSH/ComfyUI-MimicMotion

QAnything AI简介 QAnything ai是一个本地知识库问答系统，旨在支持多种文件格式和数据库，允许离线安装和使用。您可以简单地删除任何格式的任何本地存储文件，并获得准确、快速和可靠的答案。QAnythingQAnything AI目前支持的格式包括：PDF、Word（doc/docx）、ppt、Markdown、Eml、TXT、图像（jpg、png等）、网页链接和更多即将推出的格式......QAnything AI功能：1、多种格式文档，一键上传处理支持一键上传多种格式文档，也支持网页内容获取。有效节约文档处理时间。无需对接QA、格式转换和人工整理文档全面支持PDF、Word(doc/docx)、PPT、TXT、图片、邮件（eml）格式文档和网页链接。具备答案溯源能力，用户可自主按照答案来源获取更多所需信息。2、智能寻找答案，团队协作新体验利用大模型能力快速理解提问者意图，从知识库中提取有效信息，辅助您更快速、更高效的阅读并理解文档，提高工作效率和准确性。智能文档问答可轻松实现知识归纳、构建、问答、推荐等，帮您精准获取有效信息支持聊天记录导入和导出，便于跨设备间的交流协作支持简体中文、繁体中文、英语、韩语、俄语等语言，便于开展国际团队协作3、创建专属知识库，让知识成为价值可根据不同内容领域、访问权限等创建多知识库，无需人工整理，即可拥有专属Ai助手，不断获取新知识。可利用不同知识库的上传文档差异实现访问权限控制，避免无关信息外泄。快速智能分析各类文档，提取文档摘要，帮助您快速实现全文通阅深入挖掘文档结构和细节，实现高效、准确信息识别和提取，帮助您更轻松地获取专业知识QAnything AI主要特点：数据安全，支持全程拔网线安装使用。跨语言QA支持，无论文档使用何种语言，中英文QA自由切换。支持海量数据QA，两阶段检索排名，解决大规模数据检索的降级问题;数据越多，性能越好。高性能生产级系统，可直接部署用于企业应用。人性化，无需繁琐配置，一键安装部署，即开即用。多知识库 QA支持选择多个知识库进行问答为什么要使用QAnything AI？数据安全:模型数据全在本地，可断网使用；确保对数据的控制，以及对隐私的保护。跨语种：可跨语种检索问答，尤其在中英跨语种领域适应海量数据：QAnything更适应于海量数据，随着数据量的增加，准确率越高。高性能：面向生产级别的性能优化，高并发，低延迟，低资源下即可运行使用。一键安装：不需要复杂配置，安装后即可快速使用，减少二次开发量。网易有道致力于提供全球领先的智能学习产品和服务。主要产品包括在线翻译工具、在线词典、语言学习平台和在线教育服务等。网易有道以其强大的技术实力和专业的语言学习经验，成为全球数百万用户的首选学习平台之一。

Perplexica简介 Perplexica是一个开源的ai驱动搜索引擎，它提供了多种搜索模式，为用户提供更精准、更智能的搜索体验。这个搜索引擎受到Perplexity AI的启发，能够根据用户的需求调整搜索算法，以获得更相关的搜索结果。同时，Perplexica使用了先进的机器学习算法来优化其搜索功能。Perplexica支持本地部署的大型语言模型，如Llama3和Mixtral，并提供多种搜索模式，包括Copilot模式、普通模式和焦点模式，后者针对特定类型的问题提供精确答案。同时，Perplexica使用SearxNG作为元搜索引擎，确保获取最新信息，并支持图像和视频搜索。未来计划包括引入更多焦点模式、完善Copilot模式等。Perplexica功能特征：使用本地大型语言模型（LLMs）如Llama3和Mixtral。两种主要模式：Copilot模式（开发中）和普通模式。六种专注模式，包括全模式、写作助手模式、学术搜索模式、YouTube搜索模式、Wolfram Alpha搜索模式和Reddit搜索模式，根据用户需求调整搜索算法，以获得更相关的搜索结果。始终使用SearxNG获取最新信息，无需每日数据更新。支持图像和视频搜索。使用先进的机器学习算法，如相似性搜索和嵌入技术，来精细化搜索结果。确保隐私保护，使用SearxNG作为当前性保障，避免每日数据更新的开销。计划中的功能包括完成Copilot模式、添加设置页面、支持本地LLMs、添加发现和历史保存功能、引入各种专注模式。Perplexica利用先进的机器学习算法优化搜索结果，并注重隐私保护。这个开源项目致力于成为全面、高效的搜索解决方案，满足用户对各种类型信息的需求，同时保护用户隐私并提供最新的搜索结果。

Kolors Virtual Try-On简介 Kolors Virtual Try-On是一个由快手可图团队开发的ai试衣技术，通过可图AI试衣，用户上传自已的照片，就可以在几秒钟内看到自己穿上不同衣服的效果。可图AI试衣在可图基座模型基础上，引入衣服SKU保持网络，实现服饰细节特征的提取与表征。目的在于让用户可以即时看到服装在自己身上的效果，轻松搭配出不同风格，使买家能够更高效地做出购买决策，同时降低卖家的退货成本。Kolors Virtual Try-On可图AI试衣技术特点：保持衣服款式细节：支持多种衣服类型款式，包括上装、长裙等，同时保留衣服图案、文字花纹等细节，实现商品SKU服饰同款保持效果。自然的人物试穿效果：可图AI试衣能生成贴合人物的自然试穿效果，就像本人穿衣服拍照一样，支持室内人物、室外街拍多种场景，实现从平铺衣服到穿衣上身，生成效果符合物理客观规律。全流程素材生成能力：可图大模型支持跨越不同年龄、性别、种族人物模特及背景生成，支持海内外电商模特素材生成需求，以及从模特素材图到模特短视频的全流程生成。Kolors Virtual Try-On可图AI试衣应用场景：买家试衣：帮助买家在购买前看到衣服的实际效果，提高购买决策的效率。电商素材生成：为卖家提供快速更新服饰图片、短视频等电商素材的能力，缩短新品上架迭代更新时间。变装特效：在短视频内容创作中，提供“变装”特效，创作出有趣、有用的日常穿搭内容分享。Kolors Virtual Try-On可图AI试衣技术原理：Kolors Virtual Try-On技术通过引入衣服SKU保持网络，实现服饰细节特征的提取与表征。同时，利用人物pose姿势、Mask掩码图像作为条件特征，实现人物姿势保持的换衣效果。此外，还复用了可图背景修复技术，采用高质量人物衣服pair对大数据训练，提升试穿效果。Kolors Virtual Try-On可图AI试衣的主要目标是帮助用户尝试不同的服装风格，而无需实体购物的麻烦。目的是通过减少与尺寸和颜色不匹配相关的问题来增强在线购物体验。Kolors Virtual Try-On可图AI试衣体验方式：可图AI试衣免费体验：https://huggingface.co/spaces/Kwai-Kolors/Kolors-Virtual-Try-OnGithub可图开源项目：https://github.com/Kwai-Kolors/KolorsHuggingFace可图模型：https://huggingface.co/Kwai-Kolors/Kolors可灵AI平台：https://klingai.kuaishou.com/text-to-image/new

LiveSketch简介 LiveSketch是一款ai生成视频工具，用户通过文本提示将静态素描转化为动画，它提供了一种简单直观的方法，使他们的素描变得生动活泼。无论是用于讲故事、插图、网站设计还是演示文稿，LiveSketch都能赋予静态素描图生命，使其更加丰富有趣。只需要简短的一句文本提示，LiveSketch就能让寥寥几笔涂鸦成真，输出生动活泼的的SVG动画片段，而且易于编辑和调整，可以通过文本控制动画的动作和幅度。草图是人类用来直观、最通用的工具之一，用于直观地传达他们的想法。动画草图为思想的表达打开了另一个维度，并被设计师广泛用于各种目的。草图动画是一个费力的过程，需要丰富的经验和专业的设计技能。 在这项工作中，我们针对LiveSketch提出了一种方法，该方法只需提供指示所需运动的文本提示，即可自动将运动添加到单主题草图中（因此，“为它注入生命”）。 输出是以矢量表示形式提供的简短动画，可以轻松编辑LiveSketch。我们的方法不需要大量的训练，而是利用大型预训练文本到视频扩散模型的运动先验，使用分数蒸馏损失来指导笔画的位置。 为了促进自然和流畅的运动，并更好地保留草图的外观，我们通过两个组件对学习到的运动进行建模。第一个控制小的局部变形，第二个控制全局仿射变换。令人惊讶的是，我们发现，即使是难以自行生成草图视频的模型，LiveSketch仍然可以作为动画抽象表示的有用骨干。LiveSketch有很大局限性。首先，目前来说，它只能通过简单地修改描述运动的提示，对生成结果进行一定程度的控制。这些修改和控制仅限于模型可以创建的小动作，且文本提示需要与初始草图的语义一致，当主体包含多个对象时，则无法进行区分了。未来，LiveSketch这类技术或许还能在艺术创作、儿童教育等领域大放异彩，大大降低艺术创造的门槛，提升教育的趣味性和互动性。