LangChain

M2UGen简介 腾讯发布多模态音乐生成模型M2UGen 支持图片、视频生成音乐，M2UGen是一款引领潮流的框架，融合了音乐理解和多模态音乐生成任务，旨在助力用户进行音乐艺术创作。通过其强大的功能，M2UGen提供了全方位的音乐生成和编辑体验。M2UGen演示地址：https://huggingface.co/M2UGenM2UGen项目地址：https://github.com/shansongliu/M2UGenM2UGen论文地址：https://arxiv.org/abs/2311.11255M型2UGen模型是一种音乐理解和生成模型，能够从文本，图像，视频和音频中进行音乐问答和音乐生成，以及音乐编辑。 该模型利用编码器，如用于音乐理解的 MERT、用于图像理解的 ViT 和用于视频理解的 ViViT，以及 MusicGen/AudioLDM2 模型作为音乐生成模型（音乐解码器），以及适配器和 LLaMA 2 模型。音乐的产生和理解我们介绍M2UGen框架，能够同时 包括音乐理解和多模态音乐生成任务， 旨在协助用户进行与音乐相关的艺术创作。面向音乐的数据集我们提出了一种系统化的方法，用于生成大面向多模态音乐的指令数据集，我们使用 MU-LLaMA 模型和 MosaicML 的 MPT-7B-Chat 模型来生成面向音乐的数据集。我们还利用BLIP图像字幕模型和VideoMAE字幕模型来为各自的模态添加字幕。除了可以从文字生成音乐外，它还支持图像、视频和音频生成音乐，并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解，ViT进行图像理解，ViViT进行视频理解，并使用MusicGen/AudioLDM2模型作为音乐生成模型（音乐解码器）。用户可以轻松移除或替换特定乐器，调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。此外，M2UGen还加入了适配器和LLaMA2模型，使得该模型具备多种能力。

PDFMathTranslate简介 PDFMathTranslate 是一款开源的只要为翻译科技论文等PDF文件而设计的PDF文档翻译工具。它能够完整保留原文的排版，包括公式和图表，支持双语对照并保持原有目录结构。PDFMathTranslate支持多种翻译服务，如Google、DeepL、Ollama和Openai。PDFMathTranslate主要功能：保留原排版：PDFMathTranslate能够完整保留PDF文档中的公式、图表和目录结构，确保翻译后的文档与原文版式一致。双语对照：支持生成双语对照文档，方便用户对照原文和译文。兼容多种翻译服务：支持Google、DeepL、Ollama和OpenAI等翻译引擎，用户可根据自已的偏好来选择。命令行操作：通过简单的命令行指令，就能实现文档的快速翻译处理。部分文档翻译：支持用户选择特定页面或章节进行翻译，灵活性很高。多线程翻译：利用MathTranslate等工具进行多线程翻译，从而提高翻译效率。PDFMathTranslate的安装步骤：安装Python和pip：确保您的计算机上已安装Python 3和pip。如果尚未安装，可以从Python官方网站下载并安装。升级MathTranslate：打开命令行工具，运行以下命令以安装或升级MathTranslate：pip install --upgrade mathtranslate准备或生成TeX文件：您可以使用任何文本编辑器创建一个TeX文件，或者从其他项目中获取现有的TeX文件。使用MathTranslate进行翻译：在命令行中，您可以使用MathTranslate命令来翻译您的TeX文件。具体的命令格式和选项可以参考MathTranslate的文档。用户群体：学者、研究人员、学生以及任何需要阅读和理解非母语科技文献的用户。包含数学公式、图表和精细排版的文件（需要精确翻译数学和科学内容）。PDFMathTranslate 作为一款专为科技论文和含有复杂格式文档设计的开源翻译工具。解决了学术和专业领域中PDF文档翻译的痛点，特别是那些包含数学公式、图表和精细排版的文件。

AIdea简介 aidea是一款开源的AI聚合工具，它将主流的大语言模型和绘图模型集成到一个APP中，为用户提供了丰富的AI应用体验。AIdea 不仅支持GPT 以及国产大语言模型通义千问、文心一言等，支持 Stable Diffusion 文生图、图生图、 SDXL1.0、超分辨率、图片上色的全能型 APP，满足不同用户的需求。AIdea 的代码完全开源，客户端使用 Flutter 开发，支持 Android、iOS、桌面和 Web 多端部署使用。用户可以通过 APP 或不同平台的客户端，体验 AIdea 的全部功能。AIdea集成了主流大语言模型以及绘图模型的 APP， 采用 Flutter 开发，代码完全开源，支持以下功能：支持 GPT-3.5/4 问答聊天;支持国产模型：通义千问，文心一言;支持文生图、图生图、超分辨率、黑白图片上色等功能，集成 Stable Diffusion 模型，支持 SDXL 1.0.AIdea开源代码：客户端：https://github.com/mylxsw/aidea服务端：https://github.com/mylxsw/aidea-server

MinerU简介 MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。 MinerU诞生于书生-浦语的预训练过程中。MinerU能保留原PDF文档结构，提取文字、图片、图片描述、表格等内容，自动识别并转换LaTeX格式、HTML格式，自动OCR，支持多语言。MinerU主要功能：删除页眉、页脚、脚注、页码等元素，确保语义连贯输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版保留原文档的结构，包括标题、段落、列表等提取图像、图片描述、表格、表格标题及脚注自动识别并转换文档中的公式为LaTeX格式自动识别并转换文档中的表格为HTML格式自动检测扫描版PDF和乱码PDF，并启用OCR功能OCR支持84种语言的检测与识别支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检支持CPU和GPU环境兼容Windows、Linux和Mac平台MinerU核心功能与优势：Magic-PDF模块：专注于PDF文档处理，能够智能识别并去除非正文内容如页眉、页脚，同时精准保留标题、段落、列表等结构，支持图片、表格、公式的提取，确保转换后的Markdown格式既准确又易于阅读。Magic-Doc模块：针对网页和电子书，能够从网页中提取正式内容。多模态内容处理：MinerU不仅处理文本，还能有效提取和处理图像、表格、公式等多模态内容。多语言支持：MinerU支持包括繁简中文在内的84种语言。格式多样：支持多种输出格式和可视化结果，适配 CPU 和 GPU 环境，兼容多平台。自动识别转换：识别并转换公式为 LaTeX 格式，表格为 LaTeX 或 HTML 格式，还能自动检测并启用 OCR 功能，。MinerU只要应用于学术研究、市场分析、法律文档处理、知识管理等领域，使得我们能高效地从大量文档中提取关键信息，从而加速数据准备过程，为大模型训练、知识图谱构建等提供高质量的数据支持。MinerU由上海人工智能实验室（上海ai实验室）大模型数据基座OpenDataLab团队开发，并在2024年的WAIC（世界人工智能大会）上发布，迅速在GitHub上获得关注，成为Python的热门项目。

LucidDreamer简介 随着VR设备和内容的广泛使用，对3D场景生成技术的需求越来越普遍。然而，现有的 3D 场景生成模型将目标场景限制在特定领域，这主要是因为它们使用的 3D 扫描数据集与现实世界相去甚远。为了解决这种局限性，我们提出了LucidDreamer，这是一个无域场景生成管道，它充分利用了现有大规模基于扩散的生成模型的强大功能。LucidDreamer项目地址：https://luciddreamer-cvlab.github.io/我们的 LucidDreamer 有两个交替步骤：做梦和对齐。首先，为了从输入生成多视图一致的图像，我们将点云设置为每次生成图像的几何参考。具体来说，我们将一部分点云投影到所需的视图，并提供投影作为使用生成模型进行修复的指导。使用估计的深度图将绘制的图像提升到 3D 空间，从而组成一个新点。其次，为了将新点聚合到3D场景中，我们提出了一种对齐算法，该算法将新生成的3D场景的各个部分和谐地集成在一起。最终得到的3D场景是优化高斯飞溅的初始点。与以前的 3D 场景生成方法相比，LucidDreamer 生成的高斯飞溅非常详细，对目标场景的域没有限制。LucidDreamer 可以接受一系列文本提示来生成场景，从而实现细粒度的控制。基于 CLIP 的 Stable Diffusion 生成的图像对生成的场景进行定量比较。 我们使用 CLIP-Score 和 CLIP-IQA 与 RGBD2 对结果进行定量比较。 对于 CLIP-IQA，我们使用质量、色彩鲜艳和清晰的标准。 LucidDreamer 在所有指标上都显示出占主导地位的结果。根据初始SfM点的来源重建高斯飞溅的度量。我们使用 COLMAP并比较重建结果。使用我们的点云始终如一地显示出更好的重建指标。

DiffusionGPT简介 DiffusionGPT，字节跳动开发的由LLM驱动文本生成图像多合一系统，专门设计用于为不同的输入提示生成高质量的图像。其主要目标是解析输入提示并确定产生最优结果的生成模型，该模型具有高泛化、高效用和方便的特点。DiffusionGPT的牛P之处在于它集成了多种领域的专家图像生成模型。然后使用LLM来对接这些图像生成模型，让LLM来处理和理解各种文本提示。最后根据理解的信息选择最合适的图像模型来生成图像。这样就和GPT 4一样，通过聊天画图...DiffusionGPT主要特点：1、多样化文本提示处理：DiffusionGPT 能够理解和处理各种类型的文本提示，包括具体的指令、抽象的灵感、复杂的假设等。2、集成多个领域专家模型：系统集成了多种领域的图像扩散模型，每个模型在其特定领域具有专业的图像生成能力。这类模型专注于特定领域的图像生成，比如自然景观、人物肖像、艺术作品等。这意味着系统不仅能够生成普通的图像，还能够处理更特定、更复杂的图像生成任务，比如特定风格或类型的图像。模仿特定艺术家的风格、漫画风格或摄影技术。3、大语言模型驱动：DiffusionGPT 使用大语言模型（LLM）来解析和理解用户输入的文本提示。这个过程类似于其他基于 LLM 的系统（如 GPT-4）处理文本的方式，但特别应用于理解用于图像生成的指令和描述。4、智能选择合适的图像模型：基于对文本提示的理解，DiffusionGPT 能够智能地选择最合适的图像生成模型来生成图像。这不仅包括选择正确的模型，还涉及调整生成参数以最好地满足用户的需求。5、输出高质量图像：通过精准地匹配文本提示与最佳生成模型，DiffusionGPT 能生成高质量、与用户需求高度吻合的图像。6、用户反馈与优势数据库：结合用户反馈和优势数据库，系统能够根据用户偏好调整模型选择，提升图像生成的相关性和质量。例如：在系统的早期使用中，用户可能提供对生成图像的反馈，比如“这张图片的颜色太暗了”。DiffusionGPT 利用这些反馈来调整其模型选择，使得未来的图像生成更符合用户的偏好。DiffusionGPT主要工作原理：1、输入解析：用户提供文本提示，如描述、指令或灵感。大型语言模型（LLM）负责解析这些文本提示，理解其含义和需求。2、思维树（Tree-of-Thought）构建：根据不同的图像生成任务，系统构建了一个“思维树”，这是一种组织不同图像生成模型的结构。思维树基于先验知识和人类反馈，涵盖了多种领域的专家级模型。3、模型选择：根据 LLM 解析的结果，系统通过思维树来确定最适合当前文本提示的图像生成模型。在选择过程中，可能还会考虑用户的偏好和历史反馈，这些信息存储在优势数据库中。4、图像生成：一旦选定了合适的模型，该模型就会被用来生成图像。生成的图像将与输入的文本提示紧密相关，并反映出用户的意图和偏好。5、结果输出：最终生成的图像会呈现给用户。这些图像可以是多样化的，包括但不限于具体描述的场景、概念艺术作品或符合特定风格的图像。6、用户反馈优化过程：用户对生成图像的反馈被用来丰富优势数据库，进而帮助系统更好地理解用户偏好，优化后续的模型选择和图像生成。DiffusionGPT 在生成人类和场景等类别的图像时展现了高度的真实性和细节。与基准模型（如 SD1.5）相比，DiffusionGPT 生成的图像在视觉保真度、捕捉细节方面有明显提升。DiffusionGPT 在图像奖励和美学评分方面的表现优于传统的稳定扩散模型。在进行图像生成质量的量化评估时，DiffusionGPT 展示了较高的评分，说明其生成的图像在质量和美学上更受青睐。

CosyVoice简介 CosyVoice是一款基于语音量化编码的语音生成大模型，一个可以深度融合文本理解和语音生成的一项新型语音合成技术，它对语音进行离散化编码，并依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice能够精准解析并诠释各类文本内容，将其转化为宛如真人般的自然语音。你只需提供3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。CosyVoice项目官网：https://www.modelscope.cn/studios/iic/CosyVoice-300MCosyVoice源码地址：https://github.com/FunAudioLLM/CosyVoiceCosyVoice API地址：https://help.aliyun.com/zh/model-studio/developer-reference/cosvoice-large-model-for-speech-synthesis/?spm=a2c4g.11186623.0.0.56f01751Ke29mhCosyVoice功能特征：高度拟人化：采用阿里通义语音实验室自研的CosyVoice 生成式神经网络语音大模型算法，使生成的语音在语调、韵律、情感表达等方面达到超拟人程度。多语言：CosyVoice支持中英日粤韩5种语言的生成，专注自然语音生成，支持多语言、音色和情感控制，效果显著优于传统语音生成模型。多样化音色选择：提供海量优质的音库资源，包括不同性别、年龄、方言以及各种特色声音，满足用户在不同场景下的个性化需求。无论是新闻播报的庄重严肃，还是故事讲述的情感丰富，都能轻松驾驭。实时高效合成：系统具有出色的响应速度和流式语音合成处理能力，无论是长篇文档还是短句指令，都能实现快速、准确的实时语音合成。情感和韵律控制：CosyVoice支持富语言声音事件以及多情感的高拟人语音生成，例如笑声、语气词等，以及不同情感表现的高拟人语音生成。声音克隆：只需提供3~10s的原始音频，CosyVoice即可克隆生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。CosyVoice应用：CosyVoice适用于多种应用场景，如智能客服、有声读物、车载导航、教育辅导等。智能设备/机器人播报的语音内容，如智能客服机器人、智能音箱、数字人、语音助手等。音视频创作中需要将文字转为语音播报的场景，如小说阅读、新闻播报、影视解说、剧本配音等。CosyVoice极大地拓宽了语音交互的可能性，提升用户体验的同时，也为企业智能化转型提供了强大支持。同最近大火的ChatTTS对比，可以发现CosyVoice的合成音频在内容一致性上更高，CosyVoice对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升，并且没有很少存在幻觉额外多字的现象。CosyVoice很好地建模了合成文本中的语义信息，在内容一致性和说话人相似度上超越人类。

SoraWebui简介 SoraWebui 是一个开源 Web 平台，使用户能够使用 Openai 的 Sora 模型从文本生成视频。SoraWebui简化了视频创建过程，支持在Vercel上进行一键部署，让开发者能够方便地进行使用和测试。使用 SoraWebui，任何人都可以通过简单地输入文本来创建视频，使其成为视频制作和 AI 技术专业人士和爱好者的可访问工具。如何使用 SoraWebui?1、对于普通用户：要使用 SoraWebui，只需访问网站并按照提供的说明进行操作。您通常会找到一个用户友好的界面，您可以在其中输入要创建的视频的文本描述。提交您的描述后，SoraWebui 将使用 OpenAI Sora 模型为您生成视频。视频准备好后，您可以直接在网站上观看并下载供您使用或分享。2、对于网站所有者或开发人员：作为网站所有者或开发人员，您可以按照项目文档中提供的部署说明在自己的平台上部署 SoraWebui。部署后，您可以自定义界面以匹配您网站的品牌，并将其无缝集成到您现有的平台中。您可能还想探索 SoraWebui 提供的其他特性和功能，例如用于自动视频生成的 API 集成或用于控制对服务访问的用户管理工具。总体而言，SoraWebui 提供了一个强大的工具，用于增强您网站的功能并为用户提供独特的视频创作体验。据悉，尽管目前尚无Sora API可用，但开源项目SoraWebui已通过模拟DALL-E3的API接口字段实现。这使得开发者能够提前深入探索该项目，掌握其实现机制和功能亮点，大家如果自己要开发，也可以先基于 FakeSoraAPI ，把整个业务流程走通，等到 Sora 官方 API 上线之后就可以第一时间做一些小改动，就能够让自己的产品可以使用，为Sora未来上线做好充分的开发准备。