Documate

Linly-Dubbing简介 Linly-Dubbing是一款开源的多语言ai配音和视频翻译工具。Linly-Dubbing可以自动将视频翻译成其他语言并生成字幕、克隆视频中说话者的声音并自动配音、进行口型同步。Linly-Dubbing主要特征：自动下载视频：支持从YouTube等网站下载视频多语言支持：支持中文和多种语言的配音和字幕翻译。AI语音识别：准确的语音识别、语音文本转换和说话人识别。LLM翻译：结合领先的大型语言模型（如GPT），可以快速准确地翻译，保证翻译的专业性和自然性。语音克隆：通过语音克隆技术，生成与原视频配音高度相似的声音，保持情感和语气的一致性。口型同步：通过保持口型同步，配音可以与视频画面高度一致，提高视频的真实性和互动性。灵活的上传和翻译：用户可以上传视频并选择翻译语言和标准，以确保个性化和灵活性。Linly-Dubbing技术细节语音识别WhisperX ：OpenAI Whisper语音识别系统的扩展，可以将语音内容转录为文本，与视频帧精确对齐，生成带时间戳的字幕文件，并支持多说话人识别。FunASR ：一款综合语音识别工具包，提供语音识别、语音活动检测、标点符号恢复等功能，特别针对中文语音进行了优化。语音合成集成了Edge TTS、XTTS、CosyVoice等多种先进的语音合成工具。Edge TTS ：微软提供的高质量文本到语音转换服务，支持多种语言和语音风格，生成自然流畅的语音输出。XTTS ：Coqui 提供的先进的深度学习文本转语音工具包，专注于语音克隆和多语言语音合成，可以通过短音频片段实现语音克隆并生成逼真的语音输出。CosyVoice ：阿里巴巴同义实验室开发的多语言语音理解与合成模型，支持多种语言的高质量语音合成和跨语言语音克隆。字幕翻译使用OpenAI API和Qwen模型进行多语言字幕翻译。OpenAI API ：使用OpenAI的GPT-4和GPT-3.5-turbo进行高质量的字幕翻译。这些模型以其自然语言理解和文本生成能力而闻名，适用于对话生成和文本分析。Qwen ：开源的本地化大规模语言模型，支持多语言翻译，可以经济高效地处理多种语言的文本。谷歌翻译：集成谷歌翻译作为翻译功能的补充，提供广泛的语言支持和良好的翻译质量。声音分离使用 Demucs 和 UVR5 技术将人声与伴奏分开。|Demucs ：Facebook 研究团队开发的声音分离模型，可以分离混合音频中的不同声源，包括乐器、人声和背景声音。广泛应用于音乐制作和影视后期制作。UVR5（Ultimate Vocal Remover） ：一款高效的人声伴奏分离工具，可以提取接近原始立体声的伴奏，性能优于其他类似工具如RX9、RipX和SpectraLayers 9。口型同步借鉴Linly-Talker，我们专注于数字人唇同步技术，结合计算机视觉和语音识别技术，将虚拟角色的唇同步与配音精确匹配，达到高度自然的同步效果。该技术适用于动画人物、虚拟主播、教育视频中的旁白等多种场景。视频处理Linly-Dubbing提供添加字幕、插入背景音乐、调节音量和播放速度等功能，用户可以自定义视频内容，使其更具吸引力和个性化。yt-dlp 的集成： yt-dlp 是一个功能强大的开源命令行工具，设计用于从 YouTube 和其他网站下载视频和音频。该工具具有广泛的参数选项，允许用户根据自己的需要微调下载行为。无论是选择特定格式、分辨率，还是提取音频，yt-dlp 都提供了灵活的解决方案。

DUIX简介 硅基智能开源了DUIX，DUIX是2D 真人级、aiGC 实时渲染数字人模型！DUIX（Dialogue User Interface System）是硅基智能打造的AI数字人智能交互平台。通过将数字人交互能力开源，开发者可自行接入多方大模型、语音识别（ASR）、语音合成（TTS）能力，实现数字人实时交互，并在Android和iOS多终端一键部署，让每个开发者可轻松创建智能化、个性化的数字人Agent，并应用到各行各业。开发者可自行接入多方大模型、语音识别（ASR）、语音合成（TTS）能力实现数字人实时交互可在Android和iOS多终端一键部署，DUIX还提供了 14 个数字人模板支持低成本快速部署在 iOS、安卓或者大屏上，在平板、车载系统上也能流畅运行支持 50 帧/秒的流畅画面，视频生成效率超过 1:0.5、满足直播等一些对实时性要求很高的场景能精准的模拟动作、说话的唇形、微表情DUIX适用场景：部署成本低: 无需客户提供技术团队进行配合，支持低成本快速部署在多种终端及大屏。网络依赖小: 适合地铁、银行、政务等多种场景的虚拟助理自助服务。功能多样化: 可根据客户需求满足视频、媒体、客服、金融、广电等多个行业的多样化需求。DUIX核心功能：部署成本低: 无需客户提供技术团队进行配合，支持低成本快速部署在多种终端及大屏。网络依赖小: 适合地铁、银行、政务等多种场景的虚拟助理自助服务。功能多样化: 可根据客户需求满足视频、媒体、客服、金融、广电等多个行业的多样化需求。实时视频交流：用户可以与数字人进行实时对话。个性化定制：用户可以根据个人兴趣，选择自己喜欢的外观和声音，打造独特的交互体验。多角色扮演：数字人可以成为你的伴侣、爱人或“百科全书”，满足需求。情感联系：通过互动，用户与数字人建立情感纽带，享受陪伴的乐趣。时刻：数字人的“时刻”展示了他们的虚拟生活，用户可以更深入地了解他们的个性和兴趣。DUIX常见问题：1.可以支持数字人定制吗？是基于照片还是视频？答：可以支持数字人定制，我们是基于视频进行数字人定制。您可以定制专属的数字人用于SDK中。但定制的数字人属于付费服务，您可以联系客服邮箱。2.如何定制形象？答：定制硅基数字人需要拍摄一段 3-5 分钟的真人出镜口播视频，具体出镜姿势、口播内容，可以根据最终的真实使用场景来确定。比如用来制作法律咨询相关视频，即可选择正装出镜，口播法律相关内容，这样整体情景比较一致。3.定制形象如何收费？答：我们提供与SDK开源接口配套的数字人定制，定制价格为9800元/套，包括形象+声音，若有更多定制需求，可以联系客服邮箱。4.数字人形象怎么更新？答：目前开源的主要提供公共模特，有需求可以定制5.形象克隆有API接口么？答：训练服务目前只支持部署在我们的内部服务器进行调用6.播报的wav文件，支持流式数据吗？答：流式驱动正在做改造优化，暂时还不支持；7.播报开始结束有没有相关回调方法？答：播报开始结束的回调方法详见sdk文档8.数字人动作有没有相关api控制？答：数字人动作API，暂时还不支持DUIX商业案例展示：https://apps.apple.com/us/app/duix-your-ai-companion/id6451088879

EmojiGen简介 EmojiGen是一个开源的表情符号生成器。它由 Replicate 上的 fofr/sdxl-emoji 提供支持。可以根据用户任意的文字描述生成新的表情符号，不同用户可以获得完全定制的个性表情符号，用户只需要在输入框中输入一个词或短语，EmojiGen就会立即生成相关的表情符号。EmojiGen，应该是世界上最大的表情符号库（约 25 万表情）,EmojiGen有大量默认的表情符号，分类为“最新”和“特色”两部分。EmojiGen还有个开源项目，为其他开发者提供了参考，并进行二次开发打造出更多优秀的ai应用。可以利用文本提示生成表情。接受用户的提示，生成一个表情。然后，使用Replicate去除背景。用户可以点击下载并添加到Slack。EmojiGen功能：使用AI技术根据文字生成相关的表情符号。提供大量默认表情符号库（约 25 万表情）。用户可以输入任意文字获得自定义表情符号。生成的图片可以下载保存和在聊天软件中使用。

Kolors Virtual Try-On简介 Kolors Virtual Try-On是一个由快手可图团队开发的ai试衣技术，通过可图AI试衣，用户上传自已的照片，就可以在几秒钟内看到自己穿上不同衣服的效果。可图AI试衣在可图基座模型基础上，引入衣服SKU保持网络，实现服饰细节特征的提取与表征。目的在于让用户可以即时看到服装在自己身上的效果，轻松搭配出不同风格，使买家能够更高效地做出购买决策，同时降低卖家的退货成本。Kolors Virtual Try-On可图AI试衣技术特点：保持衣服款式细节：支持多种衣服类型款式，包括上装、长裙等，同时保留衣服图案、文字花纹等细节，实现商品SKU服饰同款保持效果。自然的人物试穿效果：可图AI试衣能生成贴合人物的自然试穿效果，就像本人穿衣服拍照一样，支持室内人物、室外街拍多种场景，实现从平铺衣服到穿衣上身，生成效果符合物理客观规律。全流程素材生成能力：可图大模型支持跨越不同年龄、性别、种族人物模特及背景生成，支持海内外电商模特素材生成需求，以及从模特素材图到模特短视频的全流程生成。Kolors Virtual Try-On可图AI试衣应用场景：买家试衣：帮助买家在购买前看到衣服的实际效果，提高购买决策的效率。电商素材生成：为卖家提供快速更新服饰图片、短视频等电商素材的能力，缩短新品上架迭代更新时间。变装特效：在短视频内容创作中，提供“变装”特效，创作出有趣、有用的日常穿搭内容分享。Kolors Virtual Try-On可图AI试衣技术原理：Kolors Virtual Try-On技术通过引入衣服SKU保持网络，实现服饰细节特征的提取与表征。同时，利用人物pose姿势、Mask掩码图像作为条件特征，实现人物姿势保持的换衣效果。此外，还复用了可图背景修复技术，采用高质量人物衣服pair对大数据训练，提升试穿效果。Kolors Virtual Try-On可图AI试衣的主要目标是帮助用户尝试不同的服装风格，而无需实体购物的麻烦。目的是通过减少与尺寸和颜色不匹配相关的问题来增强在线购物体验。Kolors Virtual Try-On可图AI试衣体验方式：可图AI试衣免费体验：https://huggingface.co/spaces/Kwai-Kolors/Kolors-Virtual-Try-OnGithub可图开源项目：https://github.com/Kwai-Kolors/KolorsHuggingFace可图模型：https://huggingface.co/Kwai-Kolors/Kolors可灵AI平台：https://klingai.kuaishou.com/text-to-image/new

StreamRAG简介 StreamRAG，一个视频搜索和流媒体代理工具，StreamRAG 使您能够在 ChatGPT 中与您的视频库聊天并观看视频流。StreamRAG能够在数百小时的视频内容中找到你输符合你需求的相关视频时刻，并立即返回一个视频剪辑，也就是说它能搜索视频内容的任意时刻。StreamRAG能够迅速浏览存储的大量视频资料，找到包含这些内容或主题的视频片段，并把这些片段展示给你，这样你就能直接观看到与你搜索内容相关的视频部分。StreamRAG有什么作用？StreamRAG允许用户上传视频，创建视频集合，并在这些视频中进行搜索，以获得实时的视频回应或编辑。此外，用户还可以将他们的视频集合发布到ChatGPT商店，以便他人搜索和使用。视频库创建： 上传多个视频以创建视频库或集合。视频搜索与回应： 在这些视频中搜索，能立即获得实时的视频响应或编译结果。GPTs发布： 在ChatGPT的GPT商店发布你的可搜索集合，这意味着您可以与更广泛的受众分享您丰富的视频内容，或者将其保留为个人专用或在选定的群组中。文本回答总结（RAG）： 接收总结性的摘要文本答案 （RAG）。视频关键洞察： 从特定视频中获得关键见解，例如“第31集的要点”。开源且易于使用：StreamRAG 是开源的，确保它可以访问和修改以满足您的所有需求。即使您不熟悉 ai 和视频数据库，StreamRAG 的设计也易于用户友好且易于实施。StreamRAG如何使用？1、获取 API 密钥：在 VideoDB 控制台上注册（前 50 次上传免费，没有 需要信用卡）。2、设置VIDEO_DB_API_KEY：在文件中输入您的密钥。env3、安装依赖项：在终端中运行。4、将集合上传到 VideoDB：在 中添加链接。upload.py5、在本地运行：使用 启动 flask 服务器。python app.py

MinerU简介 MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。 MinerU诞生于书生-浦语的预训练过程中。MinerU能保留原PDF文档结构，提取文字、图片、图片描述、表格等内容，自动识别并转换LaTeX格式、HTML格式，自动OCR，支持多语言。MinerU主要功能：删除页眉、页脚、脚注、页码等元素，确保语义连贯输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版保留原文档的结构，包括标题、段落、列表等提取图像、图片描述、表格、表格标题及脚注自动识别并转换文档中的公式为LaTeX格式自动识别并转换文档中的表格为HTML格式自动检测扫描版PDF和乱码PDF，并启用OCR功能OCR支持84种语言的检测与识别支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检支持CPU和GPU环境兼容Windows、Linux和Mac平台MinerU核心功能与优势：Magic-PDF模块：专注于PDF文档处理，能够智能识别并去除非正文内容如页眉、页脚，同时精准保留标题、段落、列表等结构，支持图片、表格、公式的提取，确保转换后的Markdown格式既准确又易于阅读。Magic-Doc模块：针对网页和电子书，能够从网页中提取正式内容。多模态内容处理：MinerU不仅处理文本，还能有效提取和处理图像、表格、公式等多模态内容。多语言支持：MinerU支持包括繁简中文在内的84种语言。格式多样：支持多种输出格式和可视化结果，适配 CPU 和 GPU 环境，兼容多平台。自动识别转换：识别并转换公式为 LaTeX 格式，表格为 LaTeX 或 HTML 格式，还能自动检测并启用 OCR 功能，。MinerU只要应用于学术研究、市场分析、法律文档处理、知识管理等领域，使得我们能高效地从大量文档中提取关键信息，从而加速数据准备过程，为大模型训练、知识图谱构建等提供高质量的数据支持。MinerU由上海人工智能实验室（上海ai实验室）大模型数据基座OpenDataLab团队开发，并在2024年的WAIC（世界人工智能大会）上发布，迅速在GitHub上获得关注，成为Python的热门项目。

M2UGen简介 腾讯发布多模态音乐生成模型M2UGen 支持图片、视频生成音乐，M2UGen是一款引领潮流的框架，融合了音乐理解和多模态音乐生成任务，旨在助力用户进行音乐艺术创作。通过其强大的功能，M2UGen提供了全方位的音乐生成和编辑体验。M2UGen演示地址：https://huggingface.co/M2UGenM2UGen项目地址：https://github.com/shansongliu/M2UGenM2UGen论文地址：https://arxiv.org/abs/2311.11255M型2UGen模型是一种音乐理解和生成模型，能够从文本，图像，视频和音频中进行音乐问答和音乐生成，以及音乐编辑。 该模型利用编码器，如用于音乐理解的 MERT、用于图像理解的 ViT 和用于视频理解的 ViViT，以及 MusicGen/AudioLDM2 模型作为音乐生成模型（音乐解码器），以及适配器和 LLaMA 2 模型。音乐的产生和理解我们介绍M2UGen框架，能够同时 包括音乐理解和多模态音乐生成任务， 旨在协助用户进行与音乐相关的艺术创作。面向音乐的数据集我们提出了一种系统化的方法，用于生成大面向多模态音乐的指令数据集，我们使用 MU-LLaMA 模型和 MosaicML 的 MPT-7B-Chat 模型来生成面向音乐的数据集。我们还利用BLIP图像字幕模型和VideoMAE字幕模型来为各自的模态添加字幕。除了可以从文字生成音乐外，它还支持图像、视频和音频生成音乐，并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解，ViT进行图像理解，ViViT进行视频理解，并使用MusicGen/AudioLDM2模型作为音乐生成模型（音乐解码器）。用户可以轻松移除或替换特定乐器，调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。此外，M2UGen还加入了适配器和LLaMA2模型，使得该模型具备多种能力。

Magi简介 Magi模型，可以自动将漫画转录成文字并自动生成剧本，还可以通过识别漫画页面上的面板、文字块和角色，重新排序和关联，输出连贯的对话内容，准确地为每幅漫画生成文本记录，从而保证输出文本的逻辑性，使整个流程更加高效。Magi模型由牛津大学工程科学系的视觉几何组开发。Magi适用于那些需要将漫画图片自动化生成文本的研究人员、开发者或者漫画爱好者。它为这些用户提供了方便快捷的工具，从而帮助他们轻松进行数字化漫画内容及索引。Magi GitHub源码：https://github.com/ragavsachdeva/magiMagi论文：https://arxiv.org/abs/2401.10224Magi模型主要功能：面板检测：精确识别漫画页面上的各个面板,即画家绘制的独立矩形画框,这是理解漫画页面布局和内容的第一步。文本检测：在每个面板内部定位文字区域，提取包含重要对话或叙述的文本块，这是理解面板内容的基础。角色检测：检测每个面板内出现的角色，获取其在图像中的边界框、姿态、表情等视觉信息，这对后续分析至关重要。角色识别：基于检测结果，识别每个角色的身份信息，如名字、称呼等，这可以帮助跟踪故事中的人物。角色聚类：根据面部特征、服装特征等信息，将同一角色的不同姿态图片聚类到一起，从而区分页面上的不同角色。语音分配：判断文本块属于页面上哪个角色的对话，将语音正确分配给对应的角色，这对生成精确的剧本必不可少。阅读排序：根据面板位置、阅读顺序,将分散的文本块重新排序和连接，输出连贯的对话内容，从而保证输出文本的逻辑性。Magi如何使用?1、上传漫画图片2、系统自动识别并提取漫画图片相关信息生成文本3、用户根据需要对文本进行编辑和修改通过Magi的这些功能，Magi能够自动将漫画页面转化为详细的文字剧本，解决漫画页面的自动理解和剧本生成问题，包含角色对话和相应的动作或情境描述，这使得漫画内容的数字化处理变得轻松快捷，使读者能够通过阅读文本来完整地体验漫画故事。