易魔声EmotiVoice

CustomNet简介 CustomNet旨在更好地将指定物品的图片融合到新生成的图片中，并确保原物品的样式和纹理细节得以还原。这项技术给商品图融合带来了一线生机。在文本到图像的生成过程中，将自定义对象纳入图像生成是一个极具吸引力的功能。然而，现有的基于优化和基于编码器的方法都存在一些缺陷，如优化耗时长、标识保存不足以及复制粘贴效应普遍存在等。为了克服这些局限性，我们引入了 CustomNet，这是一种新颖的对象定制方法，它将三维新颖视图合成功能明确纳入对象定制流程。这种整合有助于调整空间位置关系和视角，在有效保留对象特征的同时产生多样化的输出。此外，我们还引入了微妙的设计，通过文本描述或特定的用户自定义图像实现位置控制和灵活的背景控制，克服了现有三维新颖视图合成方法的局限性。我们还进一步利用数据集构建管道，更好地处理现实世界中的物体和复杂背景。有了这些设计，我们的方法无需进行测试时间优化就能实现零镜头对象定制，同时提供对位置、视点和背景的控制。因此，我们的自定义网络可确保增强的身份保护，并生成多样、和谐的输出。CustomNet 能够在一个统一的框架内同时控制视角、位置和背景，从而在有效保留物体特征和纹理细节的同时，实现和谐的定制图像生成。背景生成可以通过文本描述（"生成 "分支）或提供特定的用户自定义图像（"合成 "分支）来控制。

libcom简介 libcom是由上海交通大学BCMI实验室耗资数百万、历经六年时间研发的图像合成工具箱，它在2023年底正式发布，并迅速获得关注，截至2024年10月，其下载量已突破1.2万次。libcom集成了十余项图像合成功能，包括前景背景融合、光照匹配、阴影生成等，结合传统方法与深度学习技术，显著提升合成图像质量。libcom的推出，目的在于提供一个开箱即用的解决方案，让用户无需大量训练微调即可进行图像合成。libcom核心特点与功能：libcom的设计理念是全面覆盖图像合成的各个方面，它集成了十几项核心功能，每项功能都经过精心挑选和优化，以确保简单有效。get_composite_image：通过基础技术如剪切粘贴、alpha融合和泊松融合，实现前景与背景的自然结合。OPAScoreModel：评估合成图像的合理性，给出0到1的评分，帮助用户判断合成效果是否自然。FOPAHeatMapModel：生成热力图，指导用户找到最佳的前景物体放置位置和尺寸，提升合成图像的合理性。color_transfer：实现颜色迁移，帮助合成图像的前景与背景在色彩上更加和谐。ImageHarmonizationModel：通过调整光照，使前景与背景在视觉上更加一致，增强图像的和谐性。此外，libcom还提供了艺术图像和谐化、阴影生成等其他高级功能，以及一系列辅助资源，如awesome-image-composition资源库、在线演示（尽管可能不是最新模型）和一篇持续更新四年的综述文章，为图像合成领域的研究和应用提供了丰富的资料和工具。libcom应用领域：libcom工具箱广泛适用于虚拟现实、艺术创作、电子商务广告设计、以及作为数据增强工具来提升机器学习模型的训练质量等多个领域。如何使用Libcom进行图像合成？1.环境准备：确保你已经安装了Libcom工具箱。可以从其GitHub项目页面下载并安装。2.加载图像：准备好需要合成的前景图像和背景图像。确保前景图像有清晰的边界，以便后续处理。3.使用合成函数：Libcom提供了多个功能来实现图像合成，以下是一些常用的功能：get_composite_image：通过剪切、粘贴和融合技术将前景与背景合成。FOPAHeatMapModel：输入背景和前景，生成合理性分数热力图，帮助确定前景物体的最佳放置位置。ImageHarmonizationModel：调整前景光照，使其与背景和谐。4.执行合成：根据需要选择合适的模型进行合成。例如，使用get_composite_image函数可以直接将前景和背景合成，代码示例如下：composite_image = libcom.get_composite_image(foreground, background)5.评估合成效果：使用OPAScoreModel等模型评估合成后的图像质量，确保前景物体的位置和大小合理。可以通过以下代码获取分数：score = libcom.OPAScoreModel(composite_image, foreground_mask)6.后处理：如果需要，可以使用阴影生成模型（如ShadowGenerationModel）为合成图添加阴影，以增强真实感。7.保存结果：完成合成后，将结果保存为新图像文件，以便后续使用。libcom的推出不仅仅是图像合成技术的一次飞跃，更是开源社区的一大贡献。

ChatTTS简介 ChatTTS视频演示ChatTTS，一个专门用于对话场景的免费在线文本转语音TTS模型，适用于自然、对话式文本转语音。它支持英文和中文两种语言。这个语音专文本TTS模型 应该是目前对中文支持最好的了，ChatTTS模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。它专为对话任务优化，能够支持多种说话人语音，中英文混合等。ChatTTS还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。ChatTTS特点：对话式TTS: ChatTTS针对对话式任务进行了优化，实现了自然流畅的语音合成，同时支持多说话人。细粒度控制: 该模型能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。更好的韵律: ChatTTS在韵律方面超越了大部分开源TTS模型。同时提供预训练模型，支持进一步的研究。ChatTTS功能：多语言支持：ChatTTS 的主要功能之一是支持多种语言，包括英语和中文。这使得它能够服务广泛的用户并克服语言障碍。大数据训练：ChatTTS 已经使用大量数据进行了训练，大约有 1000 万小时的中文和英文数据。这种广泛的培训带来了高质量且自然的语音合成。对话框任务兼容性：ChatTTS 非常适合处理通常分配给大型语言模型 LLMs 的对话任务。它可以生成对话响应，并在集成到各种应用程序和服务中时提供更自然、更流畅的交互体验。开源计划：项目团队计划开源一个训练有素的基础模型。这将使社区的学术研究人员和开发人员能够进一步研究和开发该技术。控制和安全：团队致力于提高模型的可控性，添加水印，并与LLMs集成。这些努力保证了模型的安全性和可靠性。使用方便：ChatTTS 为其用户提供易于使用的体验。它只需要输入文本信息，即可生成相应的语音文件。这种简单性为有语音合成需求的用户提供了方便。ChatTTS可以用于哪些用途？ChatTTS可用于各种应用，包括大型语言模型助手的对话任务，生成对话语音，视频介绍，教育和培训内容语音合成，任何需要文本到语音功能的应用或服务。与其他文本转语音模型相比，ChatTTS有何独特之处？ChatTTS专为对话场景进行优化，特别适用于会话应用程序。它支持中文和英文，经过大规模数据集培训，以确保高质量、自然的语音合成。此外，计划开源基于40,000小时数据训练的基础模型使其与众不同，促进该领域的进一步研究和开发。ChatTTS Github开源下地地址：https://github.com/2noise/ChatTTS 相关资讯： 10款优秀的开源TTS语音模型推荐

EZ-Work简介 EZ-Work 是一款开源 ai 文档翻译助手，旨在帮助用户使用 OpenAI 等大型语言模型 API 快速且经济高效地翻译文档。支持txt、word、csv、excel、pdf、ppt等多种文档格式的翻译，适用于各种需要文档翻译的场景。支持txt、word、csv、excel、pdf、ppt文档AI翻译支持扫描pdf翻译支持兼容OpenAI格式的任何端点API（中转API）支持批量操作支持多线程支持Docker部署EZ-Work的主要特点：多格式文档翻译：EZ-Work支持多种常见文档格式的翻译，包括txt、word、csv、excel、pdf和ppt，甚至支持扫描的pdf文件的翻译，可以满足用户对不同格式文档的翻译需求。兼容OpenAI API：EZ-Work兼容OpenAI格式的任何端点API，并支持中转API。用户可以灵活选择翻译服务商，充分利用大语言模型的翻译能力。批量操作和多线程支持：支持多文档翻译任务的批量处理和多线程操作，大大提高翻译效率，适合处理大规模文档的翻译需求。Docker部署：EZ-Work提供Docker部署模式，让用户可以轻松地在不同操作系统和环境上部署和运行翻译服务，简化安装和配置过程。用户前台和管理后台：EZ-Work提供了简单易用的用户前端界面和管理后端，用户可以通过该界面直观地进行文档翻译操作和管理。适合没有技术背景的用户。高效率、低成本：EZ-Work通过调用大语言模型API，提供高效、低成本的文档翻译解决方案，适合有快速翻译需求的个人和企业。EZ-Work使用方法：EZ-Work兼容OpenAI API请求格式进行文档翻译，请输入接口地址，默认为https://api.openai.com （支持中转接口），再输入API Key，即可开始使用。在线版无需注册即可体验，暂不提供会员注册服务。如果您需要完整的功能和更快的性能，请按照下方提示自行部署。

AnyDoor简介 AnyDoor，由香港大学、阿里巴巴和蚂蚁集团联合研发AnyDoor，可以将一张照片上的任何物品传送到另一张图片的世界中。AnyDoor项目地址：https://damo-vilab.github.io/AnyDoor-Page/AnyDoor在线演示地址：https://huggingface.co/spaces/xichenhku/AnyDoor-onlineAnyDoor功能：对象移动：AnyDoor 可以应用于对象移动等花哨的任务。对象交换：AnyDoor 也可以扩展为进行对象交换。虚拟试妆：AnyDoor还可以作为虚拟试妆的简单但强大的基准。它可以保留不同衣服的颜色、图案和纹理，而无需复杂的人工解析。多主体合成:：由于 AnyDoor 具有高度可控性，可将对象放置在给定场景的特定位置，因此很容易扩展到多主题构图。AnyDoor使用场景：在虚拟试穿应用中，用户可以将选定的衣物快速定制到自己的照片中。在物体移动应用中，用户可以将目标物体从一张照片移动到另一张照片中的指定位置。在设计领域中，用户可以将自己设计的家具或装饰品定制到不同的室内场景中，以获得更直观的效果预览。AnyDoor是一种基于扩散的图像生成器，能够以和谐的方式将目标物体传送到用户指定位置的新场景。 我们的模型不是为每个对象调整参数，而是只训练一次，并在推理阶段毫不费力地泛化到不同的对象-场景组合。 如此具有挑战性的零样本设置需要对特定物体进行充分的表征。为此，我们用细节特征来补充常用的身份特征，这些特征经过精心设计，以保持纹理细节，同时允许多种局部变化（例如，照明、方向、姿势等），支持物体与不同环境的有利融合。 我们进一步建议从视频数据集中借用知识，在那里我们可以观察到单个物体的各种形式（即沿时间轴），从而实现更强的模型泛化性和鲁棒性。大量的实验证明了我们的方法优于现有的替代方案，以及它在实际应用中的巨大潜力，如虚拟试妆和物体移动。

Zero123简介 今天，我们发布了稳定版 Zero123，这是我们内部训练的模型，用于生成视图条件图像。与之前最先进的 Zero123-XL 相比，稳定的 Zero123 产生了显着改善的结果。这是通过 3 项关键创新实现的：1、改进的训练数据集，从 Objaverse 中大量过滤，只保留高质量的 3D 对象，我们渲染的对象比以前的方法更加真实。2、在训练和推理过程中，我们为模型提供了估计的摄像机角度。这种海拔调节使其能够做出更明智、更高质量的预测。3、预先计算的数据集（预先计算的潜在变量）和改进的数据加载器支持更高的批量大小，与第一个创新相结合，与 Zero123-XL 相比，训练效率提高了 40 倍。Zero123特征：稳定的 Zero123 可以生成物体的新颖视图，展示从各个角度对物体外观的 3D 理解，由于训练数据集和高程条件的改进，其质量比 Zero1-to-3 或 Zero123-XL 显着提高。该模型基于稳定扩散 1.5，消耗与 SD1.5 相同数量的 VRAM 来生成 1 个新视图。使用 Stable Zero123 生成 3D 对象需要更多时间和内存（建议使用 24GB VRAM）。为了实现 3D 对象生成方面的开放研究，我们改进了 Threestudio 开源代码的开源代码，以支持 Zero123 和 Stable Zero123。 Stable 3D 流程的简化版本目前处于私人预览阶段。从技术角度来说，这使用分数蒸馏采样 (SDS) 来使用稳定的 Zero123 模型来优化 NeRF，稍后我们可以从中创建纹理 3D 网格。该过程可以适用于文本到 3D 生成，首先使用 SDXL 生成单个图像，然后使用 Stable Zero123 生成 3D 对象。Zero123项目：https://github.com/cvlab-columbia/zero123Zero123试用：https://huggingface.co/spaces/cvlab/zero123-liveZero123论文：https://arxiv.org/abs/2303.11328该模型现已发布在 Hugging Face 上，研究人员和非商业用户可以下载并进行实验。

CodeFormer简介 CodeFormer，超强的ai 视频去码、图片修复，人脸修复神器，它的功能包括人脸清晰化修复、人脸色彩化和人脸去马赛克，可以应用于各种场景。由南洋理工大学 S-Lab 开发。它通过网络架构实现了人脸的变换，包括色彩化、清晰化、去马赛克修复等功能。官方给出的测试对比图显示其修复效果非常出色。测试该工具非常简单，只需下载源码并安装 Pytorch 框架即可。通过命令行输入不同的参数，可以进行人脸清晰化修复、人脸色彩化和人脸去马赛克操作。然而，人脸去马赛克算法只支持白色遮挡，其他颜色则不支持，这可能是该工具的一个缺点。Github 4.8k Stars! | CodeFormer: 地表最强AI马赛克去除神器! (附实战教程) 相关资讯： 如何使用CodeFormer修复老旧照片和去除马赛克？

Meilisearch简介 Meilisearch ，快如闪电的搜索引擎，可轻松融入您的应用程序、网站和工作流程，Meilisearch 可帮助您快速打造令人愉悦的搜索体验，提供开箱即用的功能来加快您的工作流程。Meilisearch 特点混合搜索：结合语义搜索和全文搜索的优点以获得最相关的结果键入即搜索：在 50 毫秒内查找并显示结果，提供直观的体验拼写错误容忍度：即使查询包含拼写错误和拼写错误，也能获得相关匹配过滤和分面搜索：通过自定义过滤器增强用户的搜索体验，并用几行代码构建分面搜索界面排序：根据价格、日期或用户需要的几乎任何其他内容对结果进行排序同义词支持：配置同义词以在搜索结果中包含更多相关内容地理搜索：根据地理数据过滤和排序文档广泛的语言支持：搜索任何语言的数据集，优化支持中文、日语、希伯来语和使用拉丁字母的语言安全管理：使用允许细粒度权限处理的 API 密钥控制哪些用户可以访问哪些数据多租户：为任意数量的应用程序租户提供个性化搜索结果高度可定制：根据您的特定需求定制美丽搜索或使用我们开箱即用且无忧的预设RESTful API：将Meilisearch与我们的插件和SDK集成到您的技术堆栈中易于安装、部署和维护Meilisearch 应用：电影 — 一款可帮助您使用混合搜索找到观看电影的流媒体平台的应用程序。电子商务 - 使用析取方面、范围和评级过滤以及分页的电子商务网站。歌曲 — 搜索 4700 万首歌曲。SaaS — 在此多租户 CRM 应用程序中搜索联系人、交易和公司。Meilisearch 是由 Meili 创建的搜索引擎，Meili 是一家总部位于法国、团队成员遍布世界各地的软件开发公司，Meilisearch 现在是、也将永远是开源的！