LiveSketch

PhotoMaker简介 PhotoMaker，利用多张照片作为身份ID，获取人物特征，然后根据描述生成符合描述的人物照片创造出一个新的、个性化的人物图像。PhotoMaker也能把几个不同人的照片特征混合在一起，创造出一个全新的人物形象。还能改变照片人物的性别、年龄和生成多种风格的其他照片。快速逼真，效果自然。PhotoMaker主要功能：根据文字描述制作照片：你可以告诉它你想要的人物样子，它就能生成符合描述的人物照片。身份混合：如果用户提供不同的图像 ID作为输入，我们的PhotoMaker可以很好地整合这些特性 的不同 ID 形成一个新的 ID。改变年龄或性别：比如，你可以把一张男士的照片转换成女士的样子，或者让照片中的人看起来年轻或年老。风格化：它还能给照片加上不同的艺术效果，比如油画风格或卡通风格。而保留 ID 属性。将艺术品/旧照片中的人物带入现实：由 拍摄一个人的艺术绘画、雕塑或旧照片 作为输入，我们的PhotoMaker可以将一个人从上个世纪甚至远古时代带到本世纪 为他们“拍照”。我们在每张图片下方显示条件反射提示。PhotoMaker主要特点：结合多张照片的特征：PhotoMaker可以取多张照片，这些照片可以是同一个人的，也可以是不同人的。它分析这些照片中的特征，然后将它们结合起来，创造出一个新的、个性化的人物图像。灵活的文本控制：与其他方法相比，PhotoMaker提供了更灵活的文本控制能力。用户可以通过文本提示来指导图像的生成，这使得创造出的图像不仅逼真，而且能更好地符合用户的具体要求。高效率和快速生成：相比于需要大量微调的方法（如DreamBooth），PhotoMaker在保持身份信息的同时，提供了更快的生成速度。它能在短时间内（例如10秒）生成定制的人类照片，这对于需要快速生成结果的应用场景非常有利。高身份保真度：PhotoMaker在生成图像时能更好地保持人物的身份特征。这对于需要精确保留人物特征的场景（如个性化肖像或身份识别）尤其重要。PhotoMaker如何工作？PhotoMaker首先分析照片，识别出每张照片中人物的特征，比如面部特征、发型、服装风格等。然后，它将这些特征结合起来，创建一个新的图像。这个图像基本上是你的脸，但可能有着电影明星的发型和表情，同时穿着那张历史服装照片中的服装。最终的结果是一张全新的照片，这张照片展示了一个独特的人物形象：看起来像你，但具有其他照片中人物的特征和风格。这就是PhotoMaker的核心功能——结合多个不同照片的特征，创造出一个全新、个性化的图像。源码：https://github.com/TencentARC/PhotoMaker

EmojiGen简介 EmojiGen是一个开源的表情符号生成器。它由 Replicate 上的 fofr/sdxl-emoji 提供支持。可以根据用户任意的文字描述生成新的表情符号，不同用户可以获得完全定制的个性表情符号，用户只需要在输入框中输入一个词或短语，EmojiGen就会立即生成相关的表情符号。EmojiGen，应该是世界上最大的表情符号库（约 25 万表情）,EmojiGen有大量默认的表情符号，分类为“最新”和“特色”两部分。EmojiGen还有个开源项目，为其他开发者提供了参考，并进行二次开发打造出更多优秀的ai应用。可以利用文本提示生成表情。接受用户的提示，生成一个表情。然后，使用Replicate去除背景。用户可以点击下载并添加到Slack。EmojiGen功能：使用AI技术根据文字生成相关的表情符号。提供大量默认表情符号库（约 25 万表情）。用户可以输入任意文字获得自定义表情符号。生成的图片可以下载保存和在聊天软件中使用。

VideoDrafter简介 VideoDrafter，一个高质量视频生成的开放式扩散模型，相比之前的生成视频模型，VideoDrafter最大的特点是能在主体不变的基础上，一次性生成多个场景的视频。项目地址：https://videodrafter.github.io论文地址：https://arxiv.org/abs/2401.01256VideoCrafter由腾讯ai实验室和香港科技大学主导，同时也有来自中国科学院、香港中文大学和香港城市大学的研究人员参与。是一款全新的视频生成模型，可以进行创建和编辑套件，采用了扩散模型，能够从文本描述生成照片和视频。即使没有视频编辑或动画经验的人也可以轻松制作专业品质的视频。VideoDrafter目前包括Text2Video和Image2Video模型。Text2Video模型用于生成通用的文本到视频的转换，Image2Video模型用于生成通用的图像到视频的转换。商用的Text2Video模型可以生成高质量的视频，但是不开源。VideoDrafter功能：VideoCrafter 是一个创新的开源视频创作和编辑套件。它使用扩散模型和机器学习从文本描述中生成逼真的视频。该工具用户友好，适合初学者，提供专业品质的结果。VideoCrafter 的操作涉及将文本转换为视觉序列并将它们拼接在一起。它的多功能性允许创建各种视频类型，从教育内容到宣传材料。分步指南使 VideoCrafter 入门变得容易。该工具是免费使用的，所有创作者都可以使用。VideoDrafter使用步骤：1、创建视频的书面大纲。2、根据自己的喜好设置视频相关参数，包括分辨率和帧速率。3、使用“生成”按钮。4、输入一些文字，VideoCrafter将为您生成视频。5、生成的视频可以在集成编辑器的帮助下进行修改。6、在进行调整后，可以将视频保存为多种格式，包括MP4、MOV和AVI。VideoCrafter的用户友好性使其即使对于从未使用过视频或动画软件的人也可以轻松使用。与商业制作的电影媲美，VideoCrafter的输出质量非常高。无论您想制作解释性视频还是短片，VideoCrafter都能胜任。更重要的是，VideoCrafter是一个免费的开源项目。

迅排设计简介 迅排设计Poster-Design，一款漂亮易用且功能强大的创意图片编辑器，对标稿定设计、创客贴、Canva 等商业产品。迅排设计适用于海报生成、电商分享图、文章长图、视频/公众号封面等多种场景，无需下载软件即可轻松实现云端编辑、迅速完成图文排版。迅排设计Github仓库地址：https://github.com/palxiao/poster-design迅排设计Poster-Design特点：丝滑的页面操作体验，丰富的交互细节，基础功能完善采用服务端生成图片，能确保多端出图统一性，支持各种 CSS 特性简易 ai 抠图工具，上传图片一键去除背景技术栈：Vue3 、Vite5 、Vuex 、ElementPlus，开发体验畅快图片生成：Puppeteer、Express迅排设计Poster-Design支持功能：导入 PSD 文件解析成模板、在线导出图片下载。元素拖拽、组合、缩放、层级调整、对齐等操作。图片素材插入、替换、裁剪，图片容器等功能。SVG 素材颜色、透明度编辑，文字花字组合。画布自定义尺寸、滚轮缩放、自适应画布吸附对齐、辅助引导线、标尺功能。键盘快捷键、右键菜单快捷操作，复制删除等常用操作。风格二维码编辑，支持单色、渐变、自定义 logo 等。图层操作，支持拖拽变更层级。颜色调色板，原生级取色器颜色吸管（Chrome）。迅排设计完全免费，可在保留 MIT 开源许可证 的前提下使用。迅排设计自正式开源以来，受到了各界的广泛关注，其Github仓库在短短一个月内就获得了大量的关注。这表明迅排设计不仅在功能上满足了用户的需求，而且在社区支持和开源文化方面也展现出了良好的发展势头。迅排设计通过其强大的功能、易用的设计以及良好的社区支持，成为了市场上一款值得关注的在线图片编辑器和海报设计工具。

Unique3D简介 Unique3D 在 30 秒内从单视图野生图像生成高保真、多样化纹理网格，当然运行速度取决于你的硬件资源情况。Unique3D主要功能：高保真度生成：Unique3D 实现了最先进的生成保真度，可生成细致复杂的纹理和复杂的几何形状。这是通过多视图扩散模型来实现的，该模型生成正交多视图图像和相应的法线贴图。效率：框架效率高，能够在30秒内生成高保真3D网格。这种效率归功于快速前馈模型和称为 ISOMER 的即时网格重建算法的集成。一致性：Unique3D 通过使用多级升级流程逐步提高生成图像的分辨率，确保生成视图的一致性。 ISOMER 算法将颜色和几何先验集成到网格结果中，解决了先前方法中发现的不一致问题。通用性：该框架表现出很强的通用性，在各种不同风格的野生2D图像上表现良好。大量实验证明了这一点，这些实验表明 Unique3D 在保真度、几何细节和分辨率方面优于现有方法。多级升级策略：Unique3D采用多级升级策略来逐步增强生成图像的分辨率。这涉及微调多视图感知 ControlNet 并使用超分辨率模型来实现高分辨率输出。法线贴图预测：为了捕捉丰富的表面细节，Unique3D 使用法线扩散模型来预测与多视图彩色图像相对应的法线贴图。这提高了几何细节的准确性，尤其是边缘处。ExplicitTarget 优化：为了解决多视图不一致问题并细化几何细节，Unique3D 引入了 ExplicitTarget 优化。该方法为每个顶点分配唯一的优化目标，比传统方法更稳健地指导优化方向。Unique3D特征：在 30 秒内生成高保真纹理网格。5 天内仅使用 8 个 RTX4090 GPU 进行训练。利用多视图扩散模型和法线扩散模型来生成多视图图像和法线贴图。采用多级升级流程来提高分辨率。使用 ISOMER 进行即时且一致的网格重建。Unique3D由清华大学和AVAR Inc.的研究团队共同开发。Unique3D官网入口：Unique3D 在线使用：https://huggingface.co/spaces/Wuvin/Unique3DUnique3D 项目地址：https://wukailu.github.io/Unique3D/Unique3D Github：https://github.com/AiuniAI/Unique3D

Motionshop简介 Motionshop，ai角色动画工具，通过先进的视频处理和3D渲染技术，Motionshop能够自动检测视频中的人物，并替换成3D卡通角色模型，生成有趣的AI视频。同时不改变视频中的其他场景和人物，被替换的3D角色能完整复刻原视频中人物的动作，动作保持一致。Motionshop项目主页：https://aigc3d.github.io/motionshop/Motionshop的技术原理：1、视频处理和背景提取： 利用视频处理技术，从原始视频中分离出人物，留下无人的背景。这一步涉及复杂的图像分析和处理，以确保背景的完整性和连贯性。角色检测： Motionshop使用基于变换器的框架紧密融合文本信息与现有封闭集检测器，实现零样本对象检测。分割与追踪： 成功检测目标后，通过视频对象分割追踪方法跟踪像素级目标区域。修补： 视频中剩余的图像区域通过视频修补技术完成，包括递归流完成、图像和特征域的双域传播等。2、姿势估计： 这一步骤使用姿势估计技术来分析视频中人物的动作。它涉及到对人体动作的捕捉和分析，使用CVFFS方法估计稳定的人体姿势，并采用SMPL人体模型表示3D人体。3、3D卡通角色动画生成： 根据估计出的姿势和动作，生成相应的3D动画人物。这个过程需要确保3D模型的动作与原视频中的人物动作相匹配。4、光照估计： 为了让3D模型更自然地融入原视频背景，需要估计视频中的光照条件，并对3D模型进行相应的光照处理。5、高性能渲染： Motionshop使用如TIDE这样的高性能光线追踪渲染器对3D卡通角色模型进行渲染，确保其具有高度的真实感和视觉效果。6、视频合成： 最后，Motionshop将渲染好的3D卡通角色合成回无人背景视频中，生成最终的视频成果。Motionshop如何使用：上传一段视频，AI自动识别视频中的运动主体人物，并一键替换成有趣的3D角色模型，生成与众不同的AI视频。第一步：上传一个包含人物的视频（请保证人物完整，视频时长不超过15秒）；第二步：选择视频中要替换的人物（自动选择）；第三步：选择要替换的虚拟角色模型并点击生成，等待10分钟即可生成结果。Motionshop基本上可以平替Wonder Studio。Wonder Studio可以自动化将现实场景中的人物转换替代成CG 角色，还可以进行动画、灯光和合成。

libcom简介 libcom是由上海交通大学BCMI实验室耗资数百万、历经六年时间研发的图像合成工具箱，它在2023年底正式发布，并迅速获得关注，截至2024年10月，其下载量已突破1.2万次。libcom集成了十余项图像合成功能，包括前景背景融合、光照匹配、阴影生成等，结合传统方法与深度学习技术，显著提升合成图像质量。libcom的推出，目的在于提供一个开箱即用的解决方案，让用户无需大量训练微调即可进行图像合成。libcom核心特点与功能：libcom的设计理念是全面覆盖图像合成的各个方面，它集成了十几项核心功能，每项功能都经过精心挑选和优化，以确保简单有效。get_composite_image：通过基础技术如剪切粘贴、alpha融合和泊松融合，实现前景与背景的自然结合。OPAScoreModel：评估合成图像的合理性，给出0到1的评分，帮助用户判断合成效果是否自然。FOPAHeatMapModel：生成热力图，指导用户找到最佳的前景物体放置位置和尺寸，提升合成图像的合理性。color_transfer：实现颜色迁移，帮助合成图像的前景与背景在色彩上更加和谐。ImageHarmonizationModel：通过调整光照，使前景与背景在视觉上更加一致，增强图像的和谐性。此外，libcom还提供了艺术图像和谐化、阴影生成等其他高级功能，以及一系列辅助资源，如awesome-image-composition资源库、在线演示（尽管可能不是最新模型）和一篇持续更新四年的综述文章，为图像合成领域的研究和应用提供了丰富的资料和工具。libcom应用领域：libcom工具箱广泛适用于虚拟现实、艺术创作、电子商务广告设计、以及作为数据增强工具来提升机器学习模型的训练质量等多个领域。如何使用Libcom进行图像合成？1.环境准备：确保你已经安装了Libcom工具箱。可以从其GitHub项目页面下载并安装。2.加载图像：准备好需要合成的前景图像和背景图像。确保前景图像有清晰的边界，以便后续处理。3.使用合成函数：Libcom提供了多个功能来实现图像合成，以下是一些常用的功能：get_composite_image：通过剪切、粘贴和融合技术将前景与背景合成。FOPAHeatMapModel：输入背景和前景，生成合理性分数热力图，帮助确定前景物体的最佳放置位置。ImageHarmonizationModel：调整前景光照，使其与背景和谐。4.执行合成：根据需要选择合适的模型进行合成。例如，使用get_composite_image函数可以直接将前景和背景合成，代码示例如下：composite_image = libcom.get_composite_image(foreground, background)5.评估合成效果：使用OPAScoreModel等模型评估合成后的图像质量，确保前景物体的位置和大小合理。可以通过以下代码获取分数：score = libcom.OPAScoreModel(composite_image, foreground_mask)6.后处理：如果需要，可以使用阴影生成模型（如ShadowGenerationModel）为合成图添加阴影，以增强真实感。7.保存结果：完成合成后，将结果保存为新图像文件，以便后续使用。libcom的推出不仅仅是图像合成技术的一次飞跃，更是开源社区的一大贡献。

设计小咖致力于构建卓越设计师的专属社区，为您提供丰富的创意资...