StoryDiffusion

AIdea简介 aidea是一款开源的AI聚合工具，它将主流的大语言模型和绘图模型集成到一个APP中，为用户提供了丰富的AI应用体验。AIdea 不仅支持GPT 以及国产大语言模型通义千问、文心一言等，支持 Stable Diffusion 文生图、图生图、 SDXL1.0、超分辨率、图片上色的全能型 APP，满足不同用户的需求。AIdea 的代码完全开源，客户端使用 Flutter 开发，支持 Android、iOS、桌面和 Web 多端部署使用。用户可以通过 APP 或不同平台的客户端，体验 AIdea 的全部功能。AIdea集成了主流大语言模型以及绘图模型的 APP， 采用 Flutter 开发，代码完全开源，支持以下功能：支持 GPT-3.5/4 问答聊天;支持国产模型：通义千问，文心一言;支持文生图、图生图、超分辨率、黑白图片上色等功能，集成 Stable Diffusion 模型，支持 SDXL 1.0.AIdea开源代码：客户端：https://github.com/mylxsw/aidea服务端：https://github.com/mylxsw/aidea-server

CosyVoice简介 CosyVoice是一款基于语音量化编码的语音生成大模型，一个可以深度融合文本理解和语音生成的一项新型语音合成技术，它对语音进行离散化编码，并依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice能够精准解析并诠释各类文本内容，将其转化为宛如真人般的自然语音。你只需提供3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。CosyVoice项目官网：https://www.modelscope.cn/studios/iic/CosyVoice-300MCosyVoice源码地址：https://github.com/FunAudioLLM/CosyVoiceCosyVoice API地址：https://help.aliyun.com/zh/model-studio/developer-reference/cosvoice-large-model-for-speech-synthesis/?spm=a2c4g.11186623.0.0.56f01751Ke29mhCosyVoice功能特征：高度拟人化：采用阿里通义语音实验室自研的CosyVoice 生成式神经网络语音大模型算法，使生成的语音在语调、韵律、情感表达等方面达到超拟人程度。多语言：CosyVoice支持中英日粤韩5种语言的生成，专注自然语音生成，支持多语言、音色和情感控制，效果显著优于传统语音生成模型。多样化音色选择：提供海量优质的音库资源，包括不同性别、年龄、方言以及各种特色声音，满足用户在不同场景下的个性化需求。无论是新闻播报的庄重严肃，还是故事讲述的情感丰富，都能轻松驾驭。实时高效合成：系统具有出色的响应速度和流式语音合成处理能力，无论是长篇文档还是短句指令，都能实现快速、准确的实时语音合成。情感和韵律控制：CosyVoice支持富语言声音事件以及多情感的高拟人语音生成，例如笑声、语气词等，以及不同情感表现的高拟人语音生成。声音克隆：只需提供3~10s的原始音频，CosyVoice即可克隆生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。CosyVoice应用：CosyVoice适用于多种应用场景，如智能客服、有声读物、车载导航、教育辅导等。智能设备/机器人播报的语音内容，如智能客服机器人、智能音箱、数字人、语音助手等。音视频创作中需要将文字转为语音播报的场景，如小说阅读、新闻播报、影视解说、剧本配音等。CosyVoice极大地拓宽了语音交互的可能性，提升用户体验的同时，也为企业智能化转型提供了强大支持。同最近大火的ChatTTS对比，可以发现CosyVoice的合成音频在内容一致性上更高，CosyVoice对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升，并且没有很少存在幻觉额外多字的现象。CosyVoice很好地建模了合成文本中的语义信息，在内容一致性和说话人相似度上超越人类。

PhotoMaker简介 PhotoMaker，利用多张照片作为身份ID，获取人物特征，然后根据描述生成符合描述的人物照片创造出一个新的、个性化的人物图像。PhotoMaker也能把几个不同人的照片特征混合在一起，创造出一个全新的人物形象。还能改变照片人物的性别、年龄和生成多种风格的其他照片。快速逼真，效果自然。PhotoMaker主要功能：根据文字描述制作照片：你可以告诉它你想要的人物样子，它就能生成符合描述的人物照片。身份混合：如果用户提供不同的图像 ID作为输入，我们的PhotoMaker可以很好地整合这些特性 的不同 ID 形成一个新的 ID。改变年龄或性别：比如，你可以把一张男士的照片转换成女士的样子，或者让照片中的人看起来年轻或年老。风格化：它还能给照片加上不同的艺术效果，比如油画风格或卡通风格。而保留 ID 属性。将艺术品/旧照片中的人物带入现实：由 拍摄一个人的艺术绘画、雕塑或旧照片 作为输入，我们的PhotoMaker可以将一个人从上个世纪甚至远古时代带到本世纪 为他们“拍照”。我们在每张图片下方显示条件反射提示。PhotoMaker主要特点：结合多张照片的特征：PhotoMaker可以取多张照片，这些照片可以是同一个人的，也可以是不同人的。它分析这些照片中的特征，然后将它们结合起来，创造出一个新的、个性化的人物图像。灵活的文本控制：与其他方法相比，PhotoMaker提供了更灵活的文本控制能力。用户可以通过文本提示来指导图像的生成，这使得创造出的图像不仅逼真，而且能更好地符合用户的具体要求。高效率和快速生成：相比于需要大量微调的方法（如DreamBooth），PhotoMaker在保持身份信息的同时，提供了更快的生成速度。它能在短时间内（例如10秒）生成定制的人类照片，这对于需要快速生成结果的应用场景非常有利。高身份保真度：PhotoMaker在生成图像时能更好地保持人物的身份特征。这对于需要精确保留人物特征的场景（如个性化肖像或身份识别）尤其重要。PhotoMaker如何工作？PhotoMaker首先分析照片，识别出每张照片中人物的特征，比如面部特征、发型、服装风格等。然后，它将这些特征结合起来，创建一个新的图像。这个图像基本上是你的脸，但可能有着电影明星的发型和表情，同时穿着那张历史服装照片中的服装。最终的结果是一张全新的照片，这张照片展示了一个独特的人物形象：看起来像你，但具有其他照片中人物的特征和风格。这就是PhotoMaker的核心功能——结合多个不同照片的特征，创造出一个全新、个性化的图像。源码：https://github.com/TencentARC/PhotoMaker

ChatGPT-Plus简介 ChatGPT-PLUS 基于 ai 大语言模型 API 实现的 AI 助手全套开源解决方案，自带运营管理后台，开箱即用。集成了 ChatGPT, Azure, ChatGLM,讯飞星火，文心一言等多个平台的大语言模型。支持 MJ AI 绘画，Stable Diffusion AI 绘画，微博热搜等插件工具。采用 Go + Vue3 + element-plus 实现。ChatGPT-PLUS主要功能：完整的开源系统，前端应用和后台管理系统皆可开箱即用。基于 Websocket 实现，完美的打字机体验。内置了各种预训练好的角色应用，比如小红书写手，英语翻译大师，苏格拉底，孔子，乔布斯，周报助手等。轻松满足你的各种聊天和应用需求。支持 OPenAI，Azure，文心一言，讯飞星火，清华 ChatGLM等多个大语言模型。支持 Midjourney / Stable Diffusion AI 绘画集成，开箱即用。支持使用个人微信二维码作为充值收费的支付渠道，无需企业支付通道。已集成支付宝支付功能，微信支付，支持多种会员套餐和点卡购买功能。集成插件 API 功能，可结合大语言模型的 function 功能开发各种强大的插件，已内置实现了微博热搜，今日头条，今日早报和 AI 绘画函数插件。ChatGPT-Plus功能截图：ChatGPT-PLUS全套完整的开源系统，前端应用和后台管理系统皆可开箱即用，基于 MIT 开源协议，集成支付系统，可以直接商用变现。

Glodastory简介 GlodaStory，是一款以TikTok为主的大数据分析产品，是全网首个 TikTok+Amazon+Douyin 三合一跨域选品平台，旨在助力全球电商业务增长，帮助品牌发现蓝海市场，以更宏观的全球视野去发现生意增长机会。 从TikTok数据洞察， 延展到更多的新兴social平台，驱动全球电商生意增长。Glodastory的关键特点和功能：跨平台联合选品：Glodastory首创TikTok、亚马逊和抖音三合一跨域大数据联动选品，帮助跨境商家快速找到各平台的潜力爆品，抢占平台发展的早期类目红利。通过对比TikTok、Amazon和抖音三大平台的热销商品，用户可以快速了解不同平台上的畅销产品和市场趋势，从而发现尚未被充分开发的市场机会。细分市场深度在线分析：Glodastory提供TikTok细分市场的深度在线分析，帮助商家在5分钟内了解所在市场的发展健康度，并在市场发生异动时及时调整运营策略。这包括对29个一级品类和2209个细分品类的市场大盘销售额、销量、视频、商品、小店、达人等数据的全面覆盖。市场大盘与竞争分析：Glodastory能够帮助用户分析3级细分品类的市场大盘和市场竞争，寻找高增长低竞争的品类赛道。例如，对于美妆个护品类，Glodastory显示2024年4月美妆个护大盘环比增长59.34%，GMV $100.37M，是红海市场。通过细看子类目，可以发现某些子类目的增长机会，同时评估市场饱和度和竞争情况，以确定是否适合入局。竞品分析与商品售卖策略：通过价格带分布，Glodastory帮助用户了解在定价在10-30$之间的商品最好卖，而且这个价格区间的商品售卖的小店很少，动销商品数适中，是一个高增长，低竞争的蓝海品类。此外，通过分析热销商品，可以发现产品同质化严重，有新的货源、新的销售模式，容易做成爆品。亚马逊热销商品跟卖与差异化选品：Glodastory的亚马逊热销榜、心愿榜、礼物榜、增长榜、新品榜，可以帮助用户快速找到畅销商品或者需求高、意向高的商品。如果这些商品在TikTok上未发现同款产品，用户可以在TikTok上跟卖这些商品，实现确定性差异化选品。同时，通过比较亚马逊和TikTok平台上同一商品的销量和售价，可以发现潜在的市场机会，制定商品售卖策略，打造差异化。视频、商品、达人榜单分析：Glodastory提供多种视频榜单、商品榜单、达人榜单，用户可以对标头部竞品，深入剖析爆品的营销推广逻辑，学习头部的视频拍摄角度、剪辑手法，找相似的达人合作推广，做出自己商品的独特性，打造独一无二的影响力。TikTok电商数据分析：Glodastory提供tiktok电商数据分析、tiktok短视频数据分析、tiktok商品数据分析、tiktok达人分析、tiktok小店数据分析等，助力卖家实现高效选品、市场分析、甄选达人等。用户增长分析与视频表现分析：Glodastory监测粉丝增长、互动数据，帮助用户了解账号的发展趋势，识别增长高峰和低谷。同时，分析每个视频的观看量、点赞、评论、分享等数据，帮助用户找到最受欢迎的内容类型和风格。受众分析：Glodastory提供受众的地理位置、年龄、性别等详细数据，帮助用户更好地了解观众群体，优化内容策略。官方数据分析工具补充：TikTok官方数据分析工具如TikTok Analytics只能帮助运营者了解自己的账户情况，而Glodastory作为第三方数据分析工具，能够提供更全面的行业品类大盘、竞品运营和销售情况的数据，帮助商家完成tiktok选品/测品、制定营销策略、甄选优质达人、提升投放效率。Glodastory使用步骤：1.登录和注册：首先，访问Glodastory的官方网站https://www.glodastory.com/。如果您是首次使用，需要注册一个账户。按照网站上的指示完成注册过程。2.访问主要功能市场大盘洞察：登录后，您可以访问市场大盘功能，了解目标市场的蓝海生意机会，识别高增长低竞争的品类赛道。科学选品：使用深度分析功能，根据海外市场本地化需求、消费习惯和竞争格局，找到具有潜力的商品。素材跑量：通过智能分析和优化广告素材，提升广告效果和转化率。3.达人建联与推广使用橱窗达人检测工具：输入消费者ID，筛选出关注或使用您产品的橱窗达人，进行高效建联和推广。分析竞品和找达人：利用竞品分析功能，制定商品售卖策略，并找到与您的产品相匹配的达人进行合作推广。4.数据分析与策略制定三合一选品数据平台：结合TikTok、抖音和亚马逊的数据，进行跨平台的数据对比分析，帮助商家洞察市场趋势，制定营销策略。一站式数据分析：提供市场大盘、选品、内容、达人等多维度的数据分析，支持商家做出更精准的营销决策。Glodastory由广州数说故事技术有限公司开发，致力于为品牌提供全球市场的商业数据支持。Glodastory是一个专业的TikTok数据分析平台，提供一站式的电商数据分析服务。它可以帮助用户进行TikTok短视频、商品、达人和小店的数据分析，助力卖家高效选品和优化营销策略。Glodastory还支持跨平台创意选品，结合TikTok、亚马逊和抖音的数据，帮助跨境商家快速找到潜力爆品。

StoryTribe简介 StoryTribe，可以轻松制作令人惊叹的插图和故事板。不需要绘画技巧。在几分钟内自定义角色、道具、背景和对话气泡，因此您可以专注于讲述您的故事，而不是在复杂的软件中苦苦挣扎。StoryTribe功能特征：适合专业和学术用例的优质插图。StoryTribe 提供大量角色组合，并且选项还在不断扩展。StoryTribe 提供了一个即用型图形资源和场景道具库。完全可定制的语音和思想泡泡可满足您的故事板需求，设计既有趣又直观。通过 StoryTribe 故事板应用程序中对背景图像的支持，立即构建上下文。StoryTribe 中的角色旨在反映现实生活中的人类比例，允许与现实生活中的照片无缝集成，并立即沉浸在视觉故事讲述中。StoryTribe应用：数字产品与用户体验用户体验研究人员和设计师可以使用StoryTribe来直观地呈现用户体验研究结果，并引人注目地传达用户故事和问题。StoryTribe还可以说明产品创意、商业机会的未来场景，并通过讲故事使团队围绕共同的产品愿景进行协调。营销与广告StoryTribe可以帮助营销人员和广告商为社交媒体活动、网站横幅以及其他数字和实体营销材料规划和创建引人入胜的视觉内容。电视广告及电影制作StoryTribe是电视广告、电影制作和其他视频内容中预可视化的重要步骤。视频游戏制作StoryTribe用于为视频游戏制作开发角色、环境和交互式故事情节。StoryTribe 中的角色旨在反映现实生活中的人类比例，允许与现实生活中的照片背景无缝集成，并立即沉浸在视觉故事讲述中。

TryOnDiffusion简介 TryOnDiffusion是一种基于两个UNet的扩散架构，旨在生成穿在输入人物身上的服装的可视化效果图。该方法能够在保留服装细节的同时，适应显著的身体姿势和形状变化。TryOnDiffusion在定性和定量上都取得了最先进的性能，是一种非常有效的虚拟试衣技术。TryOnDiffusion 可以将两幅图片进行合成，帮照片中的人物更换不同的服饰。一张是展示某个人，另一张是展示另一个人所穿的服装——生成一张图像，展示这件服装可能在输入的人身上的样子。此前这类模型通常会存在缺乏服饰细节的缺点。传统的合成方法通常只能接受造型区别不大的两张图片，否则合成出来的新图片会出现服装变形严重的情况。而 TryOnDiffusion 利用一种被称为并行 UNet 的扩散式架构，让合成的照片可以在保留服饰细节的情况下适应人体的姿势以及形状变化。TryOnDiffusion特点：该模型使用扩散技术，展示不同体型和姿势的人穿着衣物的效果。新的ai模型能够生成高质量、逼真的试穿图像。该模型使用图像扩散和交叉注意力技术，而非文本输入。为了提高准确性，该模型使用Google购物图谱进行训练。虚拟试衣间功能现已支持Anthropologie、LOFT、H&M和Everlane等品牌的女士上衣。该功能将逐步扩展到更多品牌。目前没有开源。

HandRefiner简介 解决ai图像生成中手部畸形的问题 目前的图像生成模型，再生成图像方面已经非常出色，但在生成人类手部的图像时却常常出现问题，比如手指数量不对或者手形怪异。HandRefiner项目地址：https://github.com/wenquanlu/HandRefiner/HandRefiner论文地址：https://huggingface.co/hr16/ControlNet-HandRefiner-prunedHandRefiner模型下载：https://huggingface.co/hr16/ControlNet-HandRefiner-prunedHandRefiner提出一种方法，在不改变图片其他部分的情况下，修正那些形状不正常的手部图像。 它采用条件修补方法来纠正畸形的手部，可以识别出手部的正确形状和手势，并将这些正确的信息重新应用到原始的错误手部图像上。HandRefiner主要特点：- 精确性：HandRefiner能够精确地识别和修正生成图像中的畸形手部，提供了一种有效的后处理解决方案。- 保持一致性：在修正手部的同时，它保持图像其他部分的一致性，不会影响图像的整体质量。- 利用合成数据：研究中发现了ControlNet中的一个相变现象，这使得HandRefiner能够有效地利用合成数据进行训练，而不会受到真实手和合成手之间域差异的影响。这意味着HandRefiner还能学习很多不同的手的样子，这样无论手有多怪，它都能找到合适的方式来修正。- 适用性：尽管HandRefiner主要针对手部图像，但其基本原理和技术可以适用于其他需要精细修正的图像生成任务。比如这种方法也可以用来修正其他部分，比如脚或者耳朵。HandRefiner工作原理：1、手部识别与重建： 识别问题：首先，HandRefiner识别出生成图像中形状不正常的手部。重建手部：使用手部网格重建模型，HandRefiner根据人手应该有的样子重新画出一个正确的手。它能够重建出正确的手部形状和手势。这得益于模型基于正常手部的训练数据，即使是在畸形的手部图像中也能生成合理的重建结果。2、条件修补： 修补过程：HandRefiner采用条件修补方法来处理识别出的问题手部。它生成一个深度图，这个深度图包含了关于手部形状和位置的重要信息。集成与修正：然后，这个深度图被用作指导，通过ControlNet集成到扩散模型中。HandRefiner会把这个重新画好的手放回原来的画作中，替换掉那个画错的手，但其他部分不动，保持原画的风格和内容。