MedisGo

MimicMotion简介 腾讯和上交大出的，MimicMotion可以生成任意长度、具有任何动作指导的高质量视频生成框架，可以生成细节丰富、逼真的人类动作视频，可以生成任意长度的视频内容，可以对视频内容进行精确控制，包括动作、姿势和视频风格等。类似阿里的通义舞王，但效果看起来比阿里通义舞王好很多，MimicMotion支持面部特征和唇形同步，不止可以搞跳舞视频，也可以做数字人。近年来，生成式人工智能在图像生成领域取得了重大进展，催生了多种应用。然而，视频生成在可控性、视频长度、细节丰富度等各方面仍面临相当大的挑战，阻碍了该技术的应用和普及。在这项工作中，我们提出了一种可控视频生成框架，称为 MimicMotion，它可以在任何运动指导下生成任意长度的高质量视频。与以前的方法相比，我们的方法有几个亮点。首先，通过置信感知姿势指导，可以实现时间平滑性，从而可以通过大规模训练数据增强模型的连贯流畅。其次，基于姿态置信度的区域损失放大显着减轻了图像的失真，能够显著减少生成图像中的扭曲和变形。最后，为了生成流畅的长视频，提出了一种渐进式潜在融合策略。通过这种方式，能够在可接受的计算资源消耗下，实现任意长度视频的生成。通过大量的实验和用户研究，MimicMotion 在多个方面比阿里的通义舞王的方法有了明显的改进。MimicMotion代码：https://github.com/Tencent/MimicMotionMimicMotion ComfyUI版本：https://github.com/aiFSH/ComfyUI-MimicMotion

StoryDiffusion简介 StoryDiffusion 是一款由南开大学HVision团队开发的人工智能工具，主要功能包括生成连贯的图像和视频故事，以及漫画生成创作。StoryDiffusion利用一致性自注意力（Consistent Self-Attention）技术，能够在无需训练的情况下生成主题一致的图像，这些图像可以用于讲述故事或作为后续内容生成的输入。StoryDiffusion 能够保持角色的一致性，生成多图漫画和长视频，这对于需要连贯叙事的广告、电影等领域尤为重要。StoryDiffusion主要功能特征：角色连贯性保持：StoryDiffusion能够通过一致性自注意力机制生成主题一致的图像和视频，确保在多图漫画和长视频中角色风格和服装的一致性，从而实现连贯的故事叙述。多场景应用：该工具不仅适用于漫画生成，还可以应用于图像转视频等多种场景。用户可以通过提供一系列条件图像，利用Image-to-Video模型生成视频，这对于广告、电影等领域提供了新的创意方式和制作手段。教育材料设计：教育工作者可以使用StoryDiffusion来设计教育视频或互动故事，这些内容有助于提高学习者的参与度和兴趣。长范围图像生成功能：特别适合制作连贯的广告故事，增强品牌形象。这种功能使得StoryDiffusion在广告和品牌推广方面具有显著优势。即插即用无需训练：研究团队将一致性自注意力插入到现有图像生成模型的U-Net架构中，并重用原有的自注意力权重，以保持无需训练和即插即用的特性。高效能与稳健性：StoryDiffusion在保持角色特性的同时，还能够很好地符合提示描述，显示出其稳健性。这表明该方法在定量指标上取得了最佳性能。StoryDiffusion通过一致性自注意力机制，不仅能够生成连贯的图像和视频，还能应用于多种实际场景，如教育、广告和娱乐等，同时具备高效能和稳健性。GitHub 项目：相关项目已经在 GitHub 上获得了 1k 的 Star 量，GitHub 地址为：https://github.com/HVision-NKU/StoryDiffusion。论文和演示：有关 StoryDiffusion 的更多技术细节和实验结果可以在论文《StoryDiffusion: Consistent Self-Attention for long-range image and video generation》中找到，论文地址为：https://arxiv.org/pdf/2405.01434v1

SparkAi系统简介 Sparkai系统演示站入口：https://ai.idcyli.comSparkAi系统演示系统后台：https://ai.idcyli.com/sparkai/admin/#/loginSparkAi系统演示后台账号密码：admin 123456SparkAi系统源码下载：https://pan.baidu.com/s/1_jnAsU_aC_i_mWSjIfyQgw?pwd=vw0oSparkAi系统搭建教程：https://www.sparkaigc.com/33.htmlSparkAi系统搭建配置：https://www.yuque.com/yuqueyonghutq9yt2/ph55oi/ctmn1lg5vz1furqdSparkAi系统使用Nestjs和Vue3框架技术，持续集成AI能力到本系统！支持大模型4.0、Midjourney绘画、GPT3.5 API绘画、GPT联网功能、绘画广场功能、Prompt功能，后台自定义添加，用户也可自定义添加+实时语音识别输入、用户会员套餐、用户每日签到功能、后台管理、一键更新版本！支持手机电脑不同布局页面自适应。● 支持微信环境静默登录（可开启或关闭）、浏览器微信主动扫码登录、邮箱注册登录、手机注册登录● 【可引流至微信公众号】无认证公众号后台可关闭微信登录功能● 支持GPT3模型、GPT4模型、GPT联网功能● Midjourney专业绘画（全自定义调参）、Midjourney以图生图、Dall-E2绘画● MJ同步官方 Vary 指令 单张图片对比加强 Vary(Strong) | Vary(Subtle)● MJ同步官方 Zoom 指令 单张图片无限缩放 Zoom out 2x | Zoom out 1.5x● Mind思维导图生成● 应用工作台（Prompt）、ai绘画广场● 支持直接对接微信官方支付、易支付、码支付、虎皮椒支付● 自定义聚合套餐、代理分销功能● 风控系统（接入百度API敏感词、自定义敏感词）● 用户签到领取功能● 其他更新功能见：https://www.yuque.com/yuqueyonghutq9yt2/ph55oi/ctmn1lg5vz1furqd SparkAi系统源码授权或搭建如果您想要搭建同款站点或者授权系统源码请添加作者！搭建同款系统，请联系qq：501439094或微信：DjiMain，添加时请备注系统源码授权1、【源码授权】目前售价1388永久授权【您将获得】● 永久免费更新特权、后续的更新将不需要任何费用● 站长专属群● 不限量ip换绑、随时换绑服务器● （自行按照教程搭建配置）2、【搭建一条龙服务】目前2588【您将获得】● 源码授权包含套餐● 一条龙搭建好，永久后期帮系统更新● 服务器环境安装、系统部署、后台支付、微信公众号、MJ对接、COS存储桶、KEY池等等● 作者vip服务、作者专属vip指导、保证您的服务稳定● 适合不会任何技术但节省时间想使用此网站的老板。只需要管理和使用即可，技术全包！● （自备服务器，域名，邮箱，存储桶，mj会员，支付接口等）

Diffutoon简介 Diffutoon 是一项突破性的卡通着色进步，植根于扩散模型，可将逼真的视频无缝地转变为动漫视觉风格。该方法将卡通着色挑战分解为四个可辨别的方面：风格化、一致性增强、结构指导和着色。其主要卡通着色管道由植根于动漫风格扩散原理的多模块去噪模型推动，拥有令人印象深刻的渲染详细、高分辨率和长时间视频的能力。编辑分支的合并有助于根据提供的提示进行内容操作。通过闪存注意力的战略集成巧妙地缓解了 GPU 内存限制，从而实现高达 1536 x 1536 的分辨率。Diffutoon 能够以动漫风格渲染出细致、高分辨率、以及延长时间的视频。它还可以通过额外的分支编辑内容。Diffutoon 的有效性通过数值指标和人类评估进行评估。值得注意的是，Diffutoon 在我们的实验中超越了开源和闭源基线方法。Diffutoon 的主要功能：将真实感视频转换成各种动漫风格根据用户提示编辑视频内容，例如改变颜色或添加特效。详细保留了光照、头发和姿势等细节，同时保持了与动画风格密切相关的视觉效果。保持视频内容的一致性，避免闪烁和失真。能够生成高分辨率、长时间的视频。Diffutoon 的主要特点：高分辨率输出：Diffutoon 可以处理超高分辨率的视频，使其适合专业级动画和视频项目。一致性增强：它确保跨帧的风格化一致，这对于保持动画序列的视觉连贯性至关重要。可编辑内容：该方法允许根据提示进行内容编辑，为创作过程提供灵活性。结构指导和着色：Diffutoon 结合了结构指导和着色，以增强风格化输出的视觉吸引力和准确性。Diffutoon应用：动画制作：Diffutoon 可用于动画创作，将真人镜头或其他类型的视频转换为动画风格的动画。视频编辑：它能够根据提示编辑视频内容，这使其成为希望将动漫美学融入其项目的视频编辑者的强大工具。创意项目：艺术家和创作者可以使用 Diffutoon 在其视频内容中尝试不同的风格和效果。论文：https://arxiv.org/pdf/2401.16224Github：https://github.com/modelscope/DiffSynth-Studio项目：https://ecnu-cilab.github.io/DiffutoonProjectPage/

SoraWebui简介 SoraWebui 是一个开源 Web 平台，使用户能够使用 Openai 的 Sora 模型从文本生成视频。SoraWebui简化了视频创建过程，支持在Vercel上进行一键部署，让开发者能够方便地进行使用和测试。使用 SoraWebui，任何人都可以通过简单地输入文本来创建视频，使其成为视频制作和 AI 技术专业人士和爱好者的可访问工具。如何使用 SoraWebui?1、对于普通用户：要使用 SoraWebui，只需访问网站并按照提供的说明进行操作。您通常会找到一个用户友好的界面，您可以在其中输入要创建的视频的文本描述。提交您的描述后，SoraWebui 将使用 OpenAI Sora 模型为您生成视频。视频准备好后，您可以直接在网站上观看并下载供您使用或分享。2、对于网站所有者或开发人员：作为网站所有者或开发人员，您可以按照项目文档中提供的部署说明在自己的平台上部署 SoraWebui。部署后，您可以自定义界面以匹配您网站的品牌，并将其无缝集成到您现有的平台中。您可能还想探索 SoraWebui 提供的其他特性和功能，例如用于自动视频生成的 API 集成或用于控制对服务访问的用户管理工具。总体而言，SoraWebui 提供了一个强大的工具，用于增强您网站的功能并为用户提供独特的视频创作体验。据悉，尽管目前尚无Sora API可用，但开源项目SoraWebui已通过模拟DALL-E3的API接口字段实现。这使得开发者能够提前深入探索该项目，掌握其实现机制和功能亮点，大家如果自己要开发，也可以先基于 FakeSoraAPI ，把整个业务流程走通，等到 Sora 官方 API 上线之后就可以第一时间做一些小改动，就能够让自己的产品可以使用，为Sora未来上线做好充分的开发准备。

PhotoMaker简介 PhotoMaker，利用多张照片作为身份ID，获取人物特征，然后根据描述生成符合描述的人物照片创造出一个新的、个性化的人物图像。PhotoMaker也能把几个不同人的照片特征混合在一起，创造出一个全新的人物形象。还能改变照片人物的性别、年龄和生成多种风格的其他照片。快速逼真，效果自然。PhotoMaker主要功能：根据文字描述制作照片：你可以告诉它你想要的人物样子，它就能生成符合描述的人物照片。身份混合：如果用户提供不同的图像 ID作为输入，我们的PhotoMaker可以很好地整合这些特性 的不同 ID 形成一个新的 ID。改变年龄或性别：比如，你可以把一张男士的照片转换成女士的样子，或者让照片中的人看起来年轻或年老。风格化：它还能给照片加上不同的艺术效果，比如油画风格或卡通风格。而保留 ID 属性。将艺术品/旧照片中的人物带入现实：由 拍摄一个人的艺术绘画、雕塑或旧照片 作为输入，我们的PhotoMaker可以将一个人从上个世纪甚至远古时代带到本世纪 为他们“拍照”。我们在每张图片下方显示条件反射提示。PhotoMaker主要特点：结合多张照片的特征：PhotoMaker可以取多张照片，这些照片可以是同一个人的，也可以是不同人的。它分析这些照片中的特征，然后将它们结合起来，创造出一个新的、个性化的人物图像。灵活的文本控制：与其他方法相比，PhotoMaker提供了更灵活的文本控制能力。用户可以通过文本提示来指导图像的生成，这使得创造出的图像不仅逼真，而且能更好地符合用户的具体要求。高效率和快速生成：相比于需要大量微调的方法（如DreamBooth），PhotoMaker在保持身份信息的同时，提供了更快的生成速度。它能在短时间内（例如10秒）生成定制的人类照片，这对于需要快速生成结果的应用场景非常有利。高身份保真度：PhotoMaker在生成图像时能更好地保持人物的身份特征。这对于需要精确保留人物特征的场景（如个性化肖像或身份识别）尤其重要。PhotoMaker如何工作？PhotoMaker首先分析照片，识别出每张照片中人物的特征，比如面部特征、发型、服装风格等。然后，它将这些特征结合起来，创建一个新的图像。这个图像基本上是你的脸，但可能有着电影明星的发型和表情，同时穿着那张历史服装照片中的服装。最终的结果是一张全新的照片，这张照片展示了一个独特的人物形象：看起来像你，但具有其他照片中人物的特征和风格。这就是PhotoMaker的核心功能——结合多个不同照片的特征，创造出一个全新、个性化的图像。源码：https://github.com/TencentARC/PhotoMaker

Audio2Face简介 Audio2Face，一款由ai驱动的应用程序，通过语音生成富有表现力的3D面部动画。Audio2Face 简化了 3D 角色的动画，以匹配任何画外音轨道，无论您是为游戏、电影、实时数字助理制作角色动画，还是只是为了好玩。您可以将该应用程序用于交互式实时应用程序或作为传统的面部动画创作工具。Audio2Face是如何工作的？Omniverse Audio2Face 应用基于 NVIDIA Research 的原创论文。Audio2Face 预装了“数字标记”——一个 3D 角色模型，可以用您的音轨制作动画，因此入门很简单。只需选择您的音频并将其上传到应用程序中即可。该技术将音频输入输入到预先训练的深度神经网络中，网络的输出实时驱动角色的面部动画。用户可以选择编辑各种后处理参数以编辑角色的表演。然后，网络的输出驱动角色网格的 3D 顶点以创建面部动画。您在此页面上看到的结果大多是 Audio2Face 的原始输出，几乎没有编辑任何后期处理参数。Audio2Face 的实际应用：语言Audio2Face将能够轻松处理任何语言。我们会定期添加越来越多的语言。查看这些英语、法语、意大利语和俄语的测试。Misty 动画聊天机器人在 GTC Spring 2020 上展示的 Misty 是一个交互式天气机器人，在运行时由 Audio2Face 驱动。我们演示了从逼真的人类网格到风格化角色网格的重定向，以用作交互式服务代理。Omniverse 机械Audio2Face 在 GeForce 30 系列发布会上亮相，出现在 Omniverse Machinima 演示中。众所周知，面部动画非常复杂且成本高昂。Audio2Face 可自动执行详细的面部动画，使 3D 内容创建过程民主化。人脸Audio2Face可以使用任何对话驱动的音轨，并最终能够重新定位到任何3D人脸，无论是逼真的还是风格化的。观看此测试，我们将从 Digital Mark 重新定位到 Rain。实验角色生物和外星人此功能允许您重新定位和驱动奇幻生物和外星人的面部动画。在这里，我们有数字标记推动了外星人的性能。

ChatGPT-Plus简介 ChatGPT-PLUS 基于 ai 大语言模型 API 实现的 AI 助手全套开源解决方案，自带运营管理后台，开箱即用。集成了 ChatGPT, Azure, ChatGLM,讯飞星火，文心一言等多个平台的大语言模型。支持 MJ AI 绘画，Stable Diffusion AI 绘画，微博热搜等插件工具。采用 Go + Vue3 + element-plus 实现。ChatGPT-PLUS主要功能：完整的开源系统，前端应用和后台管理系统皆可开箱即用。基于 Websocket 实现，完美的打字机体验。内置了各种预训练好的角色应用，比如小红书写手，英语翻译大师，苏格拉底，孔子，乔布斯，周报助手等。轻松满足你的各种聊天和应用需求。支持 OPenAI，Azure，文心一言，讯飞星火，清华 ChatGLM等多个大语言模型。支持 Midjourney / Stable Diffusion AI 绘画集成，开箱即用。支持使用个人微信二维码作为充值收费的支付渠道，无需企业支付通道。已集成支付宝支付功能，微信支付，支持多种会员套餐和点卡购买功能。集成插件 API 功能，可结合大语言模型的 function 功能开发各种强大的插件，已内置实现了微博热搜，今日头条，今日早报和 AI 绘画函数插件。ChatGPT-Plus功能截图：ChatGPT-PLUS全套完整的开源系统，前端应用和后台管理系统皆可开箱即用，基于 MIT 开源协议，集成支付系统，可以直接商用变现。