ai开源

MotionAgent一站式视频生成工具简介 MotionAgent是一个能将用户创造的剧本生成视频的深度学习模型工具。用户通过我们提供的工具组合，进行剧本创作、剧照生成、图片/视频生成、背景音乐谱写等工作。其中，通义千问 -7B 模型可以帮助生成高质量的剧本内容，文本生成图片模型可以生成剧照，而核心模型 I2VGen-XL 可以将剧照转化为视频，最后音乐生成模型可以生成想要的音乐。通过 MotionAgent，用户可以将自己的创意轻松变成现实。MotionAgent功能特性1、剧本生成（Script Generation）用户指定故事主题和背景，即可生成剧本，剧本生成模型基于LLM（如Qwen-7B-Chat），MotionAgent可生成多种风格的剧本2、剧照生成（Movie still Generation）通过输入一幕剧本，MotionAgent即可生成对应的剧照场景图片3、视频生成（Video Generation）图生视频，支持高分辨率视频生成4、音乐生成（Music Generation）MotionAgent可自定义风格的背景音乐

FaceChain简介 妙鸭相机虽然好用，但它是一个需要付费的应用。现在，一个名为 FaceChain 的开源项目可以用 AI 模型打造人物写真。项目上线一周，已经狂揽 2.5k star，今天还上了Github趋势排行榜第一名。FaceChain是一个可以用来打造个人数字形象的深度学习模型工具。用户仅需要提供最低一张照片即可获得独属于自己的个人形象数字替身。FaceChain支持在gradio的界面中使用模型训练和推理能力，也支持资深开发者使用python脚本进行训练推理；同时，我们也欢迎开发者对本Repo进行继续开发和贡献。 FaceChain的模型由ModelScope开源模型社区提供支持。

MagicEdit 简介 MagicEdit 是字节跳动的一款视频编辑工具，它可以高保真度和时间连贯性地编辑视频，通过学习明确区分外观和动作，实现高质量的视频编辑，对视频内容和流畅度的控制更加精细。MagicEdit有多种编辑应用，包括视频风格化、局部编辑、视频混合和视频扩展等功能。MagicEdit 可以让用户可以将源视频转换为具有特定风格的新视频，也可以对视频进行局部修改，或者通过视频混合功能创造出新概念，MagicEdit还支持视频扩展功能，可以在不重新训练的情况下进行视频扩展任务。同时，MagicEdit 还提供了方便的素材管理功能，让用户可以轻松组织和复用素材。整个编辑过程流畅快速，让用户可以更高效地完成视频编辑任务。MagicEdit功能:视频造型 - 将源视频转换成新风格或场景的视频局部编辑 - 局部修改视频而保持其他区域不变视频混合 - 混合两个不同概念的视频创造新概念视频扩充 - 不需要重新训练即可实现视频扩充

EasyPhoto简介 EasyPhoto是一款Webui UI插件，用于生成ai肖像画，该代码可用于训练与您相关的数字分身。建议使用 5 到 20 张肖像图片进行训练，最好是半身照片且不要佩戴眼镜（少量可以接受）。训练完成后，我们可以在推理部分生成图像。我们支持使用预设模板图片与上传自己的图片进行推理。重点EasyPhoto是一个Webui UI插件，可以生成AI肖像，用于训练与用户相关的数字化替身。EasyPhoto现在支持多人生成和不同基础模型的训练和推理。EasyPhoto可以在Windows和Linux系统上运行，需要大约60GB的硬盘空间用于保存权重和数据集处理。EasyPhoto插件可以从GitHub安装，未来也将支持从Available安装。EasyPhoto的使用包括模型训练和推理两部分，用户可以上传5到20张照片进行训练，推理部分可以选择单人或多人模式。EasyPhoto的算法包括建筑概览、训练详解和推理详解三部分，主要通过稳定扩散模型和Lora模型生成个性化的肖像图像。

AnimateDiff简介 AnimateDiff是一个能够将个性化的文本转换为图像的扩展模型，一款可以在stable diffusion中制作稳定gif动图的插件，它可以在无需特定调整的情况下实现动画效果。通过这个项目，用户可以直接通过文生图的形式就可以生成gif动图，将他们的想象力以高质量图像的形式展现出来，同时以合理的成本实现这一目标。随着文本到图像模型（例如，Stable Diffusion）和相应的个性化技术（例如，LoRA 和 DreamBooth）的进步，现在每个人都可以将他们的想象力转化为高质量的图像。随后，为了将生成的静态图像与运动动态相结合，对图像动画技术的需求也随之增加。而且从最终出图的品质来看，AnimateDiff生成的动图的表现非常的稳定，并且动图画面也很流程。AnimateDiff特点：1、AnimateDiff框架可以直接与现有的T2I模型集成，户不需要为每一个特定的任务或场景重新调整或训练模型。无需进行复杂的修改。2、AnimateDiff设计得足够灵活，可以与用户自己训练的T2I模型或从其他平台（例如Civitai或Huggingface）下载的模型集成。这为用户提供了极大的便利性，使他们可以轻松地使用AnimateDiff来增强他们现有的T2I模型。项目介绍：https://animatediff.github.io/代码：https://github.com/guoyww/animatediff/论文：https://arxiv.org/abs/2307.04725

TextBase简介 TextBase 是一款简单的框架，用于构建 ai 聊天机器人，它可以帮助开发人员快速搭建和优化聊天机器人。TextBase简单易用，自由可扩展，是聊天机器人开发的首选框架。Textbase的优点在于它简单易用。你只需要实现main.py中的on_message函数，Textbase就会负责其他所有事情。由于Textbase只是Python代码，所以你可以自由使用任何模型、库、向量数据库和API。TextBase 的简洁设计和强大功能，使其成为人工智能领域的新力量。TextBase 的自然语言处理能力出色，能够理解和生成人类语言，从而实现人机交互。此外，TextBase还可以通过机器学习技术不断提升自身的语言理解和应答能力。TextBase 的出现为 AI 聊天机器人的开发带来了新的可能。TextBase功能:简单的Python框架，只需实现on_message函数完全可自定义，可以使用任何模型和技术支持通过pip安装使用可以轻松部署到服务器未来可扩展性强，可集成更多模型

Whisper语音识别模型简介 Whisper 是Openai 开源音频转文字的语音识别模型。它在不同音频的大型数据集上进行训练，也是一个多任务模型，可以执行多语言语音识别以及语音翻译和语言识别。Whisper有五种模型尺寸，提供速度和准确性的平衡，其中English-only模型提供了四种选择。下面是可用模型的名称、大致内存需求和相对速度。

AI Companion App简介 ai Companion App，一键创建和训练属于你的AI伴侣/女朋友。AI Companion App提供了一套框架和开源工具，你可以根据自己的需求和想象，设定AI伴侣的个性、背景故事和能力，然后使用这个框架进行训练和部署。这样，每个人都可以拥有一个定制的AI伴侣，满足他们特定的需求和期望。你可以在浏览器上或通过SMS与你的AI伴侣进行聊天。AI Companion App允许你确定你的伴侣的个性和背景故事，并使用一个带有相似性搜索的向量数据库来检索和提示，使对话具有更深的深度。它还通过将对话保留在队列中并包含在提示中，提供了一些对话记忆。AI Companion App当前包含两种AI伴侣，一种基于大模型GPT，另一种是基于Vicuna的伴侣，都托管在Replicate平台上的。这些伴侣有很多可能的用例-浪漫（AI女友/男友）、友谊、娱乐、教练等。您可以通过您撰写的背景故事和您选择的模型来引导您的同伴找到理想的用例。