K2-上海交通大学

K2是一个地球科学的开源大预言模型。首先通过收集和清理的地球科学文献（包括地球科学开放获取论文和维基百科页面）对 LLaMA 进行进一步预训练，然后使用知识密集型指令调优数据（GeoSignal ）。初步评估采用GeoBenchmark（由NPEE和AP Test on Geology、Geography、Environmental Science组成）作为基准。与具有相似参数的几个基线模型相比，K2 在客观和主观任务上的表现优于基线。我们介绍 K2 (7B)，它是一个开源语言模型，首先在收集和清理过的地球科学文献（包括地球科学开放存取论文和维基百科页面）上对 LLaMA 进行进一步预训练，然后使用知识密集型指令调整数据（GeoSignal）进行微调。在初步评估中，我们使用 GeoBench（由 NPEE 和关于地质学、地理学和环境科学的 AP 测试组成）作为基准。与参数相似的几个基准模型相比，K2 在客观和主观任务上的表现都优于基准模型。在该资源库中，我们将共享以下代码和数据。

数据统计

数据评估

K2-上海交通大学浏览人数已经达到421，如你需要查询该站的相关权重信息，可以点击"5118数据""爱站数据""Chinaz数据"进入；以目前的网站数据参考，建议大家请以爱站数据为准，更多网站价值评估因素如：K2-上海交通大学的访问速度、搜索引擎收录以及索引量、用户体验等；当然要评估一个站的价值，最主要还是需要根据您自身的需求以及需要，一些确切的数据则需要找K2-上海交通大学的站长进行洽谈提供。如该站的IP、PV、跳出率等！

特别声明

本站400AI工具导航提供的K2-上海交通大学都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由400AI工具导航实际控制，在2024 年 7 月 8 日上午9:30收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，400AI工具导航不承担任何责任。

400AI工具导航致力于优质、实用的网络站点资源收集与分享！本文地址https://www.400rc.com/sites/7557.html转载请注明

相关导航

凯恩之角

Diablo暗黑破坏神中文游戏

Sketch Hunt

Sketch Hunt is an independent blog sharing gems in learning, plugins &amp; design tools for fans of Sketch app.

Wolfram Alpha

一个计算知识引擎，提供数据分析和计算答案。

TigerBot

TigerBot 是一个多语言多任务的大规模语言模型(LLM)。根据 OpenAI InstructGPT 论文在公开 NLP 数据集上的自动评测，TigerBot-7B 达到 OpenAI 同样大小模型的综合表现的 96%，并且这只是我们的 MVP，在此我们将如下探索成果开源：模型：TigerBot-7B, TigerBot-7B-base，TigerBot-180B (research version)，代码：基本训练和推理代码，包括双卡推理 180B 模型的量化和推理代码，数据：预训练 100G，从 2TB 过滤后的数据中经过去噪去重清洗而得；监督微调 1G 或 100 万条数据，按比例涵盖用户指令常见的 10 大类 120 小类任务，API: chat, plugin, finetune, 让用户能在半小时内无代码的训练和使用专属于自己的大模型和数据，领域数据：涵盖金融，法律，百科，广邀大模型应用开发者，一起打造中国的世界级的应用。我们在 BLOOM 基础上，在模型架构和算法上做了如下优化：指令完成监督微调的创新算法以获得更好的可学习型(learnability)，运用 ensemble 和 probabilistic modeling 的方法实现更可控的事实性(factuality)和创造性(generativeness)，在并行训练上，我们突破了 deep-speed 等主流框架中若干内存和通信问题，使得在千卡环境下数月无间断，对中文语言的更不规则的分布，从 tokenizer 到训练算法上做了更适合的算法优化。