nGPT

NVIDIA最新研究提出的nGPT神经网络架构彻底改变AI未来，基于超球面表示学习，训练速度提升20倍，保持模型精度。归一化处理使输入token在超球面表面上移动，通过位移贡献输出预测，加速效果显著。...

英伟达团队推出全新神经网络架构nGPT，通过超球面归一化技术将LLM训练速度提升了20倍，保持原有精度。这项研究将改变AI领域的未来发展方向。 【新智元导读】LLM训练速度还可以再飙升20倍!英伟达团...