快科技10月20日消息，据媒体报道，NVIDIA的最新研究可能彻底改变AI的未来，其研究团队提出了一种名为归一化Transformer（nGPT）的新型神经网络架构。
这一架构在超球面（hypersphere）上进行表示学习，能够显著提升大型语言模型（LLM）的训练速度，最高可达20倍，同时保持了模型的精度。
nGPT架构的核心在于将所有向量，包括嵌入、多层感知机（MLP）、注意力矩阵和隐藏状态，归一化为单位范数。
这种归一化处理使得输入的token在超球面表面上移动，每一层模型都通过位移来贡献最终的输出预测。
实验结果表明，nGPT在训练时所需的步骤比标准Transformer模型减少了4到20倍，具体加速效果取决于序列长度。
例如，在1k上下文中，训练速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍。
研究人员指出，nGPT的优化路径从超球面上的点开始，通过位移来贡献最终的输出预测，其中位移量由MLP和注意力模块定义。
这种方法不仅提高了训练速度，还增强了模型的稳定性。
领取最新网赚项目，免费带项目 添加 微信：sjzqb999 备注：项目！
本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 414165875@qq.com 举报，一经查实，本站将立刻删除。
赞 (0)
AI芯片热潮之下，为何台积电股价大涨，ASML却暴跌
上一篇
2024 年 10 月 22 日 pm1:49
5折买波司登、北面！京东服饰11.11又撒5折券：今晚8点开始
下一篇
2024 年 10 月 22 日 pm1:49