糖果VR分享网

标题: Grok-1 下载地址马斯克开源Grok-1:3140亿参数 [打印本页]

作者: nshukwrd 时间: 2024-3-19 16:41
标题: Grok-1 下载地址马斯克开源Grok-1:3140亿参数

参数：314B
架构：8个专家的混合体 (MoE)
专家利用率：每个令牌使用2个专家
层数：64层
注意力头：查询有48个，键/值有8个
嵌入大小：6,144
令牌化：使用131,072个令牌的 SentencePiece 令牌器
其他特性：
旋转嵌入（RoPE）
支持激活分片和8位量化
最大序列长度（上下文）：8,192tokens

测试如下：
运行 8 x A100 80 GB，模型占用整个 VRAM 的 75%。不过，现在在第一次查询时我等待了大约 15 分钟，GPU 利用率大约为 100%

搬运

作者: 2829397549 时间: 2024-3-20 11:53
糖果VR资源分享网，我只想说一句很好很强大！

作者: xkwly 时间: 2024-3-20 19:23
糖果VR资源分享网，我只想说一句很好很强大！

作者: jamesou 时间: 2024-3-21 09:46
膜拜神贴，后面的请保持队形~

作者: jamesou 时间: 2024-4-7 10:07
超级赞！感谢糖果VR资源分享网！

作者: aaa3226942 时间: 2024-4-7 19:47
啥也不说了，糖果VR资源分享网就是给力！

作者: lankea 时间: 2024-4-18 08:44
啥也不说了，糖果VR资源分享网就是给力！

欢迎光临糖果VR分享网 (https://www.tangguo2.top/)