Grok-1 下载地址马斯克开源Grok-1:3140亿参数

nshukwrd · 发表于 2024-3-19 16:41:06

参数：314B
架构：8个专家的混合体 (MoE)
专家利用率：每个令牌使用2个专家
层数：64层
注意力头：查询有48个，键/值有8个
嵌入大小：6,144
令牌化：使用131,072个令牌的 SentencePiece 令牌器
其他特性：
旋转嵌入（RoPE）
支持激活分片和8位量化
最大序列长度（上下文）：8,192tokens

测试如下：
运行 8 x A100 80 GB，模型占用整个 VRAM 的 75%。不过，现在在第一次查询时我等待了大约 15 分钟，GPU 利用率大约为 100%

搬运

游客，如果您要查看本帖隐藏内容请回复