Groq 这速度可真快!运行 LLaMA 3 8B模型达到了惊人的 800多 tokens 每秒的速度!
70 B的也可以到 250 tokens 每秒!
Groq 网站:http://t.cn/A6YoftI0
发布于 美国
Groq 这速度可真快!运行 LLaMA 3 8B模型达到了惊人的 800多 tokens 每秒的速度!
70 B的也可以到 250 tokens 每秒!
Groq 网站:http://t.cn/A6YoftI0