⚡️Groq：快如闪电的大模型体验

世界上最快的大型模型Groq在一夜之间变得非常受欢迎，它每秒可以处理近500个token。这个快速的响应是因为它使用了自家研发的LPU。现在，Groq模型每秒可以输出500个token，成为了全网的热门话题。它被认为是世界上速度最快的LLM。

Groq是一个由美国产业链完成的AI芯片，可以说是目前世界上最快的AI芯片。

使用这个芯片的Mixtral8x7B-32k和Llama 270B-4k模型每秒可以输出500个token，比Gemini快10倍，比GPT-4快18倍！

与之相比，ChatGPT-3.5每秒只能生成40个token。

有人将Groq与GPT-4、Gemini进行了比较，看看它们解决一个简单代码调试问题所需的时间。结果让人惊讶，Groq在输出速度上比Gemini快10倍，比GPT-4快18倍。（不过就答案质量而言，Gemini更好。）

最重要的是，任何人都可以免费使用Groq！

在Groq的主页上，目前有两种可供选择的模型：Mixtral8x7B-32k和Llama 270B-4k。