量子位 26-02-21 14:37
微博认证:量子位官方微博

#ai芯片##英伟达##AMD#
造芯片的还有高手?

刚刚推出的一款最新芯片,直接冲上硅谷热榜。

峰值推理速度高达每秒17000个token。

什么概念呢?当前公认最强的Cerebras,速度约为2000 token/s。

速度直接快10倍,同时成本骤减20倍、功耗降低10倍。

这就意味着,LLM真正来到了亚毫秒级的即时响应速度。实机效果be like:

但这块一夜之间刷屏硅谷的芯片,并非出自英伟达、AMD之手,而是一家成立仅两年、团队仅有24人的初创公司——Taalas。

芯片代号HC1,也是公司的首款产品。

不同于所有竞争对手,Taalas选择了迄今为止最极端的技术方案——

模型不再加载到内存里,而是直接刻在硅片上。换言之,芯片即模型。

结果显而易见,Taalas撬动了芯片算力护城河:H100买不到,试试HC1又何妨?http://t.cn/AXtkeUkz