#ai芯片##英伟达##AMD#
造芯片的还有高手?
刚刚推出的一款最新芯片,直接冲上硅谷热榜。
峰值推理速度高达每秒17000个token。
什么概念呢?当前公认最强的Cerebras,速度约为2000 token/s。
速度直接快10倍,同时成本骤减20倍、功耗降低10倍。
这就意味着,LLM真正来到了亚毫秒级的即时响应速度。实机效果be like:
但这块一夜之间刷屏硅谷的芯片,并非出自英伟达、AMD之手,而是一家成立仅两年、团队仅有24人的初创公司——Taalas。
芯片代号HC1,也是公司的首款产品。
不同于所有竞争对手,Taalas选择了迄今为止最极端的技术方案——
模型不再加载到内存里,而是直接刻在硅片上。换言之,芯片即模型。
结果显而易见,Taalas撬动了芯片算力护城河:H100买不到,试试HC1又何妨?http://t.cn/AXtkeUkz
