某芯片面积约为90mm2算力大体是60-120T FP8/INT8算力。
按照DRAM 0.3-0.4Gb/mm2计算，叠双层DRAM的容量大约在6-9GB。
算上KV Cache，确实也就能跑3B模型。
发布于 广东
大嘴洞悉Plus
某芯片面积约为90mm2算力大体是60-120T FP8/INT8算力。
按照DRAM 0.3-0.4Gb/mm2计算，叠双层DRAM的容量大约在6-9GB。
算上KV Cache，确实也就能跑3B模型。