测试了一下basalt，用得是nvfp4-DQ8等效于unsloth-q4kxl，速度提升50%+，decode 300-400每秒，prefill 7k-8k 太残暴了。现在让我用线上付费API，我都嫌弃太慢。

同样512k上下文，内存比strata节省50%，这样我可以把512直接拉到1M超大上下文。strata非常强，它的问题太于太想做大而全了，主要针对旧卡小卡，像我这样的rtxpro6000性能发挥不出来，basalt就专精多了，只搞blackwell架构。

模型层的停滞，但推理引擎上在快速发展，整个本地AI开源圈的势能非常强，可以说是百花齐放。以我的技术判断，很快推理引擎还将进行技术突破，不断地推高本地推理的速度与效率，解决COT带来的大量时间成本问题。 http://t.cn/AXY6qyWv