512K上下文，200t/s，本地AI的甜蜜点，体感是超线上API。我用很多API的实际token速度都在60左右，这个速度会导致模型降智。足够高的 token 吞吐，保住了连续思考链路不被打断、超时截断、流式缓冲区异常干扰，减少了思考失效、死循环、中途失忆等现象。token速度过慢，在做大型连续任务时，模型非常容易出现一种很奇怪的像喝多了似的“断片”。
发布于 北京
孤鸿泽