http://t.cn/AXArjw7a
KTransformers 通过和 SGLang 以及 LLaMa-Factory 两大社区的合作实现了对于多卡推理和本地微调能力的支持。大家不但可以通过多卡并行支持更高并发的本地推理也能够在本地对 DeepSeek 671B 乃至 Kimi K2 1TB 这样的超大模型进行微调了，大大拓展了适用范围。
发布于 浙江
蚁工厂