视频演示。昨天尝试了Qwen3-1.7B的部署，可行，但是由于kv缓存过大，频繁触发swap，推理速度惨不忍睹，因此实际不可行。而0.6B的推理速度可以达到3tk/s左右，也不是不能用。接下来用LLM实现一些奇怪的但是毫无意义的东西，比如控制闹钟。 http://t.cn/A6FKqJrg
发布于 江苏
归零归零归ww
视频演示。昨天尝试了Qwen3-1.7B的部署，可行，但是由于kv缓存过大，频繁触发swap，推理速度惨不忍睹，因此实际不可行。而0.6B的推理速度可以达到3tk/s左右，也不是不能用。接下来用LLM实现一些奇怪的但是毫无意义的东西，比如控制闹钟。 http://t.cn/A6FKqJrg