9月22日,百度智能云联合SGLang社区举办“Agent时代的推理基础设施:百度百舸 × SGLang生产级实践”Meetup,围绕多芯适配、上下文缓存、KV Cache优化、显存优化、MoE专家压缩和推理服务治理等议题,探讨Agent走向生产环境所需要的推理底座。 http://t.cn/AXO1KW2v
发布于 北京
9月22日,百度智能云联合SGLang社区举办“Agent时代的推理基础设施:百度百舸 × SGLang生产级实践”Meetup,围绕多芯适配、上下文缓存、KV Cache优化、显存优化、MoE专家压缩和推理服务治理等议题,探讨Agent走向生产环境所需要的推理底座。 http://t.cn/AXO1KW2v