如今开源模型层出不穷，各类Tokenizer百花齐放，不同模型有着完全不一样的设计烙印。推理引擎要兼容两三百种模型，背后充满大量复杂的适配难题。聊聊海量模型生态下，Infra团队如何做权衡，兼顾通用性、性能与稳定性。#视频播客开麦计划# http://t.cn/AXNZq8Gc
发布于 北京
追着知识兔兔跑
如今开源模型层出不穷，各类Tokenizer百花齐放，不同模型有着完全不一样的设计烙印。推理引擎要兼容两三百种模型，背后充满大量复杂的适配难题。聊聊海量模型生态下，Infra团队如何做权衡，兼顾通用性、性能与稳定性。#视频播客开麦计划# http://t.cn/AXNZq8Gc