陈天奇团队最新工作——MLC LLM Engine，LLMs 通用部署引擎。

MLC LLM Engine 引入了一个单一引擎，既可以用于在服务器上提供高吞吐量、低延迟的部署，又可将将小型和功能强大的模型无缝集成到不同的本地环境中。

部署平台包括：英伟达、AMD的GPGPU、显卡，苹果M系列，iPad，iPhone，安卓手机，Steam Deck（V社游戏掌机），英伟达jetson（用于机器人、无人小车），香橙派（单片机）。

链接：http://t.cn/A6HdOBfw