📣 #NVIDIA# TensorRT Edge-LLM 0.11.1 已上线:几个命令即可运行用于边缘应用开发的 #AI 模型#
上手更简单:只需使用 trtedge 命令行界面 (CLI) 的几个命令即可开始使用。
TensorRT Edge-LLM 是专为嵌入式工作负载设计的轻量级推理框架,#开发者# 在 NVIDIA DGX Spark 64GB 上进行原型设计、微调和测试,再用同一套框架部署到 NVIDIA Jetson Thor、DRIVE AGX Thor 等平台。
👉 点击链接,查看如何使用 NVIDIA Nemotron-3.5 Lightning 在 Spark 上运行 TensorRT Edge-LLM:http://t.cn/AXTbX3bk
#英伟达#
发布于 北京
