目录出来了
训练有英伟达的nemo 和 slurm
推理上线三个方案
1. 英伟达的入门方案 nim
2. 开源的sglang
3. 英伟达的dynamo
gitlab + kubeflow做流水线
Run AI调度GPU
BCM管理底层系统, 驱动和K8S集群
Minio做对象冷存储
Lustre做热存储
Harbor维护动气镜像
~~~基本就是这些了! 已经非常复杂了~~~非常
发布于 北京