【欧洲云服务企业 OVH 涉足 AI 模型,开源发布 Olala mini 7A1B】其可在 8GB 显存的 GPU 上运行,在 RTX A4500 上可实现 160 TPS 的词元吞吐量,仅 CPU 平台也能实现 50 TPS。
【欧洲云服务企业 OVH 涉足 AI 模型,开源发布 Olala mini 7A1B】其可在 8GB 显存的 GPU 上运行,在 RTX A4500 上可实现 160 TPS 的词元吞吐量,仅 CPU 平台也能实现 50 TPS。