万霁老牛
26-07-01 08:10 微博认证:上海万霁资产董事长、投资总监

【Op­e­n­AI找到优化方案,可将推理成本减半】据The In­f­o­r­m­a­t­i­on,一位知情人士透露,本月早些时候,Op­e­n­AI工程师向部分同事表示,依托几项全新研发的优化技术,他们找到了一套方案,能将模型推理成本削减一半以上。工程师将这套新技术应用于没有免费或付费帐户的访客使用Ch­a­t­G­PT的场景后,一度把所需英伟达图形处理器(GPU)数量压至仅数百个。

发布于 上海