今天看无意中看到:Benjamin Mann (Anthropic联合创始人,也是GPT-3的共同第一作者)几年前使用我设计的LAMB方法,第一次把transformer训练扩展到了128个GPU。他当时还专门写了一篇博客介绍我的LAMB方法。
发布于 新加坡
今天看无意中看到:Benjamin Mann (Anthropic联合创始人,也是GPT-3的共同第一作者)几年前使用我设计的LAMB方法,第一次把transformer训练扩展到了128个GPU。他当时还专门写了一篇博客介绍我的LAMB方法。