这个码农,利用GPU的空闲时间进行超大因数分解计算,并不算不务正业。
大模型进行训练时,经常有任务完成,等待下一批任务的空闲,这段空闲时间,一旦不能加以利用,瞬间大量GPU闲置,就会造成机房供电的极大的大起大落。
xAI 当时应对这种冲击,使用的是一旦训练空闲,迅速切入一些无意义计算来使用这些GPU,通过这种方式来稳住负载。
这位仁兄用来分解大因数,也算是干了点正事。。。。
发布于 美国
这个码农,利用GPU的空闲时间进行超大因数分解计算,并不算不务正业。
大模型进行训练时,经常有任务完成,等待下一批任务的空闲,这段空闲时间,一旦不能加以利用,瞬间大量GPU闲置,就会造成机房供电的极大的大起大落。
xAI 当时应对这种冲击,使用的是一旦训练空闲,迅速切入一些无意义计算来使用这些GPU,通过这种方式来稳住负载。
这位仁兄用来分解大因数,也算是干了点正事。。。。