我们知道 Mac上的 ANE 硬件(即 Apple Silicon 芯片中的 NPU)被官方限制为仅能用于推理(通过 CoreML),而不支持训练。而该项目: github.com/maderix/ANE 通过逆向工程苹果的私有 API,打破了这一限制。
"该项目目标是展示在 Apple Neural Engine 上进行训练(以及潜在的其他 NPU)是可行的,而且障碍一直是软件支持,而不是硬件能力。ANE 是一块性能卓越的芯片,但 Apple 通过 CoreML 将其限制为仅能用于推理。这个项目通过逆向工程的私有 API 绕过这一限制,展示了在赋予硬件机会时的可能性。
这是一个从零开始实现的在 Apple Silicon 上运行的 Transformer 训练(前向 + 反向传播)的实现。ANE 是一个 15.8 TFLOPS 的 FP16(M4)推理加速器,Apple 并未对其开放训练功能。本项目通过逆向工程 _ANEClient / _ANECompiler 私有 API 以及 MIL(模型中间语言)格式,使自定义计算图—including 反向传播—能够直接在 ANE 硬件上运行。"
#How I AI#
发布于 山东
