【在黑客松赢了一台价值3万美元的英伟达DGX Spark,然后呢?】
一位网名brandon-i的开发者最近在英伟达黑客松上赢得了一台Dell DGX Spark GB10。这台机器配备128GB统一内存、4TB固态硬盘、约一个PetaFLOP的FP4算力。
获奖项目是关于社会健康决定因素的AI系统,帮助政府和机构发现看似无关但实际相关的数据,用AI智能体生成可执行的解决方案。他用了21小时独自完成,从早上9点干到第二天凌晨6点。
有意思的是这位赢家的背景。十年前金融专业毕业,软件工程完全自学。做过的项目包括:医院机器人、用于筛查阅读障碍的语音识别算法(目前已覆盖加州超过30%的小学)、抑郁症治疗研究。他说自己只是做了很多项目,喜欢学习。
他在帖子里问:这台机器我能用多久?未来模型会变得更小更好,还是会越来越大装不进去?
社区给了一些实用建议:
- 128GB内存可以微调70B参数的模型,用QLora甚至能处理120B级别
- 用llama.cpp替代vLLM,内存占用能从100GB降到30GB
- 试试Sglang或FP8量化提升推理速度
- 可以买第二台组成集群,扩展能力
关于DGX Spark的实际使用体验:主要瓶颈是内存带宽和散热。有公司用这个参考设计加装更好的散热获得了更好性能。另外它基于ARM架构,很多软件包不直接可用,需要自己编译。
他还提到一个细节:黑客松期间有2到3台DGX Spark变砖了,都是因为有人在root权限下用Claude Code不加限制地乱跑。机器本身能承受很大压力,问题出在使用方式。
这个帖子引发了大量评论,有人开价2000美元想买,有人问能不能跑Crysis,还有人建议卖掉买英伟达股票。
对于普通开发者来说,这台机器的定位是:用小数据集在本地开发测试,然后把大规模任务放到数据中心。它和数据中心硬件架构相同,只是规模更小、速度更慢。对于想深入AI开发但买不起整个机架的人来说,确实是个有意思的选择。
reddit.com/r/LocalLLaMA/comments/1qn3xig/i_just_won_an_nvidia_dgx_spark_gb10_at_an_nvidia
