周末市场还是围绕人工智能展开讨论的多一些,讨论的比较多的,开始向上下游扩散。
运营一个AI服务有多贵
此前,OpenAI 联合创始人兼 CEO Sam Altman曾在推特上表示,ChatGPT 的运营费用高得“令人瞠目结舌”。在用户抛出问题之后,ChatGPT回应的每一个字,花的都是真金白银。
ChatGPT是托管在微软云服务Azure上。据媒体分析,目前,微软对单个100 GPU的收费是每小时3美元,按照ChatGPT加载模型和文本的速度,生成一个单词的费用约为0.0003美元;而ChatGPT的回复通常至少有30个单词,因此,ChatGPT每回复一次,至少花Open AI 1美分。
而摩根士丹利的分析甚至认为,ChatGPT的一次回复可能会花掉Open AI 2美分,大约是谷歌搜索查询平均成本的七倍。尤其考虑到ChatGPT面向全球大众用户,用的人越多,带宽消耗越大,服务器成本只会更高。每天至少要烧掉10万美元。
而且,打造这样一个系统也极为昂贵。ChatGPT的界面只有一个聊天框,问答互动的形式看起来也非常简单。但实际上,一个训练有素的AI模型需要先从互联网上吸收海量的数据——比如文本、照片、艺术品等,涉及的参数和变量高达数百亿个。ChatGPT所基于的GPT-3系统拥有超1750亿个参数。
Forrester Research的分析师Rowan Curran认为,就算抛去专业工程师的人工成本,这一开发环节也需要花费数百万美元。
ChatGPT的技术底座是“大型语言模型(Large Language Models)”,简称LLMs,中文习惯称为“大模型”。算法是大模型成功的首要条件,然后要喂给算法海量的数据(数据量级跃升,能带来更多能力的涌现),再搭配强大的发动机——大算力,才能获得最基础的大模型。
一个ChatGPT应用的算力消耗已经让人瞠目。其大模型GPT经历了三次迭代,GPT、GPT-2和GPT-3(当前开放的版本为GPT-3.5)的参数量从1.17亿增加到1750亿,预训练数据量从5GB增加到45TB,其中GPT-3训练单次的成本就已经高达460万美元。最新的GPT3.5在训练中使用了微软专门建设的AI计算系统,由1万个V100 GPU组成的高性能网络集群,总算力消耗约3640PF-days,即假如每秒计算一千万亿次,需要计算3640天。
同样,国产自研的源1.0、悟道和文心等AI模型,不仅在参数量上达到了千亿级别,而且数据集规模也高达TB级别。想要搞定这些“庞然大物”的训练,就至少需要投入超过1000PetaFlop/s-day(PD)的计算资源。
一言以蔽之,大模型为代表的AI新时代,算力便是核心竞争力。
发布于 上海
