昨天我用大小模型混合模式跑了一下我那个几亿 token 的 AI 测试集。大模型用的 Claude 3.7 Sonnet，小模型用的是 Gemini 2.0 Flash。结果发现，占比已经很小的 Claude 模型还是花费了 4 千万以上的 token。
即使我的测试台已经配置成总是使用 batch API 来跑所有 Claude 的 API 请求（有半价优惠），但仍然花费了一百多美元。Claude SOTA 模型真心贵。
我于是又把 SOTA 大模型在我的测试台中的使用比例又下调了一半，这样花费应该还可以接受了。 [笑cry] 我的 Chunbot AI 框架支持调整所有这些参数，还是挺爽的 [哈哈]
#ai创造营# #claude# #llm#