随着上下文长度达到1M,Agent的系统提示词或许反而应该写得更复杂更长。
以前系统提示词要写长,是因为模型能力不足,你必须说得很详细很具体,否则模型理解不了,但是后来模型思考能力提升了,上下文却窗口不够,系统提示词写长了会占用上下文窗口,而且你写得太具体反而会影响模型对边缘Case的处理。
但是现在上下文窗口已经有1M了,写系统提示词可以当作一种思考的预填充,反而既可以减少思考Token消耗,也可以降低延迟。
发布于 陕西
随着上下文长度达到1M,Agent的系统提示词或许反而应该写得更复杂更长。
以前系统提示词要写长,是因为模型能力不足,你必须说得很详细很具体,否则模型理解不了,但是后来模型思考能力提升了,上下文却窗口不够,系统提示词写长了会占用上下文窗口,而且你写得太具体反而会影响模型对边缘Case的处理。
但是现在上下文窗口已经有1M了,写系统提示词可以当作一种思考的预填充,反而既可以减少思考Token消耗,也可以降低延迟。