【Langchain之类的库到底对LLM用了什么提示？用Mitmproxy进行拦截分析】
- 许多库试图通过重写或构建提示来改善LLM的输出，但这增加了意外的复杂性。直接查看这些库发送给LLM的提示，是理解它们如何工作的最快方法。
- Mitmproxy是一个免费的开源HTTPS代理，可以拦截API调用和提示，无需深入了解代码。它可以设置成只代理Python程序的流量，从而聚焦于LLM相关的调用。
- 通过拦截调用，可以看到Guardrails使用XML模式验证和修正LLM输出。Guidance做了许多不必要的内部调用来生成选项。Langchain的批处理实际上是做单独调用。Instructor通过定义Pydantic 模式实现了结构化输出。DSPy的最小示例做了上百次调用。
- 查看最终提示有助于决定是否需要这些框架，能否仅提取提示字符串，或编写出更好的提示。这有助于避免意外的复杂性。
- 人与LLM之间不应距离太远。当使用这些工具时，直接看到提示至关重要，以做出明智的决定。
《Fuck You, Show Me The Prompt.》 http://t.cn/A6YJZ7nP #机器学习# #人工智能#