#AI创造营[超话]#

《AI代理的致命三重威胁：私有数据、不可信内容和外部通信》

Simon Willison讨论了 AI 代理和 MCP 等LLM 系统所面临的风险：访问私有数据、接触不可信内容以及具备外部通信能力。这种组合极易被攻击者利用，窃取用户数据。

LLM系统的固有弱点：LLM会按照输入的指令进行操作，但问题在于它们不能区分这些指令是否来自可信来源。这意味着，如果LLM接收到恶意指令，很可能会按照这些指令行事，导致数据泄露。

而且这是一个广泛存在的问题：近期，从Microsoft 365 Copilot到GitHub的官方MCP服务器，再到GitLab的Duo Chatbot等多个生产系统均遭受此类攻击。这突显了这一问题的普遍性和严重性。

防护措施的局限性：虽然市场上有很多声称能够防御此类攻击的“防护栏”产品，但它们往往无法提供100%的安全保障。Simon Willison还提到了一些可能帮助缓解此类攻击的技术方案，但强调了用户自己组合使用工具时的安全风险。

访问：simonwillison.net/2025/Jun/16/the-lethal-trifecta/