袁天AI developer
← 全部笔记

Agent 安全:先想清楚一次搞砸能有多糟

别指望模型永远不犯错,让它犯了错也闹不大。

给 Agent 设边界的时候,我会先问自己一个很具体的问题:它搞砸一次,最多能花掉多少钱、漏出去什么、改坏什么? 这比在提示词里写一句「请注意安全」管用多了。

四个地方先收紧

  • 钱:每次调用前查一下累计花了多少,而且这个数要存在数据库里,不能放内存。不然进程一重启,上限就没了。
  • 输出:模型给的东西先当成「待检查的数据」,字段、类型、允许的动作都对一遍,不对就降级,并且记下来为什么。
  • 信息:按角色或任务给上下文,它不该知道的一开始就别给,私密消息走单独的通道。
  • 工具:只给这个任务用得上的工具,再在执行那一端卡一道白名单。

做到这些不等于万事大吉,但至少出了错不会悄悄变大,事后也能查清楚它到底做了什么。

Agent 安全 信息隔离
© 2026 袁天NOTE / 04
小鲸鱼 · AI 导航
小鲸鱼正在连接…

站上的内容我都读过。直接联系袁天 →

小鲸鱼我是助手小鲸鱼。内容、笔记,或者有什么想知道的,直接问我。