Agent 安全:先想清楚一次搞砸能有多糟
别指望模型永远不犯错,让它犯了错也闹不大。
给 Agent 设边界的时候,我会先问自己一个很具体的问题:它搞砸一次,最多能花掉多少钱、漏出去什么、改坏什么? 这比在提示词里写一句「请注意安全」管用多了。
四个地方先收紧
- 钱:每次调用前查一下累计花了多少,而且这个数要存在数据库里,不能放内存。不然进程一重启,上限就没了。
- 输出:模型给的东西先当成「待检查的数据」,字段、类型、允许的动作都对一遍,不对就降级,并且记下来为什么。
- 信息:按角色或任务给上下文,它不该知道的一开始就别给,私密消息走单独的通道。
- 工具:只给这个任务用得上的工具,再在执行那一端卡一道白名单。
做到这些不等于万事大吉,但至少出了错不会悄悄变大,事后也能查清楚它到底做了什么。
© 2026 袁天NOTE / 04
