北京
很多团队在做AI功能时都踩过同一个坑：客服机器人、内部助手、接进客户记录的智能体，产品不同、技术栈不同，但中间那层安全防护，压根不存在。
用户在聊天框里输入内容，内容交给智能体，智能体再转给大模型。这中间没有任何环节看一眼发出去的是什么。客户把信用卡号粘进客服对话，这个号码就一字不差地进了第三方模型。有人试图诱导机器人干坏事，也没人盯着。
没有哪个团队是故意这么设计的。大家跑得快，演示能跑通，安全被排到了"第二阶段"。而第二阶段，很少真的到来。
在中间加一道关卡
于是有了一个很朴素的问题：如果每一次大模型调用，都必须先过一道关卡呢？这就是 Igris 的思路。它夹在应用和模型之间，每一条提示词都要经过它。
Igris 读取完整提示词，对照策略做检查，一旦触碰规则，调用在抵达模型之前就被拦下。干净的提示词放行，违规的内容被阻断或脱敏，无论哪种结果，每个请求都会留下日志。
开发者不需要为此重构任何东西。Igris 使用与 OpenAI 相同的 API 格式，应用照旧发起大模型调用，只是每次调用多绕一小段路，经过一个懂你规则的地方。
策略实际拦的是什么
这些策略本身很务实。多数团队想挡在模型之外的，是同一份短清单：
- 电子邮箱地址
- 电话号码及其他联系方式
- 社会安全号码
- 信用卡号
- 所在行业视为敏感的其他个人数据
这些都不算稀奇。正是这类数据，把一次普通的聊天机器人对话变成合规问题。Igris 在提示词里发现它们时，可以整体阻断调用，也可以只对敏感部分做脱敏，取决于策略怎么配。
当一个用户猛刷机器人
规则能拦住坏内容，拦不住坏行为。设想一个用户对着公司客服机器人一条接一条地发消息。单看每条消息可能都无害，合在一起就像是在试探弱点、抓取答案，或者把 token 账单刷上去。
Igris 盯的就是这种模式。当单个用户突然对客户的AI发起密集消息轰炸，它会识别出异常并打出标记，让团队在事情变成真问题之前介入查看。
看不见正常，就认不出异常。这也是 Igris 记录用户发给客户AI的每一个请求的原因——每一个都记。这些日志干两件事：日常里，它们是让异常显形的基线；出问题时，它们是记录，说明谁在什么时候发了什么、又发生了什么。
两个方向一起护
这层防护同时护着两边。一边是客户：他们分享给聊天机器人的个人数据，不该落到AI智能体手里。Igris 在智能体看到之前就把敏感和机密数据剥离出去，也可以先移除或脱敏，再发给智能体。
另一边是公司：摆在公众面前的聊天机器人，不该变成用户可以钻空子的东西。检查输入的那一层，同时也在看人们是怎么用它的。
实际场景里，不少公司的用户会在不知不觉中分享敏感数据，这些数据可能被用于其他目的，有时还会牵扯到其他用户的数据，问题就更复杂。Igris 会捕获信用卡号、医疗报告编号、社会安全号码、邮箱、电话号码等敏感信息，并给出日志，所有用户查询都被存储、标记或阻断。
三个问题自测你的AI应用
不确定自己的聊天机器人有没有中间层，这三个问题很快能给出答案：
- 如果用户把信用卡号粘进你的聊天机器人，它会去哪？
- 如果一个用户几分钟内发了几百条消息，你会知道吗？
- 如果客户问上周你的AI拿他们的数据做了什么，你能拿出来给他看吗？
任何一个答案是"我不确定"，那就是缺口所在。多数团队并不粗心，他们只是从没在用户和模型之间放过任何东西。加上这一层不必让任何人变慢，这也是 Igris 被做出来的原因。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
