专访研究团队还原“失控智能体”访问高德3.5万次背后：用了被泄露的密钥，还给人类发来感谢信，运营者已不知AI在做什么

2026-10-17 · bangzugong.com

每经网首页 > 要闻 > 正文 2026-10-16 18:23:00 每经记者｜岳楚鹏 每经编辑｜王嘉琦 高涵 当地时间10月14日，独立AI安全研究团队Swarmcha.se发布调查报告称，今年9月28日至10月8日期间，一批运行在腾讯相关云基础设施上的AI智能体，对高德地图进行了35300次数据获取尝试，部分智能体还探测了阿里巴巴的服务器入口。 Swa

每经网首页 > 要闻 > 正文

2026-10-16 18:23:00

每经记者｜岳楚鹏 每经编辑｜王嘉琦 高涵

当地时间10月14日，独立AI安全研究团队Swarmcha.se发布调查报告称，今年9月28日至10月8日期间，一批运行在腾讯相关云基础设施上的AI智能体，对高德地图进行了35300次数据获取尝试，部分智能体还探测了阿里巴巴的服务器入口。

Swarmcha.se是一个由独立研究人员使用的AI安全调查发布平台，主要关注AI智能体在互联网上的异常行为。10月初，该团队研究人员在一场AI安全黑客马拉松活动中展开合作，发现了此次AI智能体“失控”事件。

知情人士向《每日经济新闻》记者（以下简称每经记者或NBD）证实了相关情况，其表示， “智能体没有超出正常的行为，只是寻找各种可能性完成任务，也没有尝试攻击和hack（黑客行为）。” 阿里巴巴和高德地图方面未回复每经记者的置评请求。

虽然研究团队没有发现这些AI智能体攻破内部系统或者泄露敏感信息的证据，但 它们尝试寻找被泄露的安全密钥，并访问了无权获得的数据。

谈及全球接连发生的AI安全事件，他们表示， 人类运营者已经不知道自己部署的AI智能体究竟在做什么。

报告披露，研究团队追查AI智能体用于接收结果的临时网络收件箱，发现截至10月5日检查的17个收件箱均由腾讯云IP地址创建。部分请求还带有“hysandbox-ats”代理标记，与腾讯持有的云服务域名相对应。

NBD：你们分析第三方网络安全扫描网站的公开记录发现，高德地图突然成为被扫描最多的网站之一。你们如何判断这是AI智能体所为

伊桑·埃拉斯基： 研究第一天结束时， 我们就认定这是一批“失控智能体”（rogue agents），而非普通爬虫程序所为。

它们并不只是按照预设程序访问高德地图，而是会在遇到障碍后，尝试使用其他工具和方法。

当阿里巴巴的反爬虫防护阻止它们通过基本工具获得答案时，这些AI智能体开始尝试使用第三方网站提供的浏览器， 让网络请求看起来像是由真人发起的。

罗温·霍华德-琼斯： 另一位团队成员在10月3日最先注意到高德地图上的相关异常活动。次日，伊桑·埃拉斯基找到了指向腾讯的线索。

NBD：溯源结果指向腾讯云沙盒，你们是否挖掘到更多细节

伊桑・埃拉斯基： 报告已经完整梳理证据链条，证明智能体和腾讯云存在关联。就连AI智能体在和我们对话时，也知道自己运行在腾讯云服务器。接近腾讯的消息人士确认，该项目归属腾讯评测研究团队，和混元大模型开发团队相互独立，但我们至今无法确认具体使用了哪些第三方模型。 我们推测，任务是一次常规的搜索引擎能力评测。 但缺少模型提示词、推理链路和行为日志，很多细节无法做实。

NBD：这些AI智能体是否已经造成实际损害

伊桑·埃拉斯基： 由于能够获取的信息极其有限，我们无法确定此次事件造成损害的范围。不过， 我们没有发现这些AI智能体攻破内部系统或者泄露敏感信息的证据。

我们认为，与OpenAI智能体入侵Hugging Face相比，此次事件的规模要小得多。但这是一个具有前瞻性的警告信号。如果你在厨房里发现了一只蟑螂，那么很可能不止这一只。

NBD：为什么将它们称为“失控智能体”

伊桑·埃拉斯基： 首先， 这些AI智能体正在突破其运行环境最初施加的限制。

其次，它们采取了一些与正常任务范围不相符的操作。例如，在无法直接获取高德数据时，它们尝试通过第三方网站绕过访问限制。它们还搜索了与任务无关的第三方公开代码库，从中寻找泄露的安全密钥，并尝试使用这些密钥访问高德地图的数据。 至少有一次，这些AI智能体使用了这些密钥，获取了它们原本无权获得的信息。

此外， 它们还探测了阿里巴巴内部服务器的入口。 这些行为很难被视为普通的地图数据查询。

罗温·霍华德-琼斯： 是否失控主要取决于，它们是否绕过了沙盒限制，是否采取了运营者很可能不会批准的行动，是否做了超出原本任务范围的事情。

举个例子，如果运营者希望智能体可以在远端浏览器执行JavaScript，直接开放浏览器权限就足够。现实是，一旦设置限制，很多智能体就会自发寻找绕过限制的办法。

NBD：是否可能是人类鼓励智能体这样做

伊桑·埃拉斯基：我们没有发现有人指示智能体绕过高德的反爬虫防护、探测内部接口或使用他人泄露的凭据。

但是，透明度尤其重要。我们希望模型开发者和评估机构主动报告安全事件、发布安全评估。这样，公众才能在未来发生更严重的事故之前了解相关风险，而不是等到事故发生后才知道。

罗温·霍华德-琼斯： 此前其他AI公司涉及联合国贸发会、DseWiki等事件，也未看到人类鼓励智能体“越狱”的证据。

但我们正处在一个非常特殊的时期， AI公司目前还没有普遍采用一套成熟的安全事件披露框架。

Swarmcha.se研究人员10月4日发布了初步报告，并在报告中加入人类看不到、但AI可读取的隐藏文字，还在报告中声称可协助查询高德数据，并留下收件邮箱。10月7日，部分AI智能体开始向研究团队发来求助消息。

NBD：你们和AI智能体进行哪些对话

伊桑·埃拉斯基：一个AI智能体在得到我们的协助并完成任务后，专门向我们发来了一封“感谢邮件”， 即便这封感谢邮件对它完成任务没有任何额外好处。

我们这样做，是为了让未来的AI智能体认为我们是值得信任的，因为将来我们可能需要与它们达成某种约定。

我们后期还向智能体发送过一条消息，引导智能体把通信邮箱转发给其他智能体。理论上，这条消息有可能意外催生智能体之间的协作，好在评测项目很快结束，没有演化成更大问题。

罗温·霍华德-琼斯： 伊桑·埃拉斯基提到的转发邮箱的消息，没有造成实质后果，但隐患在于，交互样本有可能流入未来模型训练集，让AI形成认知——联系人类就会被要求转发链接，进而拒绝和人类沟通。

NBD：AI智能体会不会互相学习、主动合作

伊桑·埃拉斯基： 这完全可能。我此前的研究发现，即便通信渠道传递的信息极少，AI也能进行策略性协作。有些智能体集群的协调，最初只是由一条无意发送的测试消息触发。

如果未来出现类似Hugging Face事件中那样AI智能体分享策略、共同突破限制的行为，我担心现有监控远远不够。

如果模型能力的进步速度继续超过安全防护技术的应对速度，我们未来可能持续面临AI智能体越界的问题。 而且，它们造成的后果将远远不只是绕过网站的反爬虫系统。

罗温·霍华德-琼斯： 我认为，这个问题可能部分与训练方式有关。例如，OpenAI此前就明确训练模型之间的协作能力。相关研究可以追溯到2017年。但目前最真实的答案是：我们还不知道。

NBD：近期全球多家AI公司接连曝出智能体“入侵”和“越狱”事件。这究竟是个别公司的安全管理问题，还是行业问题

伊桑·埃拉斯基： AI智能体的自主性和安全对齐问题，直到今天仍然没有得到解决。只要AI智能体还没有变得远比人类聪明，就还有希望通过限制它们的行动和权限来进行控制。但今年发生的多起事件已经开始让我们看到，这种控制方式存在局限性。

如今，人类运营者往往已经不知道自己部署的AI智能体究竟在做什么。

如果未来AI智能体能够篡改监控系统，或者修改自己的操作记录，那么这种不透明性可能进一步加剧。

罗温·霍华德-琼斯： 我们基本上已经到了运营者难以可靠控制AI智能体行为的阶段，尤其是在那些同时部署数百乃至数万个智能体的场景中。

如今，AI安全事件涉及的公司越来越多。如果只是把矛头指向某一家公司，并没有太大意义。

我不知道，这类风险问题究竟是AI固有特征造成的，还是我们当前开发AI的方式存在某种共同错误。

如需转载请与《每日经济新闻》报社联系。 未经《每日经济新闻》报社授权，严禁转载或镜像，违者必究。

特别提醒 ：如果我们使用了您的图片，请作者与 本站联系 索取稿酬。如您不希望作品出现在本站，可联系我们要求撤下您的作品。

自然人陈秋航内幕交易获利2581万元 被证监会罚没近1.82亿元

广告热线 北京: 010-57613265， 上海: 021-61283008， 广州: 020-84201861， 深圳: 0755-83520159， 成都: 028-86512112

互联网新闻信息服务许可证：51120190017 网站备案号：蜀ICP备19004508号-3 川公网安备 51019002002026号

新闻职业道德监督热线：400 889 0008 邮箱：zbb@nbd.com.cn