近日，微软系统内置的Copilot 被曝存在数据泄露。Black Hat 2024 大会的一名研究人员揭露了一项惊人发现，微软的 AI 助手 Copilot 存在多个安全漏洞，

　　Copilot是微软推出的AI助手，也搭载着微软开启AI PC革命的雄心。作为一个助手，Copilot可以为高级领导到 IT 专业人员再到一线员工，提供可简化任务、自动化工作流程并增强协作，更大释放员工生产力和创造力，被视为可以颠覆打工方式。

　　高强度用户交互、访问大量公司数据，这些植入AI助手DNA的特色，也埋下了安全隐患。这不是微软Copilot 第一次卷入数据泄露的漩涡，也不会是最后一次。

　　AI助手作为最值得关注的商业应用方向，业内认为将重塑未来生活与工作模式。然而 ，微软Copilot事件再度敲响警钟，随着AI逐渐嵌入到每个人日常，数据安全保障能到位吗？

　　根据Black Hat 2024 公布的情况，微软Copilot不安全的默认值、过度宽松的插件以及一厢情愿的设计思维，使得数据泄露“不仅可能，而且很可能”。

　　安全公司Zenity的联合创始人兼CTO Michael Bargury称，“人们构建的大多数 Copilot Studio 机器人都是不安全的，而且它们在网络上很容易被发现。这就是即将发生的数据泄露。”

　　Bargury利用自己创建的工具CopilotHunter扫描可公开访问的 copilot，并使用模糊测试和AI 滥用它们，从而提取敏感的企业数据。研究结果表明，针对数千个可访问的人工智能助手，可以揭示出恶意行为者可以利用的敏感数据和公司凭证。

　　此外，研究人员通过演示展示了攻击者如何通过这些漏洞实施攻击，无需获取企业账户即可诱骗Copilot修改银行转账人信息，甚至无需获取目标员工打开邮件即可实施攻击，这一切都得益于Copilot的积极配合。

　　事实上，这并非微软 Copilot 首次受到质疑，今年6月初就有网络安全专家表示，Copilot+中名为“回顾”（Recall）功能的日志系统仅仅是一个 SQLite 数据库，黑客可以远程访问这些信息。

　　网络安全专家凯文・博蒙特 (Kevin Beaumont) 还在社交平台上指出，回顾功能会每隔几秒钟自动截取屏幕内容，然后利用运行在用户设备上的 Azure 人工智能进行光学字符识别 (OCR)，并将识别出的文本内容写入用户文件夹中的 SQLite 数据库。该数据库文件是以纯文本形式记录用户在电脑上查看过的一切内容。

　　尽管微软首席研究科学家海梅・蒂文（Jaime Teevan）在斯坦福大学 AI 研究所的演讲中解释称，“回顾”功能收集的所有数据都存储在用户本地的电脑上，并不会将数据存储到云中。

　　但这并不能完全消除隐私泄露的风险，任何能够访问用户电脑的人，无论是物理访问还是远程登录，都有可能通过“回顾”功能获取到敏感信息。并且“回顾”功能并不会对敏感内容进行模糊处理或审核，这更加增加了数据泄露的风险。

　　今年3月29日，美国国会众议院出于安全考量，禁止其工作人员在工作设备上使用微软的 Copilot 生成式人工智能辅助工具。

　　根据众议院首席行政官Catherine Szpindor在发送给国会办公室的一份指南中表示，“网络安全办公室认为微软Copilot应用程序构成了风险，因为它有可能将众议院的敏感数据，泄露到未经众议院批准的云服务中。”

　　AI 助手旨在通过访问大量数据来提供决策支持和自动化服务。从创建到使用的整个流程都充斥着数据安全风险。

　　以Copilot 为例，要创建自己的 Copilot，用户必须选择一个“知识”来源来训练 AI 模型。可以选择各种来源作为 AI 的训练集，例如公共网站、上传文件、使用 SharePoint、OneDrive 或云数据库 Dataverse。

　　然而上传的文件可能包含隐藏的元数据，敏感或隔离的数据可能会被上传。Copilot共享将打破隔离，使共同所有者能够下载文件，并导致多种泄漏情况。

　　数安信CTO崔维友指出，Copilot主要存在两方面问题：首先，训练的数据难免会包含私有化信息；其次，AI很难真正理解问话者的实际意图。他举例称，黑客会做一个“交叉盘问”AI工具，去“审问”Copilot，从而攻破防线，获取信息。

　　各种安全漏洞的出现主要是因为人工智能代理技术被赋予了数据访问权限，Black Hat大会中提到，当AI只要被赋予数据访问权限，这些数据就会成为攻击的目标。

　　但是人工智能代理技术本身就是通过访问大量数据来完成辅助功能，其实现途径与风险入口成为了一种内在悖论。这是人工智能代理技术发展不可避免的固有安全风险。

　　Bargury还强调：“这里存在一个根本问题。当给AI提供数据访问权限时，这些数据就成为了提示注入的攻击面。某种程度上来说，如果一个机器人有用，那么它就是脆弱的；如果它不脆弱，它就没有用。”

　　此外，公有云的交互也加剧了风险。使用微软的内容管理工具 SharePoint 或存储空间 OneDrive 作为输入可能会出现问题，因为它可能会导致敏感数据过度共享。尽管数据存储在公司的云环境中，但用户授权 Copilot 访问所提供链接下的所有子页面。

　　根据IBM发布的2024年《数据泄露成本报告》中显示，全球数据泄露事件的平均成本在今年达到488万美元，与上一年相比，数据泄露带来的成本增加了10%。

　　IBM安全战略和产品设计副总裁凯文·斯卡皮内茨（Kevin Skapinetz）说：随着生成式AI迅速渗透到企业中，扩大了攻击面，这些（安全）费用很快将变得不可持续，迫使企业重新评估安全措施和响应策略。

　　斯卡皮内茨还发出了警告，“企业陷入了一个持续的泄露、遏制和后果响应的循环中。这个循环现在通常包括投资加强安全防御和将泄露费用转嫁给消费者——使安全成为新的商业成本。”

　　数据泄露的确是继续发展人工智能代理（AI agent）技术需要面对的棘手问题，针对AI技术发展带来的安全风险，中国工程院院士shadowrocket 最新规则、清华大学智能产业研究院院长张亚勤则建议，从事前沿大模型的企业或机构，要把10-30%的投资投到相关研究或产品的开发。