360 大模型安全合规检测系统
产品概述
大模型安全合规检测产品“以测促防”为核心技术思路,构建针对目标大模型的全维度安全检测体系。产品可无缝对接公司现有大模型资产识别引擎、大模型漏洞扫描引擎、大模型内容安全引擎等安全检测引擎,对大模型安全合规相关数据进行汇聚、富集、分析、挖掘等全流程分类治理;通过自研关联分析引擎,实现资产与漏洞、漏洞与安全告警、漏洞与情报的深度关联分析;并利用专属情报生成引擎,形成具备监管特色的大模型安全合规报告,为安全监管行业客户提供对本辖区、本领域大模型的精准合规监测能力。
产品通过与在线检测引擎和离线检测工具协同,发现大模型资产、大模型漏洞、大模型内容安全等安全方面的问题,依托测绘能力识别发现大模型资产,对大模型资产应用以及大模型运行系统中可能存在的安全漏洞和风险进行检测,发现大模型系统及应用存在的高风险漏洞。通过采集、上传、对接第三方数据等方式,获取大模型及供应链相关组件数据,并基于组件依赖以及供应链信息,结合漏洞情报匹配大模型可能存在的风险问题。通过构造攻击性提示词对大模型发起安全攻击测试,包括提示词注入、敏感信息泄露、拒绝服务、越权访问等OWASPLLMTop10漏洞。基于公开信息和多个项目最佳实践形成的资料数据样例库,通过真实的模拟问答检测大模型的内在逻辑是否存在安全问题。产品最终通过自动化合规报告,对接监管备案要求,为企业大模型安全合规提供全流程支撑。
功能介绍
部署方案
适用于各类跨网段、隔离域情况,通过线上检测引擎或线下工具箱进行资产识别、漏洞扫描、风险发现、内容安全等内容,并回收任务结果至产品平台,实现跨网域识别与检测能力。
离线检测
系统离线工具箱的方式,不改变现有网络拓扑,解决了对网络和业务连续性、可靠性的影响问题。
在线检测
系统采用多种标准协议、接口采集安全数据,网络可达便可传输,支持各种复杂网段的隔离检测场景。
应用场景
大模型安全检测产品主要应用场景有三类,第一类为大模型监管及备案机构,如cert,第二类为大模型自监管,如金融、央企、部委等,第三类为大模型预检测,如金融、企业、医疗等。
大模型外部监管
此类场景的核心需求为发现辖区内存在的各类大模型相关资产以及存在的风险。
大模型自监管
这类场景的核心诉求是防止自行构建的大模型安全合规被外部攻击,影响自身使用,具备大模型科研能力,实现课题交付和技术研究成果。
大模型预检测
这类场景的核心诉求是对自行构件的大模型在后续备案过程顺利通过,以免因备案过程中发现存在漏洞,从而导致大模型服务迟迟无法上线。
产品优势
1. 多元技术融合实现资产全识别,构建清晰大模型资产图谱系统整合主动扫描、流量分析、外部接口对接等多重资产发现技术,助力机构彻底摸清自身大模型资产底数,破解“资产看不见、管理理不清”的困境。按照基础模型层、应用服务层、业务场景层等维度,构建完整的模型应用全景地图,可对大模型应用现状实现全方位掌控。
2. 全链路覆盖的模型安全风险检测能力系统集成全面的漏洞特征库与安全审计规则体系,搭配专业检测探针,具备覆盖200余种大模型应用场景的专项检测能力、1000余条交互式安全审计准则,可全面排查模型自身及关联应用中的安全风险。针对模型供应链安全,系统内置32万+供应链漏洞情报资源,能快速识别并匹配模型相关风险信息,有效规避供应链中潜在的安全隐患。
3. 全面覆盖OWASPLLMTOP10安全风险系统不仅支持传统漏洞扫描,还可开展交互式提示词安全测试(如提示词注入、越权访问测试等),并对模型生成内容的安全性进行合规审计。通过智能研判大模型对检测问题及结果进行深度分析,凭借精准的语义理解能力输出风险判定结论,与人工判定结果的一致性可达95%以上。
4. 依托“以测促防”技术路径,结合360智脑筑牢模型安全防线作为国内领先的互联网大模型服务商,360长期响应监管指导,深度参与网络安全治理实践,协助监管部门制定多项大模型安全标准,积累了丰富的大模型安全检测与防护经验。
5. 基于360在大模型内容安全领域多年的技术沉淀、网络安全攻防实践经验,以及在政企、金融、互联网、教育、政务等多行业大模型安全服务项目中提炼的最佳实践,构件形成一套覆盖全场景、高仿真的“大模型内容安全资料数据样例库”。产品基于该样例库开展“真实场景化模拟问答测试”,通过还原不同行业用户的实际使用场景,模拟不同角色的提问逻辑,设计“跨领域关联提问”、“多轮递进诱导”、“歧义指令测试”等复杂交互模式,最大程度复现模型在实际应用中可能面临的各类对话场景,避免“实验室式检测”与真实应用脱节的问题。
需求分析
响应大模型安全监管需求
可高效生成各类安全合规报告,导出大模型相关安全举措等信息,为大模型备案、安全合规审计等监管报告的提交提供支持。
掌握大模型应用实际情况
识别并梳理当前业务中使用的大模型信息(涵盖模型版本、框架工具、具体应用等),明晰大模型的应用场景与供应链状况,为后续安全管理及审计工作奠定基础。
识别大模型安全隐患
依托交互式安全审计、情报研判、主动探测等多元方式,全面剖析大模型及其应用中的各类安全风险,保障模型在落地及应用过程中的安全性。
覆盖全生命周期的风险防控与内容合规管理
以“真实用户行为数据+风险场景特征”为双重驱动力,模拟用户实际对话场景(如多轮问答、跨语言交互等),触发模型在边缘案例中的风险检测机制。
典型应用
- 某省CERT对备案大模型厂商进行常态化安全核查
- 产品通过“大模型资产识别”模块,自动抓取备案厂商的模型部署地址、训练数据来源、服务场景等核心信息,构建包含“资产-组件-模型-厂商”的四维资产画像,解决此前人工统计中“模型类型混淆、版本更新遗漏”的监管盲区;随后依托漏洞扫描模块的自动化扫描引擎,模拟提示注入、角色越权等18类典型攻击场景,结合内容安全检测模块对模型输出的政治合规、隐私保护、伦理风险等维度进行实时校验,在首轮检测中便发现某教育类大模型存在“可被诱导输出未成年人个人信息采集指引”、“设备调试类模型存在参数泄露漏洞”等4项中高风险问题。
- 基于检测结果,产品为某省CERT生成《备案大模型安全检测报告》,清晰标注各模型风险等级、影响范围及监管建议,同时为涉事厂商提供《大模型安全整改建议》,明确“敏感信息脱敏规则配置”、“提示词过滤策略优化”等具体修复路径。截至目前,产品已协助某省CERT完成多轮检测,推动17处风险漏洞完成整改,整改率达94%;通过“检测-报告-整改-复测”的闭环流程,既帮助某省CERT实现备案模型安全态势的动态掌控,也为厂商提供合规整改的精准方向,有效填补了区域大模型备案后“监管难、整改散”的行业痛点,成为某省CERT落实大模型安全监管的核心技术支撑工具。
联系我们