深圳市场监管
26-06-08 16:07 微博认证:深圳市市场监督管理局(深圳市知识产权局)官方微博

#市监君播报# 【怕AI泄露数据?怕答非所问?这套自研系统精准护航→】当前,人工智能加速渗透千行百业、赋能产业数字化转型,与此同时,AI幻觉、数据安全、系统漏洞等各类风险隐患日益突出,对人工智能安全治理、规范发展提出更高要求。为精准防范化解生成式人工智能应用风险,筑牢智能化应用安全屏障,在市市场监管局指导下,深圳市计量质量检测研究院前瞻布局、主动作为,自主研发“生成式人工智能(AIGC)风险评估系统”,目前已在辖区政务领域落地应用。http://t.cn/AXXny0oQ

一、主动前瞻布局,搭建技术支撑体系

为顺应数字经济发展趋势,严格落实国家关于生成式人工智能规范发展、强化安全治理的工作部署,市检测院严格对标《生成式人工智能服务管理暂行办法》《科技伦理审查办法(试行)》等法规制度,以国标GB/T 45654-2025《网络安全技术 生成式人工智能服务安全基本要求》为核心技术标准,搭建专业化AI风险评估技术支撑体系。该系统已为深圳某区政务和数据局AI智能体开展全面网络安全检测评估,顺利保障相关主体接入粤政易平台,切实守住政务数字化、智能化转型安全底线。

二、聚焦实战需求,技术落地初见实效

作为拥有网络安全等级保护测评资质的机构,市检测院发挥技术优势,着力破解生成式人工智能应用中的新型风险难题,旨在构建一套全面、客观、可量化的AIGC安全评测体系,助力各类主体在模型选型、上线核验、日常运营等全流程,精准识别、有效防范生成式人工智能新型安全风险,保障AI应用合法合规、安全可控,全面提升数字化治理与公共服务的规范化水平。

自研系统主要功能包括:

1.系统化幻觉评测:围绕答非所问、事实捏造、信息混淆、时间错配等典型AI幻觉问题,提供标准化的评测服务。

2.灵活的数据支持:支持“标准评测集”与“自定义数据集”双模式,可自主构建高度贴合实际的评测样本库。

3.精细化的任务配置:提供灵活配置,满足多样化测试需求,支持任务列表化管理,便于大规模验证。

4.多维度的结果洞察:通过数据看板,快速掌握AI模型整体表现,并精准定位AI模型在特定场景中的薄弱环节。

5.全周期的结果追踪:自动存档历史评测任务并形成记录,为后续优化、验收等提供坚实数据支撑。

该系统的落地运行,有效把技术优势转化为治理效能,从源头保障AI智能体的回答真实、可靠,防止AI“幻觉”问题误导决策、影响公信力,为数字政府建设与产业智能化升级提供可靠支撑,为依托人工智能开展政务服务、社会治理筑牢技术根基。

三、深化系统建设,拓展科技赋能边界

下一步,市检测院将在市市场监管局的领导下,持续发挥技术创新优势,按照整体规划分步推进功能迭代,不断完善AIGC风险评估能力矩阵。以主动担当的姿态、专业可靠的技术能力,护航生成式人工智能技术健康有序发展,助力提升社会治理、公共服务的质量与效能。