随着大数据的快速发展和人工智能技术的逐渐成熟, 大数据和人工智能的结合变得越来越紧密, 相辅相成, 为各个领域的发展和进步带来了巨大的机遇和挑战。大数据提供了海量的数据, 而人工智能可以利用这些数据进行深度学习、模式识别和智能决策等方面的分析, 从而产生有用的信息和价值。然而, 大数据和人工智能的结合也面临着数据泄露、数据隐私保护、模型安全等诸多数据安全问题, 必须采取有效措施来确保数据存储、数据处理、数据流转等过程中的数据安全。
因此, 英特尔携手浪潮信息构建了端到端的大数据和人工智能隐私保护机器学习方案, 该方案基于英特尔软件防护拓展 (Software Guard Extensions, SGX) 提供可信执行环境 (Trusted Execution Environment,TEE), 使用浪潮信息云海 Insight 提供大数据能力支持, 通过 BigDL-PPML 建立端到端的大数据和人工智能隐私计算解决方案。通过英特尔 Big-PPML 和浪潮信息云海 Insight 的联合测试和应用实践证明了该方案的安全高效和卓越性能表现。
大数据和人工智能结合时的数据安全问题
大数据和人工智能结合是当前技术发展的热点领域之一, 其应用范围涉及到商业、医疗、教育、能源等多个领域。然而, 在大数据和人工智能结合的过程中, 数据安全问题是不可忽视的, 主要面临以下数据安全问题:
数据隐私保护:大数据和人工智能结合所处理的数据规模和种类非常庞大和复杂, 包含大量个人身份信息、财务信息、医疗信息等敏感信息, 如果这些信息被泄露或被未经授权的第三方获取, 将对个人、企业和机构造成极大的损失。因此, 必须采取措施保护数据隐私, 例如数据加密、数据脱敏等技术。
数据泄露:大数据中存储的信息往往包括商业机密、个人隐私等敏感信息, 如果这些信息被攻击者获取, 将给企业和个人带来重大损失。因此, 必须采取措施防止数据泄露, 例如网络加密、身份认证和访问控制等技术。
假数据攻击:大数据中的数据质量往往无法完全保证, 攻击者可以通过提交虚假数据来操纵模型, 从而对企业或机构造成损害。因此, 必须采取措施防止假数据攻击, 例如数据质量管理、异常检测、可信执行环境等技术。
模型安全问题:在人工智能中, 模型往往是根据大数据训练得到的, 如果攻击者能够访问模型, 就可以从中获得大量敏感信息。因此, 必须采取措施保护模型安全, 例如数据加密、访问控制等技术。
英特尔BigDL-PPML携手浪潮信息云海Insight的端到端隐私保护机器学习
为了解决大数据和人工智能结合时遇到的数据安全问题, 英特尔与浪潮信息合作, 基于英特尔 SGX 可信执行环境技术, 加持强安全的浪潮信息 KOS 操作系统, 使用浪潮信息云海容器云平台 ICKS(InCloud K8S, ICKS) 一键部署 Kubernetes(K8s) 集群, 浪潮信息云海 Insight 大数据平台提供运维管理、数据存储、数据计算、权限管理等能力, 通过英特尔 BigDL-PPML 实现大数据和人工智能端到端的隐私保护机器学习方案。
图 1 大数据和人工智能端到端的隐私保护机器学习方案架构
KOS
浪潮信息 KOS 是一款基于 Linux Kernel、OpenAnolis 等开源技术自主研发的服务器操作系统, 支持 x86、ARM 等主流架构处理器, 性能和稳定性属于行业领先地位。可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。
浪潮信息 KOS 服务器操作系统基于开源 OpenAnolis 系统做了开发和增强, 加入了自主研发的软件, 提供全方位 (内核及用户态) 的操作系统支持, 其稳定性、安全性、兼容性和性能等核心能力均已得到充分验证, 是一款强安全、高可用、高可靠、高性能、易维护的服务器操作系统, 能够为企业用户提供值得信赖的基础设施平台, 满足企业用户多应用场景的需求。本方案使用浪潮信息 KOS 系统可加固整个端到端隐私保护流程, 且浪潮信息 KOS 已自带 SGX 驱动, 可简化部署实施流程。
图 2 KOS 产品架构
ICKS
浪潮信息云海容器云平台 (InCloud K8S, 简称 ICKS) 是企业级容器云平台, 基于容器和 Kubernetes 容器编排技术, 采用微服务架构, 以应用为中心, 面向企业私有云市场提供包括全方位应用管理、服务网格、智能监控运维、DevOps、异构设备管理、应用迁移、容灾备份、 多租户管理、安全审计等云平台服务, 能够帮助企业加速应用上云, 实现业务的高可用性、弹性伸缩, 并对应用的全生命周期进行自动化管理。本方案使用浪潮信息云海容器云平台 ICKS 可以一键部署 K8S 集群环境, 简化部署流程, 提高部署效率, 确保集群高可用, 为本方案提供稳定可靠的容器调度环境。
图 3 ICKS 产品架构
BigDL PPML
BigDL-PPML 是英特尔开源的大数据和人工智能应用平台 BigDL 构建的一个分布式的隐私保护机器学习平台, 主要基于英特尔 SGX 可信执行环境技术。BigDL-PPML 可以使公司企业在探索强大的人工智能技术的同时尽量降低处理大量敏感数据相关的安全风险。PPML 可以有效保护存储、传输和使用中的数据:由 SGX Enclaves 保护的计算和内存、由加密保护的存储、由远程认证和传输层安全保护的网络通信, 以及可选的联邦学习支持。
图 4 BigDL PPML 产品架构
云海Insight
云海 Insight 是浪潮信息企业级大数据基础软件, 集合业界主流的新型大数据处理技术, 包含数据采集、数据存储、数据计算、检索服务、编排、数据湖、数据安全等 30 多个大数据组件, 提供统一的平台化管理运维, 实现深度功能增强和性能优化, 能够帮助客户轻松应对海量数据的采集、存储、计算、查询、分析挖掘和数据安全等应用场景。BigDL PPML 作为 AI 计算的重要组成部分集成到 Insight 大数据平台中, 提供 Spark SQL、ML/DL、联邦学习等功能, 提升 Insight 平台 AI 服务能力。
图 5 Insight 产品架构
安全高效的发掘数据价值
英特尔 BigDL-PPML 携手浪潮信息云海 Insight 构建的端到端的大数据和人工智能隐私保护机器学习方案, 可以帮助企业在保护数据安全的前提下, 实现数据分析、机器学习、深度学习等大数据和 AI 应用。通过集成英特尔 BigDL-PPML, 浪潮信息云海 Insight 可以为企业提供更加安全和可靠的大数据和人工智能隐私计算方案, 从而带来以下收益:
数据隐私保护:隐私保护多方计算技术可以将数据分布在多个计算节点上进行计算, 并在不泄露原始数据的情况下完成计算任务。这可以有效保护企业的数据隐私, 避免敏感数据被泄露。
高效性和可扩展性:英特尔 BigDL-PPML 基于分布式计算框架 Spark 进行实现, 可以实现大规模深度学习模型的训练和推理, 同时保证计算效率和可扩展性。这可以为企业提供更加高效和可靠的数据分析和处理服务。
降低数据处理成本:浪潮信息云海 Insight 大数据平台具有完善的数据采集、数据存储、数据计算流程, 通过大数据处理技术和数据安全体系, 可以对海量数据进行一站式处理。这可以降低企业的数据传输和处理成本, 同时提高数据安全性。
提高数据价值:通过利用英特尔 BigDL-PPML 进行训练和推理, 企业可以更加准确地分析和挖掘数据, 从而提高数据的价值。同时, 数据隐私得到保护, 企业可以更加放心地分享数据, 促进行业内数据共享和合作。
综上所述, 英特尔 BigDL-PPML 携手浪潮信息云海 Insight 建立端到端的大数据和人工智能隐私计算方案, 可以为企业带来多方面的收益, 包括数据隐私保护、高效性和可扩展性、降低数据处理成本和提高数据价值等。
持续更新完善隐私计算方案在各行业的创新应用
基于英特尔 SGX 技术, 英特尔 BigDL-PPML 携手浪潮信息云海 Insight 可以为企业提供更加安全和可靠的大数据和人工智能隐私保护机器学习方案, 经过双方的联合测试和多方实践, 该方案不仅能够保障用户的隐私安全, 而且能够提高企业的机器学习效率, 为企业带来包括数据隐私保护、高效性和可扩展性、降低数据处理成本和提高数据价值等多方面的收益。
随着计算能力的不断提高和人工智能算法的不断创新, 大数据和人工智能的应用场景也将会更加广泛, 数据隐私和安全问题变得越来越重要。基于英特尔 SGX 技术的英特尔 BigDL-PPML 将成为企业实现数据安全和隐私保护的重要工具, 浪潮信息云海 Insight 大数据智能分析平台将会不断更新和完善, 为企业提供更加安全可靠的数据处理和分析服务。双方将继续深入合作, 进一步完善端到端的大数据和人工智能隐私保护方案, 在保障用户数据安全的同时, 促进大数据和人工智能技术持续发展, 在各行各业中产生更多的创新和应用。
