隐私计算时代下的机器学习平台“矛”与“盾”
信息时代的宠儿——基于隐私计算的机器学习平台
数据作为机器学习的“燃料”，蕴涵了丰富的信息要素和巨大的经济价值。近年来，包括中国在内的全球各国都愈来愈重视数据要素市场的规范化管理，强调数据隐私保护与规范化管理的重要性，如：早在2020年4月9日，中国就公布了《关于构建更加完善的要素市场化配置体制机制的意见》。而隐私计算作为促进数据于规范化管理下安全流通的“桥梁技术”，并逐步开始应用于以“机器学习平台”为首的核心数据要素市场产品，孵化了包括蓝象智联GAIA在内多家以隐私计算为核心的机器学习平台产品。专业机构预计，国内该类隐私计算市场规模有望超过千亿。
区别于传统机器学习平台，以隐私计算为核心引擎的机器学习平台具有以下显著特征：
“数据可用而不可见”在包括联邦学习、密态机器学习在内的隐私计算技术加持下，平台内数据不会再直接暴露给平台用户，平台用户仅能通过预置接口在授权后使用数据训练机器学习模型。
“模型可用而不可见”随着“燃料”价格的增长，其衍生品——机器学习模型所具备的商业价值也随之水涨船高，新兴的平台用户不仅可以单纯地使数据安全的流通，亦可通过“模型”的形式安全达成数据价值传递。过程中，保证双方即达到“可用数据不可见”，亦达到“模型的可用不可见”。
由于“不可见”的安全需求和独特应用场景，隐私计算下的机器学习平台将面临除常见的DDoS等系统攻击以外针对数据、模型安全的更多样的攻击方式。随之应运而生的就是我们需要更强的“盾”来对新兴的攻击进行防御。如何体系化地梳理新兴的攻击手段，并针对性地提供防御策略，建立隐私计算下机器学习平台的“安全军备库”，是本文所论述的重点。
针对隐私计算下机器学习平台的“矛”
虽然隐私计算技术通过数据“不可见”实现了数据安全的保护，但正因为“不可见”，也为攻击者留下更多“藏污纳垢”的余地，这里我们分别从数据安全和模型安全的角度，分别讨论几类常见的攻击。
首先是针对数据安全的攻击，这里我们所指的破坏数据安全的攻击是一个广义的概念，不仅指造成数据隐私的泄漏的攻击，也包括了通过污染数据达成攻击目的的方式。具体来说，这类攻击包含：
-
数据重构 对于隐私保护的机器学习模型构建，最为常用的一类技术即是由Google于2016年首次提出的联邦学习技术[1]。该技术通过传递梯度的方式，避免了直接的明文数据传递，实现了数据隐私保护多方联合建模。但国内外研究表明[2][3]，梯度并不是一个有效的安全载体，攻击者可以伪装成合法的联邦学习参与者，并在获取到明文梯度后可以仅付出少量的计算成本就反推出用来计算梯度的原始数据。
-
数据下毒 由于建模数据多由他人提供且数据“不可见”，隐私计算下的机器学习平台通常缺乏有效的机制对数据进行过滤与清洗，从而令攻击者可以通过简单的标签反转[4]、模型替换[5]、数据篡改[6]等方式，来抑制模型的收敛、降低模型的性能甚至控制模型对特定输入的相应模式。
-
模型后门注入 又称“特洛伊木马”攻击，与数据下毒类似，攻击者利用“不可见”的特性，通过篡改原始数据的方式，让模型记住特定“触发器”的分布特性[7][8]，使训练得到的模型在面对携带触发器的输入数据时，给出攻击者所期待的输出。
-
无意识记忆 Google于一篇研究报告中指出[9]，在多方联合建模时，参与者常常会把一些分布外又无助于模型性能提升的隐私数据于无意间加入到训练当中，这类数据会于神经元中引入一类被称之为“无意识记忆”的漏洞。攻击者可以利用最短路径搜算算法，快速复原出构成无意识记忆的隐私数据。
其次是针对模型安全的攻击，通常这类攻击会通过欺骗模型或破坏模型隐私的方式，威胁机器学习模型服务安全。此外，这类攻击通常在传统的机器学习平台中也极为常见，但由于隐私计算下的机器学习平台数据和模型“不可见”的特性，该类攻击对其威胁更为严重，如：
-
模型偷取 又称模型提取攻击。以金融领域为例，模型作为银行等金融机构的核心资产，具有极高的商业价值。这类攻击允许攻击者通过构造特定访问样本 [10]，在不具备或仅具备少量数据的情况下，复制一个与目标模型性能相仿的模型，极大的威胁公司的核心资产安全。
-
恶意样本 通过合成的恶意样本[11]，攻击者欺骗模型作出特定的响应。以预授信场景为例，恶意用户可以通过修改其部分预授信信息，欺骗模型作出错误的判断，损害公司利益。于隐私保护下机器学习平台服务中，由于数据被加密，这类攻击尤其难以检测。
-
成员推断 成员推理是一类可以通过模型输出的后验概率检测建模所使用数据的攻击[12]。这类攻击对医疗场景下的机器学习应用下的用户隐私造成尤为严重的安全威胁，攻击者在隐私计算技术的保护下，隐蔽地获取任意个体是否于某家医院参与治疗或是否患病等十分私密的个人信息。
-
模型更新推理 对于一般的模型服务场景，经常需要定期的更新模型以匹配最新的业务场景特性。德国研究机构CISPA的研究表明[13]，攻击者可以利用模型更新后带来的后验概率输出上的前后差异，推理出用来更新模型的原始数据。
戍卫隐私计算下机器学习平台的“盾”
机器学习平台作为人工智能技术应用最为集中的一类载体，其安全防护越来越受到包括政府机构在内的社会各界人士的重视。哈佛大学的《人工智能与国家安全》报告中就曾指出人工智能的安全将通过变革军事优势、信息优势和经济优势直接影响公司资产乃至国家资产安全。俄罗斯普京总统更是直言“谁成为这个领域的领导者，谁就将成为这个行业的领导者”。
但是，在安全领域，一个公认的事实是，相较于用来攻击的“矛”，用来防御的“盾”更加难以设计。一个好的“盾”不仅要综合各方面信息来制定完备的防御策略，还要满足快速识别、快速响应、快速迭代等特性以满足实际应用需求。尤其对于以隐私计算为核心的机器学习平台这一新生产业，其安全防护更具挑战。为此，蓝象智联公司作为一家经营隐私计算机器学习平台产品的头部公司，综合各类常见威胁机器学习平台下数据、模型安全的各类攻击的特点后，总结得出一个完备隐私计算机器学习平台产品在防御策略上应至少具备以下能力。
数据安全防御方面 针对数据生命周期，需要对应数据使用前与使用中，分别制定对应防御策略。
使用前——数据清洗与过滤 平台应提供相应的工具，在数据资产发布时由平台提供方或第三方，对数据进行清洗和检测，对下毒数据、木马数据等恶意数据进行示警，在数据通过隐私计算技术加密前，就从源头上控制其可能带来带来潜在的风险。
使用中——强化隐私计算应用 平台应杜绝对非可证明安全的数据形式变换方式的依赖，避免“梯度裸奔”等现象的出现。针对包括模型梯度、嵌入向量等任何敏感信息出域，都必须借助同态加密、秘密共享等经过学术界和专业机构验证的隐私计算在符合国家标准的安全强度下予以保护。在特定模型场景下，还应保证所使用算法能够提供可验证计算能力，防止攻击者于隐私计算过程中篡改数据。
模型安全方面 除借助上述数据安全保护策略外，还应于模型部署前和部署后提供如下防御。
部署前——模型检测 平台应提供模型安全检测工具，对所有待部署模型进行检测，判断是否存在恶意后门。当发现后门后，除对用户进行报警外，亦可选择性地通过模型遗忘、模型蒸馏等方式提供模型后门清洗在内的善后能力。
部署后——访问控制 上述攻击的一大特点在于，都需要通过构造大量合法或非合法的访问来获取模型相关的额外信息，以辅助攻击者发起攻击。因此，一种最为简单有效的防御策略就是基于访问控制来拒绝越界访问、陌生IP访问、非授权访问等非法访问，限制部分用户的访问频次，这可以极大地增加攻击的攻击成本。
此外，平台应具备对数据和模型的访问、使用、授权等系统日志的记录与审计能力。当攻击确实发生后，能够为攻击发起方的恶意行为提供证据以进行追责。
结语
隐私计算下的机器学习平台产品作为全民隐私意识觉醒时代下的新生儿，正逐渐被各行各业所接受并快速成长。针对其产生的一系列攻击与防御方法的研究与应用不仅影响到了该行业未来发展的走向与企业间的核心数据资产安全，更具备极高的国家战略意义。蓝象智联通过对该领域技术的深入思考与积淀，给出了针对常见攻击类型的较为完备的防御策略，未来，公司将会更加广泛地加深与同业、高校间的合作关系，共同推动更加完善的平台安全防御标准的建立，切实保护用户数据与企业模型的隐私安全。
参考文献：
[1] McMahan B, Moore E, Ramage D, et al. Communication-efficient learning of deep networks from decentralized data[C]//Artificial Intelligence and Statistics. PMLR, 2017: 1273-1282.
[2] Geiping J, Bauermeister H, Dröge H, et al. Inverting Gradients--How easy is it to break privacy in federated learning?[J]. arXiv preprint arXiv:2003.14053, 2020.
[3] Wang Z, Song M, Zhang Z, et al. Beyond inferring class representatives: User-level privacy leakage from federated learning[C]//IEEE INFOCOM 2019-IEEE Conference on Computer Communications. IEEE, 2019: 2512-2520.
[4] Tolpegin V, Truex S, Gursoy M E, et al. Data poisoning attacks against federated learning systems[C]//European Symposium on Research in Computer Security. Springer, Cham, 2020: 480-501.
[5] Bagdasaryan E, Veit A, Hua Y, et al. How to backdoor federated learning[C]//International Conference on Artificial Intelligence and Statistics. PMLR, 2020: 2938-2948.
[6] Huang, Hai, et al. "Data Poisoning Attacks to Deep Learning Based Recommender Systems." NDSS 2021, Fall.
[7] Azizi, Ahmadreza, et al. "T-Miner: A Generative Approach to Defend Against Trojan Attacks on DNN-based Text Classification." 30th {USENIX} Security Symposium ({USENIX} Security 21). 2021.
[8] Severi G, Meyer J, Coull S, et al. Explanation-Guided Backdoor Poisoning Attacks Against Malware Classifiers[C]//30th {USENIX} Security Symposium ({USENIX} Security 21). 2021.
[9] Carlini N, Liu C, Erlingsson Ú, et al. The secret sharer: Evaluating and testing unintended memorization in neural networks[C]//28th {USENIX} Security Symposium ({USENIX} Security 19). 2019: 267-284.
[10] Chandrasekaran V, Chaudhuri K, Giacomelli I, et al. Exploring connections between active learning and model extraction[C]//29th {USENIX} Security Symposium ({USENIX} Security 20). 2020: 1309-1326.
[11] Ilyas A, Engstrom L, Athalye A, et al. Black-box adversarial attacks with limited queries and information[C]//International Conference on Machine Learning. PMLR, 2018: 2137-2146.
[12]Shokri R, Stronati M, Song C, et al. Membership inference attacks against machine learning models[C]//2017 IEEE Symposium on Security and Privacy (SP). IEEE, 2017: 3-18.
[13]Salem A, Bhattacharya A, Backes M, et al. Updates-leak: Data set inference and reconstruction attacks in online learning[C]//29th {USENIX} Security Symposium ({USENIX} Security 20). 2020: 1291-1308.
