浅谈数据安全-联邦安全威胁(上)

5小时前 · 数据安全 · 29次阅读

——开一个新坑,记录一些笔者硕士期间课题研究的小记和个人理解,有问题欢迎留言讨论,文章仅代表个人观点看法,所造成的损失和后果自行负责,转载请标明原作者。

在如今的大数据时代,大模型与各行各业都形成了重要的联系,大家在享受大模型的便利的同时,数据安全已经悄然成为一大重要安全问题。对于机器学习行业,数据安全是关乎生死命脉的重中之重。作为初入茅庐的数据安全研究者,我想通过这种随笔记录的方式分享数据安全的学习过程,同时也希望将专业的论文术语转成通俗的语言分享给同为初入数据安全的同志们,更好的理解和学习。

初入茅庐-机器学习到底是什么

在学习数据安全前,我们先来了解下数据服务的对象-机器学习到底是什么。顾名思义,机器学习就是让机器像人类一样学习一些技能,既然是来源于人,我们首先看一下人类的学习技能是如何形成的。举个例子,如何分辨一个图像是二次元图像。

对你来说,上面一张图很难得到一种归类的规律,那么我们可以多给一些图作为参考,如下所示:


那么现在我们有了参照的对比组和同类组,上面一排是二次元图像,下面一排是真实的任务照片。我们就能学习到二次元图像的一些特征,比如眼部细节和五官细节多区别于正常人类的比例,通过这些相同类型的图像和不同类型的图像强化印象,现在我们能分辨这个图像是二次元图像了,从理性的角度看,我们发现到这些二次元图像的共同点,并且记下来作为评判标准,这就是一个学习过程。

那我们现在可以发现这是一个二次元图像,那我现在想让机器能够分辨二次元图像,方便我能找好看的图来装饰我的博客网站,这个机器该怎么学习到这个概念呢?

同样类似人的学习过程,机器也能通过这样的流程学习到这个概念,通过给机器输入图像和对应的标签,机器通过图像中的一些特征统计结合标签并通过设定好的数学公式评判未知图像和二次元图像的之间的相似度,高于一定值的结果就是二次元图像。这就是机器学习的过程,但区别于人类,人可以通过感性认知判断,但机器没有人类的感性认知,必须依赖严格的数学特征计算来确定,所以机器学习并不能达到百分百人类学习的效果,只能通过提供海量的数据源(量变引起质变,力大砖飞)和设计不同的公式判别标准(更加精准的识别特征)来提高精准度。

进阶学习-怎么提升机器学习效果

上一段我们说了机器学习是啥,也提到了机器学习的两个重要核心-数据源和判别公式。对于机器学习的效果好坏,主要就靠这两点来决定。

还是举个例子,一个刷题造就的学霸和一个天赋怪都可以是数学全班前列,刷题同学甲见过的题够多,学到的解题方法够多,他的解题能力就够强;天赋怪同学乙虽然见过的题不多,解题方法也积累的不多,但他能结合公式推理出新的公式来解题,也就是融会贯通。这两种都是机器学习的进步方向,但是就和我们人类朴素认知一样,天赋怪同学乙明显更优于刷题同学甲,放到机器学习就是判别公式的效果好能顶的上数据源不够多的问题,毕竟我们都希望投入越少收获越多。

但是从公式上来说,数学特征优化出更好的结果很难实现,毕竟数学的事儿还是仰赖数学家们的研究,那我们在没有数学革新的情况下,最好的办法还是在数据源上做功夫,提供海量的数据源在目前公式的基础上微调参数,得到更加精准的结果。

那么回到这个问题来,我们知道现在能走的路子就是力大砖飞多学习,但是学习消耗的数据资源很大,消耗时间也很长,刷题同学甲就是往死里刷题也得一个章节一个章节的刷,一个章节一个章节的强化学习。时间成本太大,收益也不是很大。这就是传统的集中式机器学习,和人一样是有极限的。

“所以我不做人了!(误入)”

既然我们都用上机器了,作为工具那必然得有过人之处啊,不同于人类只有一个脑子,只能做集中式学习,机器完全可以多线程同时进行,人不能同一时间被多个老师教学学习语数英物化生,但机器可以分身同一时间接受学习。这就是分布式学习,这样我们通过拆分任务,多端同时进行最后进行汇总,就能大大节省时间资源得到我们想要的结果。

核心关键-机器学习的数据安全

那又产生新的问题了,比如在学习数学的时候,我有一个独家秘笈,但我不希望别人能知道,但我还是得教给对象怎么办呢,这就引入了关键技术-联邦学习。作为分布式学习的进阶版本,有啥区别呢?

联邦学习的模式如下图所示,通过服务器端和多个客户端组成,分下面四个步骤:

(1)首先有服务器端提供一个初始模型分发给各个客户端;

(2)每个客户端用自己的数据集进行训练,收获各自的模型参数并提交自己的模型参数给服务器端;

(3)服务器端进行聚合后获得新模型;

(4)服务器端下发新的模型,循环上面的流程。

这样分布学习的话,各自的“独家秘笈”只在本地存储,服务端只得到训练之后的参数结果,通过聚合之后将学习的结果固定下来,这样就能保证数据的私有性咯。

按照惯例我们结合生活样例,好比学习数学,每个老师有自己的独家思路,自己班上教的是自己的独家思路也就是本地客户端学习,在考场上答题写的答案就是反馈的给服务器端的参数,这样老师的独家思路没有泄露,需要的正确答案反馈给了出卷老师,出卷老师根据各个答案调整试题难度出下一套卷子给同学们,以此强化出卷质量。

这么听,联邦安全也太巧妙了,既解决了分布式学习的算力问题,又保证了数据的隐私安全,简直绝了!但是没有绝对完美且安全的方案,联邦安全看似完整的流程背后存在值得研究的安全问题,简单分为三种类型:

(1)后门攻击:通过训练种加入的恶意后门,使得训练得到的模型在遇到正常样本时正常输出而在后门样本的触发器输入时呈现攻击者期望的不良结果;

(2)拜占庭攻击:客户端中一个或多个节点通过错误或误导的更新扰乱训练导致模型收敛异常;

(3)对抗攻击:在输入数据中添加微妙且精心构造的扰动来欺骗模型做出错误的预测。

对于机器学习训练模型的过程,我们可以归类出两个阶段:训练阶段和推断阶段。由此我们也可以分类上面三种攻击到这两种分类里,其中:

(1)训练阶段:训练模型过程中对样本下毒或使客户端训练恶意模型替代正常模型又或是故意提供有害信息使得模型无法正常收敛或返回错误结果,代表为:后门攻击和拜占庭攻击;

(2)推断阶段:在使用阶段通过构造精巧的扰动使得正常的模型产生误判,代表为:对抗攻击。

那根据攻击的对象,我们也能将攻击分成针对性攻击和非针对性攻击,其中:

(1)针对性攻击:后门攻击;

(2)非针对性攻击:拜占庭攻击。

对于对抗攻击,既可以针对性攻击也能非针对性攻击,这也是由于他处于推断阶段的攻击,并不是对模型本身的进行修改,而是通过微小的扰动使得正常模型产生误判。

本文先对机器学习和分布式学习及其进阶版-联邦学习进行初步介绍,受限于篇幅本文先介绍到这里(其实是笔者懒得一口气敲完),下一期我们介绍具体的攻击特性和对应的防御手段。

👍 0

none

还没有修改过

评论

取消回复
贴吧 狗头 原神 小黄脸
收起

贴吧

  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡
  • 贴吧泡泡

狗头

  • 狗头
  • 狗头
  • 狗头
  • 狗头
  • 狗头
  • 狗头
  • 狗头
  • 狗头
  • 狗头
  • 狗头
  • 狗头
  • 狗头

原神

  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神
  • 原神

小黄脸

  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  • 小黄脸
  1. Gason 5小时前

    ' autofocus onfocus=alert(1) x='

  2. Gason 5小时前

    ">

  3. Gason 5小时前

  4. Gason 5小时前

    alert(1)

目录

avatar

n1tro

这里是ctf菜狗n1troの小站

26

文章数

6

评论数

4

分类

awsl!

awsl!