越来越多的网络入侵检测系统（NIDS）开始引入机器学习技术，以检测为止攻击。但是机器学习已被发现极易受到对抗攻击，这对基于机器学习的网络入侵检测系（ML-NIDS）统带来了潜在威胁。在目前的环境下有关传统的基于签名的NIDS相关研究不在有效，而ML-NIDS的相关研究还主要集中于百合检测和特征维度，对于黑盒ML-NIDS的研究基本上未得到开发。为弥补这一缺陷，本课题对实际流量空间中基于机器学习入侵检测系统的对抗攻击进行研究。本工作由清华大学网络科学与网络空间研究院王之梁团队研究完成。
1 课题创新点
- 实用性：在不修改流量功能的前提下，以有限知识自动诱变恶意流量。
- 通用性：此方案可攻击任何机器学习分类器（与模型无关）。
- 可解释：提出一种基于特征的机器学习解释方法，衡量目标系统抵御此类攻击的鲁棒性。
2 方案设计
2.1 目标系统
基于非有效载荷的NIDS：指在NIDS的检测未对流量的有效载荷进行检查。大多数ML-NIDS都属于此类，其原因是因为对于加密流量来说，检查有效载荷非常困难。逃避使用异常检测实现对流量有效载荷进行检测的工作已经比较完善。基于非有效载荷的NIDS更注重于检查DDos、Dos、扫描、爆破和僵尸网络等基于迭代的攻击。
2.2 实现方法
为规避黑盒ML-NIDS检测，课题定制了一个双层优化模型。第一层模型使用生成对抗网络（GAN）计算恶意流量在目标分类器中的最优对抗样本特征；第二层模型使用粒子群优化算法，在不修改流量功能的前提下，以有限知识自动有百年恶意流量，提取特征相似的最佳流量突变体。
3 理论证明
3.1 现有工作
$ E(\cdot) $ 目标系统特征提取器：输入流量，输出特征向量。
$ C(\cdot) $ 目标系统分类器：输入特征，输出恶意概率信息的二元分类器。
$ t $：原始恶意流量。
$ \hat{t} $：变异恶意流量。
$ f $：$ t $ 的特征，即 $ E(t) $。
$ \hat{f} $：$ \hat{t} $ 的特征,即 $ E(\hat{t}) $。
现有工作重要集中于特征维度即，即在产生对抗样本时直接修改特征，而不考虑如何实现流量的变换。即解决优化问题：
\[ argmin_{\hat{f}}C(\hat{f}) \]
或者在白盒环境下研究如何对流量进行变形，即解决优化问题:
\[ argmin_{\hat{t}}C(E(\hat{t})) \]
3.2 目标问题
实际灰盒攻击(PGA)：攻击者拥有与目标分类器相同的特征提取器。
实际黑盒攻击(PBA)：攻击者没有目标分类器的特征信息。
$ E’(\cdot) $ 代理特征提取器：对于PGA，$ E(\cdot) $=$ E’(\cdot) $；对于PBA，使用常用特征集模拟 $ E(\cdot) $。
$ C’(\cdot) $
近似分类器：借助对 $ C(\cdot) $ 的输入输出测试，训练一个与 $ C(\cdot) $ 概率分布近似的二元分类器。
$ M(\cdot) $ 变异操作：输入$ t $，输出集合：
\[ \left \{ \hat{t}|t的所有变异流量集合 \right \} \]
$ M_{s}(\cdot) $ 安全变异操作：输入$ t $，输出集合：
\[ \left \{ \hat{t}|t的所有安全变异流量集合，即变异可以保留恶意流量t的恶意功能 \right \} \]
则目标优化模型为：
\begin{equation} argmin_{\hat{t}}\ C’(E’(\hat{t}))\quad s.t.\ \hat{t}\in M_s(t) \label{evasion_attack} \end{equation}
3.3双层优化模型
虽然公式\eqref{evasion_attack}非常直观，但却很难解决。所以将其转化为双层优化模型解决。
$ f^* $：良性样本特征。
$ L(\cdot,\cdot) $ 距离度量函数：输入两个特征$ \hat{f} $, $ f^* $，输出两个特征之间的距离。距离越近$ \hat{f} $被误分类于良性的可能性越大。
$ h $ ：目标分类器异常阈值，即 $ C’(f^*)<h $ 时 $ f^* $ 被分类于良性。
\begin{equation}
argmin_{\hat{t}}\ L(E’(\hat{t}),f^*) \label{traffic_adversarial}
\end{equation}
\begin{equation}
s.t.\quad f^*=argmin_{f^*}\ L(f^*,E’(t)) \label{feature_adversarial}
\end{equation}
\begin{equation}
C’(f^*)<h \label{anomaly_threshold}
\end{equation}
\begin{equation}
\hat{t}\in M_s(t) \label{safe_mutation}
\end{equation}
先在公式\eqref{anomaly_threshold}的限制下通过公式\eqref{feature_adversarial}计算 $ f^* $ ，即对抗样本特征。然后使用得出的结果 $ f^* $ 在公式\eqref{safe_mutation}的限制下通过公式\eqref{traffic_adversarial}计算 $ \hat{t} $
从拓扑角度解释双层模型，如图所示。先在原本分类良好的特征空间中（Construction），计算出对抗样本特征（Generation），然后将恶意流量靠近对抗样本特征（Mutation）。
其中对抗样本特征使用生成对抗网络（GAN）计算产生，其损失函数为：
\begin{equation}
l_G = E_{f \in F_{mal, z \sim p_z(z)}}[logD(G(f,z)) + L(f,G(f,z))] \label{lG}
\end{equation}
\begin{equation}
L_D = -E_{f \in F_{ben}}log(1-D(f)) - E_{f \in F_{gen}}logD(f) \label{lD}
\end{equation}
4 实验
4.1 实验配置
使用六个攻击流量集与Kitsune等六个NIDS系统以及两个特征提取器测试课题提出的可解释行防御方案有效性。
- 数据集：
| 数据集（样本数） | 攻击类型 |
|---|---|
| Kitsune Dataset(40,000) | Mirai Botnet, Fuzzing, SSDP DoS |
| CIC IDS2017(40,000) | Port Scan, Brute Force, DDoS |
- 目标NIDS：Kitsune
- 特征提取器：
AfterImage: 基于数据包，流量包本身
CI-CFlowMeter: 基于流，流量统计特性 - 分类器
无监督模型：KitNET(Kitsune自带)
有监督模型：Logistics Regression (LR), Decision Tree (DT), Support Vector Machine (SVM), Multi-Layer Perceptron (MLP), Isolation Forest (IF)
4.2 实验结果
本课题提出的方案比过往工作如随机化突变和白盒对抗方法（TWA）具有更强规避性。
本课题提出的特征剔除方案比对抗训练和特征工程方案对模型加强效果更好。
5 贡献
- 总结了大部分最新的ML-NIDS中的常用功能，并介绍了一些流量突变运算符。这些运算符可以在不破坏流量恶意特征的前提下对流量进行变换。
- 扩展了GAN将目标机器学习分类器视为黑盒的思想，从而可以规避除了深度神经网络（DNN）以外的任何机器学习模型。
- 提出了一种特征空间解释机器学习的方法，有效检测NIDS的鲁棒性。通过量化攻击者对每个流量特征的可操作程度，提出一种通过删除安全评分较差特征的防御策略。
6 可改进
- 本课题先使用GAN网络计算出恶意流量在目标系统中的最佳对抗样本的特征然后使用粒子群优化算法将恶意流量逼近最佳特征。这种方法有效的解决了目前多数工作只停留在特征维度讨论NIDS的对抗样本，实际上没有真实攻击效果的问题。但本方案实质上仍是从特征角度进行对抗样本分析，只是在此之上增加了一项工序。这种先将最优特征确定然后令恶意样本逼近的算法会丢失大量可行对抗样本，这是因为不仅仅最优特征对抗样本可以绕过分类器，事实上还存在很多特征组合可以产生有效的（有真实世界可执行性的）对抗样本。
- 本课题使用基于特征的机器学习可解释方法衡量目标系统低于对抗攻击的鲁棒性，并提出通过删除安全性较差的特征的防御策略。这种策略没有考虑删除的特征对目标分类器分类性能的影响，应该考虑更佳的防御方案，而不是直接删除特征这种硬性策略。
- 只考虑非有效载荷判定。非有效载荷完全不会改变流量恶意行为吗？
- 如何检测组合流量攻击？