太阳城集团

  • / 18
  • 下载费用:30 金币  

一种基于增量学习的分类方法及装置.pdf

摘要
申请专利号:

CN201510824421.0

申请日:

2015.11.24

公开号:

CN106778795A

公开日:

2017.05.31

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):G06K 9/62申请日:20151124|||公开
IPC分类号: G06K9/62; G06F17/30 主分类号: G06K9/62
申请人: 华为技术有限公司; 南京邮电大学
发明人: 王堃; 杨丽; 王元钢
地址: 518129 广东省深圳市龙岗区坂田华为总部办公楼
优先权:
专利代理机构: 广州三环专利代理有限公司 44202 代理人: 郝传鑫;熊永强
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

太阳城集团CN201510824421.0

授权太阳城集团号:

|||

法律状态太阳城集团日:

太阳城集团2017.06.23|||2017.05.31

法律状态类型:

实质审查的生效|||公开

摘要

太阳城集团本发明实施例公开了一种基于增量学习的分类方法,所述方法包括:构建分类器并确定分类特征向量;根据所述分类器和所述分类特征向量,对新增的数据样本进行训练;根据训练所得到的相关参数,对所述数据样本进行删除和保留。相应的,本发明实施例还公开了一种基于增量学习的分类装置。采用本发明,可以实现在增量学习中,主动删除无用的数据以及保留有用的数据,从而提高认知计算模型的适应性和准确率。

权利要求书

1.一种基于增量学习的分类方法,其特征在于,所述方法包括:
构建分类器并确定分类特征向量;
根据所述分类器和所述分类特征向量,对新增的数据样本进行训练;
根据训练所得到的相关参数,对所述数据样本进行删除和保留。
2.如权利要求1所述的方法,其特征在于,所述构建分类器并确定分类特
征向量,包括:
确定待构建的分类器的数量;
构建各个所述分类器;
确定各个所述分类器的分类特征向量。
3.如权利要求1所述的方法,其特征在于,所述根据所述分类器和所述分
类特征向量,对新增的数据样本进行训练,包括:
①通过随机梯度下降SGD算法,随机抽取新增的数据样本子集B1进行训练;
②通过初始分类器Γ1判断所述样本子集B1分类的正确性,并根据判断结果
将所述样本子集B1划分为测试错误集Berr和测试正确集Bok;
③判断所述测试错误集Berr是否为空集,
若是,则通过所述SGD算法抽取新一批数据样本进行训练,
若否,则将原始的数据样本中支持向量SV的集合与所述样本子集B1进
行合并以得到新的集合和新的分类器Γ2,以及将所述集合中除所述集合
的数据样本外的剩余数据样本与所述测试正确集Bok进行合并以得到所述分类器
Γ2的增量数据样本集B′1;
重复执行上述①、②和③三个步骤。
4.如权利要求3所述的方法,其特征在于,所述根据训练所得到的相关参
数,对所述数据样本进行删除和保留,包括:
根据公式(1)、公式(2)和公式(3),求得遗忘因子αi,其中,αi表示数
据样本经T次训练后第i个数据样本支持向量SV的比率,Ti表示总训练次数,ri
表示第i个数据样本经训练后支持向量SV的次数,所述测试错误集Berr内每个数
据样本的ri=0,所述测试正确集Bok内每个数据样本的ri=1;
<mrow> <mi>&omega;</mi> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mi>i</mi> </munder> <msub> <mi>&alpha;</mi> <mi>i</mi> </msub> <msub> <mi>y</mi> <mi>i</mi> </msub> <mi>H</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mn>0</mn> <mo>&le;</mo> <msub> <mi>&alpha;</mi> <mi>i</mi> </msub> <mo>&le;</mo> <mn>1</mn> <mo>,</mo> <munder> <mo>&Sigma;</mo> <mi>i</mi> </munder> <msub> <mi>&alpha;</mi> <mi>i</mi> </msub> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>0</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&alpha;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>r</mi> <mi>i</mi> </msub> <msub> <mi>T</mi> <mi>i</mi> </msub> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
根据基于所述遗忘因子αi的预测增量学习机制,对所述数据样本进行删除
和保留。
5.如权利要求4所述的方法,其特征在于,所述根据基于所述遗忘因子αi
的预测增量学习机制,对所述数据样本进行删除和保留,包括:
设置β、γ和δ三个阈值;
比较所述遗忘因子αi与β、γ和δ的大小关系;
根据比较的结果,对所述数据样本进行删除和保留。
6.如权利要求5所述的方法,其特征在于,所述设置β、γ和δ三个阈值
之后,还包括:
每经10次训练后,根据公式(4)求得各个数据样本与所设阈值的误差权
值,其中,ei表示误差权值,P表示所设阈值;
ei=P-αi(1≤i≤10) (4)
选择所述误差权值最大的遗忘因子αi作为新的阈值;
根据所述遗忘因子αi,适应调整β、γ和δ的取值。
7.如权利要求5所述的方法,其特征在于,所述根据比较的结果,对所述
数据样本进行删除和保留,包括:
当所述遗忘因子αi=0时,保留所述遗忘因子αi对应数据样本;
当所述遗忘因子0<αi<β时,删除所述遗忘因子αi对应数据样本;
当所述遗忘因子β≤αi<δ时,选择大于γ的数据样本作为下一次的数据样本
集进行测试;
当所述遗忘因子δ<αi<1时,将所述遗忘因子αi对应数据样本作为下一次的
数据样本集进行测试。
8.一种基于增量学习的分类装置,其特征在于,所述装置包括:
初始化模块,用于构建分类器并确定分类特征向量;
数据训练模块,用于根据所述分类器和所述分类特征向量,对新增的数据
样本进行训练;
数据处理模块,用于根据训练所得到的相关参数,对所述数据样本进行删
除和保留。
9.如权利要求8所述的装置,其特征在于,所述初始化模块,具体用于:
确定待构建的分类器的数量;
构建各个所述分类器;
确定各个所述分类器的分类特征向量。
10.如权利要求8所述的装置,其特征在于,所述数据训练模块,具体用
于:
①通过随机梯度下降SGD算法,随机抽取新增的数据样本子集B1进行训练;
②通过初始分类器Γ1判断所述样本子集B1分类的正确性,并根据判断结果
将所述样本子集B1划分为测试错误集Berr和测试正确集Bok;
③判断所述测试错误集Berr是否为空集,
若是,则通过所述SGD算法抽取新一批数据样本进行训练,
若否,则将原始的数据样本中支持向量SV的集合与所述样本子集B1进
行合并以得到新的集合和新的分类器Γ2,以及将所述集合中除所述集合
的数据样本外的剩余数据样本与所述测试正确集Bok进行合并以得到所述分类器
Γ2的增量数据样本集B′1;
重复执行上述①、②和③三个步骤。
11.如权利要求10所述的装置,其特征在于,所述数据处理模块包括:
参数计算单元,用于根据公式(1)、公式(2)和公式(3),求得遗忘因子
αi,其中,αi表示数据样本经T次训练后第i个数据样本支持向量SV的比率,Ti
表示总训练次数,ri表示第i个数据样本经训练后支持向量SV的次数,所述测
试错误集Berr内每个数据样本的ri=0,所述测试正确集Bok内每个数据样本的ri=1;
<mrow> <mi>&omega;</mi> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mi>i</mi> </munder> <msub> <mi>&alpha;</mi> <mi>i</mi> </msub> <msub> <mi>y</mi> <mi>i</mi> </msub> <mi>H</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mn>0</mn> <mo>&le;</mo> <msub> <mi>&alpha;</mi> <mi>i</mi> </msub> <mo>&le;</mo> <mn>1</mn> <mo>,</mo> <munder> <mo>&Sigma;</mo> <mi>i</mi> </munder> <msub> <mi>&alpha;</mi> <mi>i</mi> </msub> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>0</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&alpha;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>r</mi> <mi>i</mi> </msub> <msub> <mi>T</mi> <mi>i</mi> </msub> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
数据处理单元,用于根据基于所述遗忘因子αi的预测增量学习机制,对所
述数据样本进行删除和保留。
12.如权利要求11所述的装置,其特征在于,所述数据处理单元,具体用
于:
设置β、γ和δ三个阈值;
比较所述遗忘因子αi与β、γ和δ的大小关系;
根据比较的结果,对所述数据样本进行删除和保留。
13.如权利要求12所述的装置,其特征在于,所述数据处理模块还包括阈
值调整单元,用于:
每经10次训练后,根据公式(4)求得各个数据样本与所设阈值的误差权
值,其中,ei表示误差权值,P表示所设阈值;
ei=P-αi(1≤i≤10) (4)
选择所述误差权值最大的遗忘因子αi作为新的阈值;
根据所述遗忘因子αi,适应调整β、γ和δ的取值。
14.如权利要求12所述的装置,其特征在于,所述数据处理单元,还具体
用于:
当所述遗忘因子αi=0时,保留所述遗忘因子αi对应数据样本;
当所述遗忘因子0<αi<β时,删除所述遗忘因子αi对应数据样本;
当所述遗忘因子β≤αi<δ时,选择大于γ的数据样本作为下一次的数据样本
集进行测试;
当所述遗忘因子δ<αi<1时,将所述遗忘因子αi对应数据样本作为下一次的
数据样本集进行测试。

说明书

一种基于增量学习的分类方法及装置

技术领域

本发明涉及数据处理技术领域,尤其涉及一种基于增量学习的分类方法及
装置。

背景技术

云计算、物联网等新兴技术的快速发展促使数据的规模正以前所未有的速
度增长,大数据时代已经到来。如何在海量的复杂数据中及时有效地获取有价
值的太阳城集团,依赖于一种能够主动学习,并且根据需求自行分析数据中的有价值
太阳城集团,主动进行数据计算处理的模型——认知计算模型。应理解的,认知计算
模型能够快速、准确的发现有价值的太阳城集团,提取有效太阳城集团并将这些有价值的信
息组织起来,给出一个有效的解决方案。

作为一种应用较为普遍的认知计算模型,支持向量机(Support Vector
Machine,SVM)分类算法采用的是批量处理算法,由于批量处理算法需要将整
个数据集加载到内存之中,而内存的存储量有限,使得该算法不适合于大数据
的运算,无法应用于实时性较高的场合。同时,还会使得在构建分类器时需要
耗费大量的太阳城集团,导致后面到达的数据可能会由于处理不及时导致丢失,造成
严重的后果。

发明内容

本发明实施例提供了一种基于增量学习的分类方法及装置,可以实现在增
量学习中,主动删除无用的数据以及保留有用的数据,从而提高认知计算模型
的适应性和准确率。

本发明实施例第一方面提供了一种基于增量学习的分类方法,包括:

构建分类器并确定分类特征向量;

根据所述分类器和所述分类特征向量,对新增的数据样本进行训练;

根据训练所得到的相关参数,对所述数据样本进行删除和保留。

在第一方面的第一种可能实现方式中,所述构建分类器并确定分类特征向
量,包括:

确定待构建的分类器的数量;

构建各个所述分类器;

确定各个所述分类器的分类特征向量。

在第一方面的第二种可能实现方式中,所述根据所述分类器和所述分类特
征向量,对新增的数据样本进行训练,包括:

①通过随机梯度下降SGD算法,随机抽取新增的数据样本子集B1进行训练;

②通过初始分类器Γ1判断所述样本子集B1分类的正确性,并根据判断结果
将所述样本子集B1划分为测试错误集Berr和测试正确集Bok;

③判断所述测试错误集Berr是否为空集,

若是,则通过所述SGD算法抽取新一批数据样本进行训练,

若否,则将原始的数据样本中支持向量SV的集合与所述样本子集B1进
行合并以得到新的集合和新的分类器Γ2,以及将所述集合中除所述集合
的数据样本外的剩余数据样本与所述测试正确集Bok进行合并以得到所述分类器
Γ2的增量数据样本集B1′;

重复执行上述①、②和③三个步骤。

结合第一方面的第二种可能实现方式,在第三种可能实现方式中,所述根
据训练所得到的相关参数,对所述数据样本进行删除和保留,包括:

根据公式(1)、公式(2)和公式(3),求得遗忘因子αi,其中,αi表示数
据样本经T次训练后第i个数据样本支持向量SV的比率,Ti表示总训练次数,ri
表示第i个数据样本经训练后支持向量SV的次数,所述测试错误集Berr内每个数
据样本的ri=0,所述测试正确集Bok内每个数据样本的ri=1;




根据基于所述遗忘因子αi的预测增量学习机制,对所述数据样本进行删除
和保留。

结合第一方面的第三种可能实现方式,在第四种可能实现方式中,所述根
据基于所述遗忘因子αi的预测增量学习机制,对所述数据样本进行删除和保留,
包括:

设置β、γ和δ三个阈值;

比较所述遗忘因子αi与β、γ和δ的大小关系;

根据比较的结果,对所述数据样本进行删除和保留。

结合第一方面的第四种可能实现方式,在第五种可能实现方式中,所述设
置β、γ和δ三个阈值之后,还包括:

每经10次训练后,根据公式(4)求得各个数据样本与所设阈值的误差权
值,其中,ei表示误差权值,P表示所设阈值;

ei=P-αi(1≤i≤10) (4)

选择所述误差权值最大的遗忘因子αi作为新的阈值;

根据所述遗忘因子αi,适应调整β、γ和δ的取值。

结合第一方面的第四种可能实现方式,在第六种可能实现方式中,所述根
据比较的结果,对所述数据样本进行删除和保留,包括:

当所述遗忘因子αi=0时,保留所述遗忘因子αi对应数据样本;

当所述遗忘因子0<αi<β时,删除所述遗忘因子αi对应数据样本;

当所述遗忘因子β≤αi<δ时,选择大于γ的数据样本作为下一次的数据样本
集进行测试;

当所述遗忘因子δ<αi<1时,将所述遗忘因子αi对应数据样本作为下一次的
数据样本集进行测试。

本发明实施例第二方面提供了一种基于增量学习的分类装置,包括:

初始化模块,用于构建分类器并确定分类特征向量;

数据训练模块,用于根据所述分类器和所述分类特征向量,对新增的数据
样本进行训练;

数据处理模块,用于根据训练所得到的相关参数,对所述数据样本进行删
除和保留。

在第二方面的第一种可能实现方式中,所述初始化模块,具体用于:

确定待构建的分类器的数量;

构建各个所述分类器;

确定各个所述分类器的分类特征向量。

在第二方面的第二种可能实现方式中,所述数据训练模块,具体用于:

①通过随机梯度下降SGD算法,随机抽取新增的数据样本子集B1进行训练;

②通过初始分类器Γ1判断所述样本子集B1分类的正确性,并根据判断结果
将所述样本子集B1划分为测试错误集Berr和测试正确集Bok;

③判断所述测试错误集Berr是否为空集,

若是,则通过所述SGD算法抽取新一批数据样本进行训练,

若否,则将原始的数据样本中支持向量SV的集合与所述样本子集B1进
行合并以得到新的集合和新的分类器Γ2,以及将所述集合中除所述集合
的数据样本外的剩余数据样本与所述测试正确集Bok进行合并以得到所述分类器
Γ2的增量数据样本集B1′;

重复执行上述①、②和③三个步骤。

结合第二方面的第二种可能实现方式,在第三种可能实现方式中,所述数
据处理模块包括:

参数计算单元,用于根据公式(1)、公式(2)和公式(3),求得遗忘因子
αi,其中,αi表示数据样本经T次训练后第i个数据样本支持向量SV的比率,Ti
表示总训练次数,ri表示第i个数据样本经训练后支持向量SV的次数,所述测
试错误集Berr内每个数据样本的ri=0,所述测试正确集Bok内每个数据样本的ri=1;




数据处理单元,用于根据基于所述遗忘因子αi的预测增量学习机制,对所
述数据样本进行删除和保留。

结合第二方面的第三种可能实现方式,在第四种可能实现方式中,所述数
据处理单元,具体用于:

设置β、γ和δ三个阈值;

比较所述遗忘因子αi与β、γ和δ的大小关系;

根据比较的结果,对所述数据样本进行删除和保留。

结合第二方面的第四种可能实现方式,在第五种可能实现方式中,所述数
据处理模块还包括阈值调整单元,用于:

每经10次训练后,根据公式(4)求得各个数据样本与所设阈值的误差权
值,其中,ei表示误差权值,P表示所设阈值;

ei=P-αi(1≤i≤10) (4)

选择所述误差权值最大的遗忘因子αi作为新的阈值;

根据所述遗忘因子αi,适应调整β、γ和δ的取值。

结合第二方面的第四种可能实现方式,在第六种可能实现方式中,所述数
据处理单元,还具体用于:

当所述遗忘因子αi=0时,保留所述遗忘因子αi对应数据样本;

当所述遗忘因子0<αi<β时,删除所述遗忘因子αi对应数据样本;

当所述遗忘因子β≤αi<δ时,选择大于γ的数据样本作为下一次的数据样本
集进行测试;

当所述遗忘因子δ<αi<1时,将所述遗忘因子αi对应数据样本作为下一次的
数据样本集进行测试。

由上可见,本发明实施例先构建分类器并确定分类特征向量,再根据分类
器和分类特征向量对新增的数据样本进行训练,进而根据训练所得到的相关参
数对数据样本进行删除和保留,可以实现在增量学习中,主动删除无用的数据
以及保留有用的数据,从而提高认知计算模型的适应性和准确率。

附图说明

为了更清楚地说明本发明实施例,下面将对实施例或现有技术描述中所需
要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的
一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,
还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于增量学习的分类方法的流程示意图;

图2是本发明实施例提供的另一种基于增量学习的分类方法的流程示意图;

图3是本发明实施例提供的一种基于增量学习的分类装置的结构示意图;

图4是本发明实施例提供的一种数据处理模块的结构示意图;

图5是本发明实施例提供的另一种基于增量学习的分类装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清
楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是
全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造
性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供的基于增量学习的分类方法,应用于大数据的学习训练
算法,除了可以应用于批量数据处理领域,例如生物识别、信号识别和检测、
图像识别等多个领域,还可以应用于海量实时数据流的分类、回归、聚类,例
如实时证券交易和电子商务中的经济数据分类分析、物联网系统中移动医疗的
实时医疗诊断,智慧交通的实时交通流量预测等实时数据流的分析。

图1是本发明实施例中一种基于增量学习的分类方法的流程示意图。如图
所示本实施例中的基于增量学习的分类方法的流程可以包括:

S101,构建分类器并确定分类特征向量。

具体的,根据需要处理的数据样本量,确定待构建的分类器的数量,进而
构建相应数量的分类器,并确定各个分类器的分类特征向量。其中,训练步骤
如下:

①用分类器将所有数据样本集的特征分类;

②根据预先选定的核函数分别计算各个分类器中每个特征向量的有关值;

③根据得到的有关值计算协方差矩阵空间进行Householder变换;

④计算分类特征系数;

⑤获得分类器的模型参数。

S102,根据所述分类器和所述分类特征向量,对新增的数据样本进行训练。

具体的,根据分类器和分类特征向量,对新增的数据样本进行训练的步骤
包括:

①通过随机梯度下降SGD算法,随机抽取新增的数据样本子集B1进行训练;

②通过初始分类器Γ1判断所述样本子集B1分类的正确性,并根据判断结果
将所述样本子集B1划分为测试错误集Berr和测试正确集Bok;

③判断所述测试错误集Berr是否为空集,

若是,则通过所述SGD算法抽取新一批数据样本进行训练,

若否,则将原始的数据样本中支持向量SV的集合与所述样本子集B1进
行合并以得到新的集合和新的分类器Γ2,以及将所述集合中除所述集合
的数据样本外的剩余数据样本与所述测试正确集Bok进行合并以得到所述分类器
Γ2的增量数据样本集B1′;

重复执行上述①、②和③三个步骤。

S103,根据训练所得到的相关参数,对所述数据样本进行删除和保留。

具体的,首先,根据公式(1)、公式(2)和公式(3),求得遗忘因子αi,
其中,αi表示数据样本经T次训练后第i个数据样本支持向量SV的比率,Ti表示
总训练次数,ri表示第i个数据样本经训练后支持向量SV的次数,所述测试错
误集Berr内每个数据样本的ri=0,即该数据样本为正常数据,所述测试正确集Bok
内每个数据样本的ri=1,即该数据样本为异常数据。需要指出的是,由改进的
KKT(Karush Kuhn Tucker)定理可知,公式(1)和公式(2)是满足最优超平
面的条件。




接着,根据基于所述遗忘因子αi的预测增量学习机制,对所述数据样本进
行删除和保留。具体实现过程中,先设置β、γ和δ三个阈值,例如β=0.3,γ=0.4,
δ=0.7,再比较遗忘因子αi与β、γ和δ的大小关系,进而根据比较的结果,按预
设规则对数据样本进行删除和保留。其中,预设规则如下:

当所述遗忘因子αi=0时,保留所述遗忘因子αi对应数据样本,原因在于,
新增的数据样本是错误样本,这些样本不影响原有分类器,但可能会是新的分
类,所以保留作为下次训练的测试样本的一个子集;

当所述遗忘因子0<αi<β时,删除所述遗忘因子αi对应数据样本,原因在于,
经过多次训练后数据样本SV的比率很低,将该数据样本不是一种新的分类,所
以将其删除,减少原始数据的存储的同时提高了入侵检测的训练速度;

当所述遗忘因子β≤αi<δ时,选择大于γ的数据样本作为下一次的数据样本
集进行测试,可加速SV搜索的收敛速度;

当所述遗忘因子δ<αi<1时,将所述遗忘因子αi对应数据样本作为下一次的
数据样本集进行测试。

进一步可选的,每经10次训练后,根据公式(4)求得各个数据样本与所
设阈值的误差权值,选择误差权值最大的遗忘因子αi作为新的阈值,并根据遗
忘因子αi,适应调整β、γ和δ的取值。其中,ei表示误差权值,P表示所设阈值

ei=P-αi(1≤i≤10) (4)

由上可见,本发明实施例先构建分类器并确定分类特征向量,再根据分类
器和分类特征向量对新增的数据样本进行训练,进而根据训练所得到的相关参
数对数据样本进行删除和保留,可以实现在增量学习中,主动删除无用的数据
以及保留有用的数据,从而提高认知计算模型的适应性和准确率。

图2是本发明实施例中一种基于增量学习的分类方法的流程示意图,该方
法应用于网络太阳城集团的入侵检测场景,可以针对海量的网络流量数据进行入侵检
测。如图所示本实施例中的基于增量学习的分类方法的流程可以包括:

S201,构建攻击分类器并确定分类特征向量。

具体的,根据需要处理的网络流量数据样本量,确定待构建的攻击分类器
的数量,进而构建相应数量的攻击分类器,并确定各个攻击分类器的分类特征
向量。其中,训练步骤如下:

①用攻击分类器将所有网络流量数据样本集的特征分类;

②根据预先选定的核函数分别计算各个攻击分类器中每个特征向量的有关
值;

③根据得到的有关值计算协方差矩阵空间进行Householder变换;

④计算分类特征系数;

⑤获得攻击分类器的模型参数。

S202,设置β、γ和δ三个阈值。

例如β=0.3,γ=0.4,δ=0.7。

S203,根据所述攻击分类器和所述分类特征向量,对新增的网络流量数据
样本进行训练,同时求取遗忘因子。

具体的,根据攻击分类器和分类特征向量,对新增的网络流量数据样本进
行训练的步骤包括:

①通过随机梯度下降SGD算法,随机抽取新增的网络流量数据样本子集B1
进行训练;

②通过初始攻击分类器Γ1判断所述样本子集B1分类的正确性,并根据判断
结果将所述样本子集B1划分为测试错误集Berr和测试正确集Bok;

③判断所述测试错误集Berr是否为空集,

若是,则通过所述SGD算法抽取新一批网络流量数据样本进行训练,

若否,则将原始的网络流量数据样本中支持向量SV的集合与所述样本
子集B1进行合并以得到新的集合和新的攻击分类器Γ2,以及将所述集合中
除所述集合的网络流量数据样本外的剩余网络流量数据样本与所述测试正确
集Bok进行合并以得到所述攻击分类器Γ2的增量数据样本集B1′;

重复执行上述①、②和③三个步骤。

进一步的,根据公式(1)、公式(2)和公式(3),求得遗忘因子αi,其中,
αi表示网络流量数据样本经T次训练后第i个网络流量数据样本支持向量SV的
比率,Ti表示总训练次数,ri表示第i个网络流量数据样本经训练后支持向量SV
的次数,所述测试错误集Berr内每个网络流量数据样本的ri=0,即该网络流量数
据样本为正常网络流量数据,所述测试正确集Bok内每个网络流量数据样本的
ri=1,即该网络流量数据样本为攻击型网络流量数据。需要指出的是,由改进的
KKT(Karush Kuhn Tucker)定理可知,公式(1)和公式(2)是满足最优超平
面的条件。




S204,求取各个网络流量数据样本与所设阈值的误差权值。

具体的,根据公式(4)求得各个网络流量数据样本与所设阈值的误差权值,
其中,ei表示误差权值,P表示所设阈值。

ei=P-αi(1≤i≤10) (4)

S205,选择所述误差权值最大的遗忘因子作为新的阈值。

S206,根据所述遗忘因子,适应调整β、γ和δ的取值。

S207,比较所述遗忘因子与β、γ和δ的大小关系。

S208,根据比较的结果,对所述网络流量数据样本进行删除和保留。

具体的,根据比较的结果,按预设规则对网络流量数据样本进行删除和保
留。其中,预设规则如下:

当所述遗忘因子αi=0时,保留所述遗忘因子αi对应网络流量数据样本,原
因在于,新增的网络流量数据样本是错误样本,这些样本不影响原有攻击分类
器,但可能会是新的分类,即可能是一种新的攻击分类,所以保留作为下次训
练的测试样本的一个子集;

当所述遗忘因子0<αi<β时,删除所述遗忘因子αi对应网络流量数据样本,
原因在于,经过多次训练后网络流量数据样本SV的比率很低,将该网络流量数
据样本不是一种新的攻击分类,所以将其删除,减少原始网络流量数据的存储
的同时提高了入侵检测的训练速度;

当所述遗忘因子β≤αi<δ时,选择大于γ的网络流量数据样本作为下一次的
网络流量数据样本集进行测试,可加速SV搜索的收敛速度;

当所述遗忘因子δ<αi<1时,将所述遗忘因子αi对应网络流量数据样本作为
下一次的网络流量数据样本集进行测试,原因在于,该网络流量数据样本为攻
击数据样本。

由上可见,本发明实施例先构建攻击分类器并确定分类特征向量,再根据
攻击分类器和分类特征向量对新增的网络流量数据样本进行训练,进而根据训
练所得到的相关参数对网络流量数据样本进行删除和保留,可以实现在增量学
习中,主动删除无用的网络流量数据以及保留有用的网络流量数据,从而提高
认知计算模型的适应性和准确率。

图3是本发明实施例中一种基于增量学习的分类装置的结构示意图。如图
所示本发明实施例中的基于增量学习的分类装置至少可以包括初始化模块310、
数据训练模块320以及数据处理模块330,其中:

初始化模块310,用于构建分类器并确定分类特征向量。

具体的,根据需要处理的数据样本量,确定待构建的分类器的数量,进而
构建相应数量的分类器,并确定各个分类器的分类特征向量。其中,训练步骤
如下:

①用分类器将所有数据样本集的特征分类;

②根据预先选定的核函数分别计算各个分类器中每个特征向量的有关值;

③根据得到的有关值计算协方差矩阵空间进行Householder变换;

④计算分类特征系数;

⑤获得分类器的模型参数。

数据训练模块320,用于根据所述分类器和所述分类特征向量,对新增的数
据样本进行训练。

具体的,根据分类器和分类特征向量,对新增的数据样本进行训练的步骤
包括:

①通过随机梯度下降SGD算法,随机抽取新增的数据样本子集B1进行训练;

②通过初始分类器Γ1判断所述样本子集B1分类的正确性,并根据判断结果
将所述样本子集B1划分为测试错误集Berr和测试正确集Bok;

③判断所述测试错误集Berr是否为空集,

若是,则通过所述SGD算法抽取新一批数据样本进行训练,

若否,则将原始的数据样本中支持向量SV的集合与所述样本子集B1进
行合并以得到新的集合和新的分类器Γ2,以及将所述集合中除所述集合
的数据样本外的剩余数据样本与所述测试正确集Bok进行合并以得到所述分类器
Γ2的增量数据样本集B1′;

重复执行上述①、②和③三个步骤。

数据处理模块330,用于根据训练所得到的相关参数,对所述数据样本进行
删除和保留。具体实现中,数据处理模块330可以如图4所示进一步包括参数
计算单元331和数据处理单元332,其中:

参数计算单元331,用于根据公式(1)、公式(2)和公式(3),求得遗忘
因子αi,其中,αi表示数据样本经T次训练后第i个数据样本支持向量SV的比
率,Ti表示总训练次数,ri表示第i个数据样本经训练后支持向量SV的次数,
所述测试错误集Berr内每个数据样本的ri=0,所述测试正确集Bok内每个数据样本
的ri=1。




数据处理单元332,用于根据基于所述遗忘因子αi的预测增量学习机制,对
所述数据样本进行删除和保留。具体实现过程中,先设置β、γ和δ三个阈值,
例如β=0.3,γ=0.4,δ=0.7,再比较遗忘因子αi与β、γ和δ的大小关系,进而根
据比较的结果,按预设规则对数据样本进行删除和保留。其中,预设规则如下:

当所述遗忘因子αi=0时,保留所述遗忘因子αi对应数据样本,原因在于,
新增的数据样本是错误样本,这些样本不影响原有分类器,但可能会是新的分
类,所以保留作为下次训练的测试样本的一个子集;

当所述遗忘因子0<αi<β时,删除所述遗忘因子αi对应数据样本,原因在于,
经过多次训练后数据样本SV的比率很低,将该数据样本不是一种新的分类,所
以将其删除,减少原始数据的存储的同时提高了入侵检测的训练速度;

当所述遗忘因子β≤αi<δ时,选择大于γ的数据样本作为下一次的数据样本
集进行测试,可加速SV搜索的收敛速度;

当所述遗忘因子δ<αi<1时,将所述遗忘因子αi对应数据样本作为下一次的
数据样本集进行测试。

请参阅图4,如图所示数据处理模块330还可以包括阈值调整单元333,用
于:

每经10次训练后,根据公式(4)求得各个数据样本与所设阈值的误差权
值;

ei=P-αi(1≤i≤10) (4)

选择所述误差权值最大的遗忘因子αi作为新的阈值;

根据所述遗忘因子αi,适应调整β、γ和δ的取值。

图5是本发明实施例中的另一种基于增量学习的分类装置的结构示意图,
如图5所示,该基于增量学习的分类装置可以包括:至少一个处理器501,例如
CPU,至少一个通信总线502,至少一个网络接口503,存储器504。其中,通
信总线502用于实现这些组件之间的连接通信;存储器504可以是高速RAM存
储器,也可以是非易失的存储器(non-volatile memory),例如至少一个磁盘存储
器。可选的,存储器504还可以是至少一个位于远离前述处理器501的存储装
置。存储器504中存储一组程序代码,处理器501用于调用存储器x04中存储
的程序代码,执行以下操作:

构建分类器并确定分类特征向量;

根据所述分类器和所述分类特征向量,对新增的数据样本进行训练;

根据训练所得到的相关参数,对所述数据样本进行删除和保留。

可选的,处理器501构建分类器并确定分类特征向量的具体操作为:

确定待构建的分类器的数量;

构建各个所述分类器;

确定各个所述分类器的分类特征向量。

又可选的,处理器501根据所述分类器和所述分类特征向量,对新增的数
据样本进行训练的具体操作为:

①通过随机梯度下降SGD算法,随机抽取新增的数据样本子集B1进行训练;

②通过初始分类器Γ1判断所述样本子集B1分类的正确性,并根据判断结果
将所述样本子集B1划分为测试错误集Berr和测试正确集Bok;

③判断所述测试错误集Berr是否为空集,

若是,则通过所述SGD算法抽取新一批数据样本进行训练,

若否,则将原始的数据样本中支持向量SV的集合与所述样本子集B1进
行合并以得到新的集合和新的分类器Γ2,以及将所述集合中除所述集合
的数据样本外的剩余数据样本与所述测试正确集Bok进行合并以得到所述分类器
Γ2的增量数据样本集B1′;

重复执行上述①、②和③三个步骤。

进一步的,处理器501根据训练所得到的相关参数,对所述数据样本进行
删除和保留的具体操作为:

根据公式(1)、公式(2)和公式(3),求得遗忘因子αi,其中,αi表示数
据样本经T次训练后第i个数据样本支持向量SV的比率,Ti表示总训练次数,ri
表示第i个数据样本经训练后支持向量SV的次数,所述测试错误集Berr内每个数
据样本的ri=0,所述测试正确集Bok内每个数据样本的ri=1;




根据基于所述遗忘因子αi的预测增量学习机制,对所述数据样本进行删除
和保留。

更进一步的,处理器501根据基于所述遗忘因子αi的预测增量学习机制,
对所述数据样本进行删除和保留的具体操作为:

设置β、γ和δ三个阈值;

比较所述遗忘因子αi与β、γ和δ的大小关系;

根据比较的结果,对所述数据样本进行删除和保留。

可选的,处理器501设置β、γ和δ三个阈值之后,还执行:

每经10次训练后,根据公式(4)求得各个数据样本与所设阈值的误差权
值;

ei=P-αi(1≤i≤10) (4)

选择所述误差权值最大的遗忘因子αi作为新的阈值;

根据所述遗忘因子αi,适应调整β、γ和δ的取值。

又可选的,处理器501根据比较的结果,对所述数据样本进行删除和保留
的具体操作为:

当所述遗忘因子αi=0时,保留所述遗忘因子αi对应数据样本;

当所述遗忘因子0<αi<β时,删除所述遗忘因子αi对应数据样本;

当所述遗忘因子β≤αi<δ时,选择大于γ的数据样本作为下一次的数据样本
集进行测试;

当所述遗忘因子δ<αi<1时,将所述遗忘因子αi对应数据样本作为下一次的
数据样本集进行测试。

由上可见,本发明实施例先构建分类器并确定分类特征向量,再根据分类
器和分类特征向量对新增的数据样本进行训练,进而根据训练所得到的相关参
数对数据样本进行删除和保留,可以实现在增量学习中,主动删除无用的数据
以及保留有用的数据,从而提高认知计算模型的适应性和准确率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,
是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算
机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。
其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,
ROM)或随机存储记忆体(Random Access Memory,RAM)等。

以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之
权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

关 键 词:
一种 基于 增量 学习 分类 方法 装置
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:一种基于增量学习的分类方法及装置.pdf
链接地址:http://zh228.com/p-6019584.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');