计算机硕士毕业论文：多视图特征选择与降维方法及其应用研究

第一章绪论

1.1引言
近年来,随着数据采集设备和数据分析技术的不断提高和发展,利用计算机来分析理解数据的要求变得迫切和广泛,因此作为计算机研究领域中数据分析的重要分支,机器学习得到了国内外学者的广泛关注。机器学习研究领域领军人物,美国卡耐基梅隆大学计算机系TomMitdiell教授认为机器学习的目的是"利用经验来改善系统自身的性能"。其中"经验"主要是以数据的形式而存在,首要要求就是对数据进行深入分析。目前,机器学习不仅是人工智能的核也研究内容么一,也是目前计算机研究领域最引入关注的研巧热点之一。此外,机器学习也与其他学科研究内容有交叉,如概率论、统计学、信息论、数据挖掘、数据库、模式识别等,近几年机器学习的发展也在一定程度上推动了关联学科的发展。
近年来,随着技术水平和应用需求的不断变化与进步,机器学习研究领域也涌现出一些新的研究热点,如:多标记学习对样本赋予多个类标来表示复杂语义特性,多示例学习是通过示例与包的关系进行约束的弱监督学习方法,多视图学习利用不同视图间的关系或相互学习来提高学习性能,主动学习通过和用户的反馈提高分类器学习性能,深度学习通过深层次神经网络从原始数据中自动学习特征进行表示,并行化机器学习技术从并行化计算角度解决数据量大而导致的计算低效,稀疏学习算法通过稀疏约束保证解在对应空间上的稀疏性,众包学习算法通过多人参与标注降低成本的形式进行学习,随机优化算法设计随机算法解决求解复杂度高的情况下计算效率问题,迁移学习通过不同领域之间知识的借用快速提升学习性能等等。这些新型机器学习方法也为机器学习研究注入了新的活力,并与此同时増加了机器学习在不同应用领域的适用巧围。
……

1.2多视图研究问题
目前,随着数据采集设各的发展和新采集手段的出现,我们可以获得大量的产生于不同的数据源或特征子集的数据,其中每一个数据源或特征子集构成一个视图,这样就形成了多视图数据。多视图研巧中最早使用的多视图数据是网页分类应用中的网页信息,有两个视图:一个视图是网页自身包含的文本数据;另一个视图是指从其他网页链接到该网页的超链接中包含的文本数据。
在实际应用中,存在多种多样的多视图数据,如图1.1所示。在多媒体分析应用中,视频数据就是典型的多视图数据,其中来自不同媒介的声音、图像、文字分别作为不同的视图,通过这三个视图的相互协作,才能传达给观众更生动的故事。图像与文字信息也经常配合着同时出现,例如各大网站关于"中国女排获2015年世界杯冠军"的新闻上就配有颁奖仪式和观众欢呼的图片。在图像分类应用中,对一幅图像提取其纹理、颜色与形状等特征,不同特征也可以构成不同的视图。在医学图像分析应用中,多种医学影像设备并用,进行临床疾病诊断是非常常见的现象。例如MRI提供病人功能性信息,PET提供病人结构解剖信息,CSF提供病人遗传信息,每一种设备采集到的图像构成一个视图,因而多模态的医学影像数据也属于多视图数据。另外,在视频监控领域,由于公共安全的需要,商场、居民区、交通路口等各大公共场所均安装摄像头设备。尤其对于比较重要的场合,如银行、医院、学校等,在多个角度和方位安装多个摄像头,不同摄像头之间的数据既有联系又有区别。通过进行多摄像头下的行为分析,来协助管理人员进行实时监控。这样,不同摄像头拍摄的数据就构成了不同的视图。可以看出,多视图数据在我们的现实应用中随处可见。
随着多视图学习研究受到越来越多的关注,许多有效的多视图学习方法开始涌现出来。根据产生模型的类型划分,以往的多视图学习方法可分为判别式的方法、产生式的方法。根据有无标记来分,多视图学习方法可分为:无监督的方法、有监督的方法、半监督的方法、主动学习的方法,其中co-training就是典型的半监督多视图学习方法。根据具体的技术方法来分,多视图学习方法分为:以co-training为代表的方法、基于子空间学习的方法、多核学习方法。在本文中,我们根据学习任务的不同来划分,多视图学习方法主要分为:多视图分类方法、多视图聚类方法、多视图特征选择/降维三部分,前两者属于分类器层面,后者属于数据预处理与特征表示阶段。我们在接下来的部分将分别介绍这三部分的内容。
……

第二章联合局部与全局分析的多视图特征选择

2.1引言
传统的单视图特征选择方法主要是通过恃定的选择规则和搜索策略从特征空间选择有用的特征或者删除冗余的特征。然而,由于多视图数据有多个相关且差异的特征空间,上述方法很难直接用于多视图数据的特征选择。因而,我们着重考虑如何对多视图数据进行有效特征选择。
局部选择阶段,根据示例差异性分析来选择视图间有区别的特征。具体来说,通过衡量不同视图示例的近邻结构来发现视團间局部分布有差异的示例,然后计算用于描述差异性示例的局部保持能为,作为视图间有区别的特征的评价标准。我们通过特征排序来选取视图间有区别的特征。
全局选择阶段,根据类别相关性分析来选择与类别最相关的特征。具体来说,根据计算样本与不同类近邻、同类近邻的距离,来衡量铃征与类别的相关性。这样,类别最相关的特征能够区分不同的类别。不同视图间所有选择的特征整合在一起作为最终的与类别最相关的特征。我们使用灵活的受限二次规划策略来选择类标相关的特征。
为了验证mPadal方法的有效性,我们将其应用于多摄像头下的多角度行为识别任务。众所周知,多摄像头系统能够减轻视角受限问题和单视角遮挡问题,因此被广泛用于视频监控、人机交互等。多角度行为识别,能够増加行为识别的准确率,同时在计算机视觉与模式识别领域也是一个活跃、具有挑战性的研究课题。因而,我们尝试通过选择有效的多视图特征来提髙多角度行为识别的精度。
……

2.2多视图特征选择方法mPadal
第一项计算特征的局部保持能力,参数是其权重,实验中通过10折交叉验证进行选择。第二项计算特征对其他视图特征的相关性,目的是为了减少因非常相关的特征而产生的数据冗余。每一对特征的相关性可通过线性相关性、信息论或特征聚类方法来计算得到。这里,我们使用交叉相关《数来计算其线性相关性。因而,第二项可以通过计算对其他视图所有特征的相关性的均值来得到。
所有五个摄像头拍摄的图像序列分别作为五个不同的视图Viewl-View5。对于每个图像,在归一化边界框中提取扭stogramoforientedGradient(HoG)描述子与轮廓特征(siUiouettes)来构成图像序列的形状特征,同时提取两侦图像间的梯度描述子作为运动特征。这三种特征分别使用k-means聚类进行量化,得到k维特征(实验中设置k为15)。进而,该些特征拼接成一个3k维的直方图向量来描述一个连续的运动行为。
……

第三章基于矩阵低秩的多视图特征选择………………31
3.1引言………………………………………31
3.1.1问题分析…………………………31
3.1.2本章工作主要贡献……………32
3.2符号标记…………………………33
3.3背景:稀疏特征选择……………33
3.4问题形式化;MRM-Lasso……………36
3.4.1MRM-Lasso方法…………………………37
3.4.2优化方法…………………………37
3.4.3算法分析…………………………40
3.4.4分类器级的融合策略……………41
3.5实验结果与分析…………………………42
3.5.1数据集与实验设置……………42
3.5.2与其他降维方法的对比实验……………44
3.5.3与多核/多视图方法的对比实验……………46
3.5.4持征选择数量评估……………48
3.5.5与View-Lasso方法比较……………48
3.5.6参数分析…………………………50
3.5.7示例权重对分类的作用分析……………51
3.5.8示例权重与特征选择向量的联系……………51
3.6本章小结……………53
第四章基于稀疏低秩表示的不完整多视图数据降维……56
4.1引言………………………………………56
4.1.1问题分析…………………………57
4.1.2本章工作主要贡献……………58
4.2符号标记…………………………58
4.3问题描述…………………………59
4.6基于稀疏低秩表示的多视图缺失样本恢复方法SRRS…61
4.6.1S＆L表示方法…………………………61
4.6.2SRRS方法…………………………62
4.6.3关于SRRS方法的分析……………63
4.6.4SRRS优化问题的解决方案……………64
4.7基于SRRS的兰种具体的不完整多视图数据降维方法……68
4/7.1SRRS-MGE方法…………………………69
4.7.2SRRS-MSS方法…………………………69
4.7.3SRRS-MRM方法…………………………70
4.7.4优化方法…………………………70
4.8实验结果与分析…………………………72
4.8.1数据集与实验设置…………………………72
4.8.2针对SRRS-MGE和SRRS-MSS的聚类衡量与分析………74
4.8.3针对SRRS-MRM特征选择的分类衡量与分析………77
4.8.4针对SRRS-MRM方法的特征选择数量的评估………79
4.8.5参数分析………………………………………81
4.8.6多视图中"缺失示例"恢复表现评估……………83
4.9本章小结………………………………………84
第五章基于组结构的多视图在线子空间学习…………86
5.1引言………………………………………86
5.1.1问题分析…………………………86
5.1.2本章工作主要贡献…………………………88
5.2符号标记………………………………………88
5.3多视图在线子空间学习方法OMEL……………88
5.3.1OMEL:问题建模……………89
5.3.2OMEL:解决方案……………91
5.3.3OMEL:优化方法……………93
5.3.4构建组结构及其更新……………94
5.4实验结果与分析……………95
5.4.1数据集与实验设置……………95
5.4.2与相关工作的对比实验……………97
5.4.3更多结果分析…………………………101
5.5本章小结…………………………103
……

第五章基于组结构的多视图在线子空间学习

5.1引言
实际应用中存在大量的具有时序关系的多视图数据,如多摄像头无间断监控视频,每个摄像头拍摄的视频表示一个视图;或是运动目标跟踪中多尺度的跟踪数据可构成多个视图;或是多模态医学影像分析中获得的病人一系列治疗的进展数据等。为了有效地完成在线多视图分类或聚类任务,通常需要先对多视图数据学习不同视图间共享的潜在子空间。
传统的单视图子空间学习是指寻找一个合适的低维空间,使得学到的子空间表示既能够重构原空间的样本,又能够更好地表达原空间样本的特性。子空间学习作为一项非常重要的特征提取与降维技术,广泛用于人脸识别、视频分析等领域。在子空间学习方法中,非负矩阵分解(Non-negative Matrix Factorization, NMF)是一种常用的方法,通过将大矩阵分解成小矩阵(基矩阵与系数矩阵)的乘积,来学习样本的有效子空间表示。
不同于传统的单视图子空间学习,多视图子空间学习目的在于学习不同图间的公共子空间。在多视图子空间学习方法中,早期提出的CCA。与Kernel CCA[98]方法,是指通过最大化两个视图子空间表示的典型相关性,来学习两视图间潜在的子空间。除此之外,Diethe等人考虑类别信息,提出了基于Fisher判别性分析的多视图子空间方法MFDA。Sharma等人提出了泛化的多视图子空间学习方法GMA,能够将CCA等无监督的方法扩展成有监督的形式。
……

结论

近年来,随着数据采集设备的深入普及与不断发展,多视图数据分析受到了国内外研究者的广泛关注。然而,现实应用中的多视图数据往往呈现高维现象。由于不同视图间存在恃征相关性,选择有效特征或进行降维能够有效提高学习模型的精度与效率。因此,本文围绕"多视图特征选择与降维方法及其应用研究"这一主线来开展,主要针对现有方法中存在的问题进斤解决,如:忽略视图间有区則的特征选择的功效;缺少样本的'重要'性度量;处理视图样本缺失的多视图数据低效;处理具有时序关系的多视图数据低效。
一种联合局部与全局分析的多视图特征选择方法mPadal。由于现有多视图特征选择方法仅选择与类别最相关的特征,忽略了不同视图间特征层的亲合关系。在mPadal中,我们引入视图间有区别的特征评价标准,进行联合局部分析与全局分析的特征选择。具体地,局部阶段从样本差异性角度出发来选择不同视图间有区别的特征,全局阶段衡量所有特征与类别的相关性,解决了视图间有区别的特征选择问题,有助于提高视图间的互补性。通过实验结果分祈,所提方法在多角度行为识别数据集IXMAS中表现优异,同时也验证了通过mPadal方法选取的特征在视图间的分类任务中具有互补作用。
—种基于矩梓低秩的多视图特征选择方法MRM-Lasso。由于现有多视图特征选择方法仅从视图层分析,给每个视图的所有样本赋予相同且固定的权重,而通常不同样本具有不同的判别能力。我们引入矩阵低秩与稀疏学习来联合衡量视图层、样本层与特征层的重要性。具体地,我们首次将Lasso扩展应用到多视图稀疏特征选择任务中;并引入不同视图的样本权重,通过低秩假设来挖掘多视图样本间的相关性;同时,采用基于ADMM的交替优他策略来解决样本与恃征联合分析的优化问题。通过实验结果分析,MRM-Lasso在多角度行为识别数据集IXMAS与3个基准数据集上均表现突出。更重要的是,MRM-Lasso学得的示例权重能够探索多视图数据中不同视图与不同示例的判别性,对真实的复杂数据分析提供重要参考依据。

参考文献（略）