首页 >  硕士论文 > 计算机硕士毕业论文 >   正文

计算机硕士毕业论文:问答系统的答案优化方法研究

添加时间:2017-12-14 19:49:50   浏览:次   作者: www.dxlwwang.com
专业论文资料, 搜索论文发表论文代写论文网为你解忧愁!详情请咨询我们客服。
获取免费的论文资料? 欢迎您,提交你的论文要求,获取免费的帮助

第 1 章 绪论

 
1.1 课题背景及意义
自从上世纪五十年代人工智能先驱阿兰 · 图灵提出“图灵测试”以来[1],人类对于自动问答系统的追求和探索便一直没有间断过。较早期的自动问答系统依赖程序式的编程或模式匹配来实现,例如 BASEBALL 系统使用编程语言中的列表来进行数据的查询[2],LUNAR 系统靠识别固定的模式来搜索阿波罗探月计划中的相关样本[3]。近二三十年以来,随着机器学习和自然语言理解技术的进步,越来越多问答系统的相关研究集中在如何让计算机更好的理解人类以自然语言发出的提问(如 LASSO[4])、如何更有效的存储和检索大规模知识库(如 IBM Waston[5])以及如何让问答系统更好的融入人们的生活和生产中(如苹果的 Siri 智能助手1)。特别是随着深度学习的问世和发展,自动问答系统正变得更加智能[6, 7]和灵活[8]。一个好的自动问答系统离不开规模庞大、来源多样化的知识库,在其支撑下,系统的回答能够更加广泛和更加准确。当今,互联网作为全球信息承载的主体,早已成为问答系统知识库的一个重要来源;然而,由于互联网知识库来源的多元化和网络用户群体的复杂化等原因,很难保证所有的知识的表述都具有很高的准确性。例如,人工编纂的知识问答是问答系统的知识来源之一,但只要有人工参与,就难免会出现书写笔误,由此导致系统返回的答案可能存在漏词、错词等情况;又如,依托于语义知识库的问答系统可以回答很多事实类问题,但是如若不实时进行更新和补充,系统最终也将会被日新月异的信息更迭所淘汰;再如,收集于各种社区、论坛的问答对作为知识来源时,很难考虑到将来该问答对可能应用到的所有场景,而当上下文场景不同时,对于答案的选择应该具有足够的区分性。类似的情况还有许多,因此,自动问答系统需要及时对自身知识加以更新和优化,从而在运行过程中返回更优的答案。
..........
 
1.2 国内外研究现状
自动问答系统是一个能回答任意自然语言形式提问的自动机。其输入为自然语言形式的问题,输出为简洁合理的通过自然语言表达的答案[10]。问答系统中常见的主要模块包括知识库构建、问题理解、答案检索和排序、答案生成等[11]。另外,根据问答系统的应用场景不同,其中的模块可能有不同的侧重或变化,例如基于阅读理解的问答中,重心为对于知识库分析以及问题的理解[6],对话系统中的重点为对话进程的控制[7, 12],语义知识问答系统更强调推理机制[5]等等。知识库构建的主要技术是信息抽取,包括有监督、无监督和弱监督信息抽取,分别对应有带标签、无标签以及综合运用带标签和无标签数据进行模型学习的方法[13–15],主要任务是将互联网上无结构化或半结构化的文本处理为具备特定结构的形式,存储到知识库里,并支持以特定的语言或格式进行检索,从而为答案检索服务。问题理解主要探索如何对问题提问的类别(如甄别提问所属领域或领域中的主题)、类型(5W1H: Where, Why, Who, Which, What, How),以及问题中的关键成分进行分析(提问焦点、意图等),以生成后续答案检索需要的关键词或关键线索[16]。答案检索和排序则是利用前面步骤生成的问题关键词,综合其它可能的依据在知识库中进行检索,并以特定的评分依据进行排序,得到相关性从高到低排列的答案列表[17]。答案生成部分则是对检索出来的候选答案列表进行进一步的处理,例如去噪、选择或者格式化等,以得到符合系统设计以及能够满足用户需求的答案[11, 17, 18]。少量已有的问答系统的在答案生成过程中需要进行候选答案的后处理,以去掉冗余的候选答案,生成简短完整的最终答案,其提出的前提是从知识库中检索得到的答案可能并不完善,需要进一步调整才可以返回给用户。该处理步骤中常见的操作有零散答案的合并、答案准确性的验证以及表达的规范化[11, 19, 20]。但大多数系统完成的仅仅是对一系列检索到候选答案进行“YES”或者“No”的判定,即标记为“YES”的答案被列为好的答案,而标记为“No”的答案被直接摒弃,其原理只是根据答案的相关程度进行进一步的过滤。例如文献 [21] 介绍的问答系统中直接使用文本相似度来作为二分类判定的依据,IBM 的 DeepQA 的答案后处理中集成了多种概率值、类别特征、多源证据等作为集成评分判断的依据,最终低于设定阈值的答案被直接过滤掉,而这些选择出的答案往往经过进一步的合并来生成最终答案[17]。另外也有少量学者研究如何生成或定义答案模板来生成规范化的回答,例如文献 [18] 中通过挖掘对用户进行电子邮件回复时的固定格式来生成固定的回复模板。
.........
 
第 2 章 基于深度卷积神经网络的答案语法错误修正
 
2.1 引言
正是由于互联网上用户群体的复杂性,使得大量不符合语法表达规范语句的出现难以避免,而网络作为自动问答系统知识的主要来源,其语言表达的不规范性将直接影响到系统生成答案的质量,进而影响用户的体验。本章从语法角度出发,主要探索如何及时地自动发现返回的答案中出现的语法表述不合理现象并加以修正,同时尽可能在模型学习过程中降低对外部资源的依赖程度。多数自动问答系统都依赖于自动构建的知识库,知识的来源可以是百科条目(如维基百科1、大百科全书)、新闻杂志(如人民日报)、各大网络专业论坛(如 Ubuntu 互助平台2)以及社区问答(如百度知道3)等。相比于百科和新闻杂志,后面几种数据源普遍具有如下特点:1)任何人,无论专业还是非专业,都可以发表自己的言论或发布自己的信息,所以往往知识提供者的文化层次具有一定差异;2)许多回答不具有专业性,而且口语化较强;3)许多回答是即时性的,并不注意逻辑表达和语言的语法规则。以上几种特点导致这些数据源中噪声信息的存在,当问答系统开发者以这些数据源为知识来源时,需要考虑如何净化数据。本章重点介绍如何自动发现和校正问答系统知识库中语句的英文语法表达错误,从而提高问答系统候选答案的表述质量。根据研究机构的统计和总结,英文写作中的语法错误主要可以划分为:冠词和介词使用错误、名词的数使用错误、动词使用错误以及其它错误(如拼写等),而出现和研究最多的错误类型则是冠词的使用错误[23, 25]。近年来,随着语言学习的不断推广以及经济、文化全球化进程的加快,学习和使用非本土语言的人越来越多,尤其是随着英文这种国际通用语的广泛使用,越来越多的研究者开始研究英文表达中语法错误出现的可能原因以及如何自动检测这些错误,以帮助人们进行语言学习或将其集成进其它应用(如 Microsoft office)。随之而来的是一系列的公共数据集(如NUCLE[98])和国际评测(如 HOO4和 CoNLL5)。
..........
 
2.2 自动语法错误修正问题描述
在英文自然语言表达中,名词短语的出现往往伴随着与之搭配的冠词,例如短语“the black box of the Valujet”中修饰单数名词短语“black box”的为表示特指的定冠词 the,而例句“All passengers and pilots were died.”中对于复数名词“passengers”和“pilots”的修饰不需要特指,也未添加任何冠词。一般来说,表示泛指的情况下,单数名词与不定冠词 a/an 搭配,复数名词不需要冠词,而特指情况下可能也需要定冠词 the。然而,对于泛指和特指的判断是个很难的问题,特别是对于非英文母语者,例如句子“The electric systems were shortcircuited.”和“People are less likely to enjoy life under surveillance.”中,复数名词(或名词短语)“electric systems”和“people”搭配的冠词却不一样,而两者在表示特指或泛指的情况下都可以搭配或不搭配定冠词 the。除了词法上的信息,更多的决策可能来源于冠词出现的位置和上下文,例如当单词“People”作为人类解释且出现在句子开头时多数情况下不需要定冠词。对于自动语法错误检测而言,大规模的正确语料和一定规模的标注语料都是重要的学习资源,模型可以从中学习到语义和上下文的特征,从而对词语的选择进行判断。本章中将冠词的使用看做是一个分类问题,定义三种类别为{a/an, the,  },分别表示冠词候选位置应搭配不定冠词、定冠词以及没有冠词三种情形,通过定义和提取特征,进而使用分类器对类别的决策进行学习。
.......
 
第 3 章 基于弱监督学习的答案语义关系抽取 .... 43
3.1 引言....... 43
3.2 基于弱监督学习的语义关系抽取问题描述..... 44
3.3 基于高质量样本的弱监督语义关系抽取模型........... 46
3.4 弱监督学习中的包样本质量评价策略............ 49
3.5 实验和分析 ..... 53
3.6 本章小结......... 60
第 4 章 基于上下文的社区问答答案选择........... 62
4.1 引言....... 62
4.2 面向社区问答的答案选择问题描述....... 64
4.3 基于上下文的答案选择模型........ 65
4.4 实验和分析 ..... 754
4.5 本章小结......... 81
第 5 章 基于用户反馈的不可靠答案识别........... 83
5.1 引言....... 83
5.2 不可靠答案识别问题描述............ 85
5.3 基于用户意图和情感的不可靠答案识别模型........... 88
5.4 实验和分析 ..... 94
5.5 本章小结......... 99
 
第 5 章 基于用户反馈的不可靠答案识别
 
5.1 引言
除了离线环境下针对知识库不同语言学层次的校验或更新,问答系统答案质量的提升也离不开在线环境中对真实用户反馈的分析。本章主要研究如何有效地捕捉真实的人机交互过程中用户所反馈出的不可靠答案,从而为答案的进一步优化或知识库的更新提供依据。人们在使用搜索引擎或自动问答系统进行信息查询时,常会遇到无法解决自己的信息诉求的情形,例如查询一个未被知识库收录的人物或事件,或者咨询一个系统无法理解的问题等。搜索引擎或问答系统的开发者为了最大化用户满意度,常常需要分析这种情况下用户的行为,以优化和完善系统的知识库。自动问答系统特别是对话系统由于使用自然语言进行对话,比起搜索引擎等使用关键词提问的响应式系统,在用户行为上能表现出更强的语言学特性。与前面几章介绍的侧重点不同,本章重点在于分析系统运行过程中可能存在的需要对答案进行优化的情形,并提出优化的方法,该方法可以捕捉真实环境下有待于改进的答案,并反馈给系统开发者,从而为优化和完善问答系统提供依据。正如前面几章所讲,许多问答系统的知识库来源于对大规模网络文本数据的自动挖掘(如第 3 章介绍的语义关系抽取和第 4 章介绍的答案选择等),一方面,网络文本的自由性决定了其参差不齐的数据质量,导致问答系统中不可避免的存在杂糅数据。另一方面,在专家对问答系统的知识库进行校验或编撰的过程中,人工难免产生错误和疏漏;而且,有些问答对的制定过程中难以预先考虑到所有的真实上下文环境。因此,问答库中难免存在带有噪声、不合理的知识。本章将问答系统返回的可能带有噪声、不合理、难以满足信息需求的答案称为“不可靠答案”,而将在问答过程中出现不可靠答案时的语境称为“不可靠语境”。
\
.........
 
结 论
 
本文从知识优化角度出发,提出从语法、语义和语境三个层次对问答系统返回的答案进行更新和完善,具体创新性成果包括以下几个方面:
第一、针对文本知识库中的自然语言表达问题,提出了基于深度卷积神经网络的答案语法错误检测模型。模型通过将英文语法错误中常见的冠词错误定义为分类问题,使用深度卷积神经网络进行分类学习。模型不依赖于任何外部语料库,仅使用词向量和词性向量作为输入,并使用最大化边缘间隔作为目标函数,对是否进行语法修改进行决策。实验表明深度卷积网络模型优于多种对比方法,并验证了所使用目标函数的有效性。
第二、针对结构化知识库中的语义关系不完备问题,提出了基于弱监督学习的答案语义关系抽取模型。弱监督学习可以通过结合已有小规模语义知识库和大规模外部文本,有效解决语义知识库中的错误表述或过时的语义关系。模型采用多实例多标签学习框架对启发式标注的数据集进行建模,并提出三种基于包特征的样本评分策略对训练数据进行排序和选择,从而实现基于高质量样本的学习模型。实验表明采用高质量样本的方法在 P-R 曲线和 F1值指标上都达到或超过了对比方法的性能。
第三、针对如何从社区问答中选择高质量问答对来丰富知识库的问题,提出了基于上下文的答案选择模型。该模型采用深度架构,包括两个框架,分别使用问答对序列和问题答案线性连接的序列作为输入。通过深度卷积神经网络、长短时记忆网络、注意力向量和条件随机场等多个网络模块的相互作用,两种模型都从对序列进行全局建模角度出发,综合考虑了问答对语义匹配、答案上下文的内容关联以及标签依赖三个因素对每个时间步的答案质量进行标注。实验证明基于上下文的答案选择模型无论在多分类还是二分类任务上都要明显优于对比方法,为问答对抽取提供了新的思路。
..........
参考文献(略)

提供海量毕业论文,论文格式,论文格式范文,留学生论文,商务报告相关资料检索服务。
本论文由代写论文网整理提供 http://www.dxlwwang.com/
需要专业的学术论文资料,请联系我们客服
本文地址:http://www.dxlwwang.com/jsj/6403.html
论文关键字:计算机硕士毕业论文 上下文建模 深度学习 用户反馈