- 面向“三农”问答系统的关键技术研究
- 张军亮
- 1710字
- 2025-04-03 17:48:44
1.2.1 问答系统的历史
自从第一台计算机的诞生,研究者就开始研究如何使计算机能够理解人类的自然语言,进而帮助人类方便地获取和处理信息。图灵最早提出采用自然语言的方式测试计算机具有的智能程度[12]。问答系统的研究可以分为基于数据库问答系统、基于自然语言处理的问答系统两个阶段。
最早的问答系统是利用数据库的自然语言接口,即首先系统将人们的自然语言转换成数据库的查询语言,然后从特定领域的专业数据库中查找答案,返回给问题提问者。Green[13]等人研究的BASEBALL系统能够回答人们提问的关于美国棒球联盟的比赛和规则的事实性问题。类似的系统还有Bill Wood[14]设计的LUNAR系统,该系统提供阿波罗飞船采集的月球土壤、岩石等样品相关的知识。以上的这两个系统仅仅是那个时期典型的问答系统,还有许多局限于某一个较小领域的问答系统,一般都采用人工处理的小部分文档集或者知识数据库作为答案采集的信息源。这一类问答系统的问句都是具有特定格式的,且还包含一些表示特殊关系的词语。
到20世纪七八十年代,随着计算语言学理论广泛的发展,文本理解和问题回答的研究也得到了发展。20世纪90年代国际上关于问答系统的研究方兴未艾,如微软研究院、IBM沃森研究中心、麻省理工学院、新加坡国立大学、德国萨尔大学、中国科学院和台湾地区的“中央研究院”等科研机构和IT公司都积极投入其研究中。
Boris Katz和他的MIT计算机科学和人工智能实验的团队在1993年发布了第一款基于Web的能够回答用户用自然语言提出的地理、历史、文化、科技、娱乐等方面问题的问答系统START[15]。该系统首先利用自然语言处理技术对英文文档进行处理,并形成一个知识库;其次当用户通过用自然语言的方式提问时,系统利用与子模式匹配的方法分析问句和抽取知识库中相关的知识片段;最后利用设定的答案模板把知识片段整合成符合人们阅读理解习惯的句子。
1996年美国的Ask Jeeves公司发布的AskJeeves[16]是目前常用的自然语言引擎系统之一。该系统利用自然语言处理技术对用户提问的问题进行分析,首先在服务器的数据库中进行检索查询,如果能够匹配到相关问题的答案就将答案展示给用户,其次提供其网页地址以便用户进行进一步的查询。但是,目前该系统只支持HTML文件格式的搜索;只支持10种拉丁语系的语言检索,不支持东亚地区的语言检索。图1-1是该系统的Web搜索页面。

图1-1 AskJeeves页面
资料来源:ASK[EB/OL].http://www.ask.com/.2011.11.27.
AnswerBus[17]是一个集英语、德语、法语、西班牙语等语言为一体的开放域问答系统。实现过程:首先,判断提问句子是否为英文或者系统支持的其他语言,如果不是英文,自动翻译工具就将句子翻译成英文;其次,利用五大搜索引擎和目录(Google、Yahoo、WiseNut、Alta Vista、Yahoo News)用于检索可能包含答案的Web页面;最后,从Web文档中抽取相关答案,并排序返回给用户。
智慧型中文问答系统[18]是我国台湾“中央研究院”咨询科学部开发的一款中文问答系统。该问答系统主要处理人物、地点、组织、时间、数字等事实性问题的答案,然而其数据源主要是新闻语料库。该系统还曾参加第二届NTCIR-6跨语言问答系统比赛,并且获得优异的成绩。图1-2是该系统的自然语言问句的输入页面。
2002年Google推出了一种服务Google Answers,其实现过程是,用户提问一个问题,利用互联网寻求答案,同时知道答案的用户也通过网络编写答案,并反馈给问题的提问者。Google Answers的实现思想是社区问答系统的雏形。中文的百度知道是一个面向开放域的中文自动问答系统。

图1-2 智慧型中文问答系统
资料来源:“中研院”ASQA问答系统[EB/OL].http://asqa.iis.sinica.edu. tw/.2011.11.27.
为了促进关于问答系统的学术交流活动和统一评估系统性能,1999年美国国家标准与技术研究院(National Institute of Standards and Technology,NIST)在TREC[19](Text REtreival Conference)中加入QA Track,每年为参赛者提供统一开放域的评测数据集,并且每年提出不同的实验要求和评价标准。2008年TREC不再进行QA Track测试,NIST又在文本分析会议(Text Analysis Conference ,TAC[20])加入了关于QA研究的内容,为其提供一个平台。日本的NTCIR[21](NACSIS Test Collections for IR)中也包含问答系统的测评,欧洲的CLEF[22](Cross Language Evaluation Forum)也对欧洲语言的问答系统进行评测,其中包括单语言任务(以单一的语言进行提问和回答)和多语言任务(任何语言提问,英语文本作为答案回答语言)。中文问答系统评测直到2005年才开始由日本NTCIR会议主办,另外中科院自动化研究所依据TREC QA Track、NTCIR和CLEF建立一个汉语问答系统的评测平台[23]。ACL、SIGIR、COLINC、NAACL、EACL、HLT、IJCNLP等重要的国际会议都有关于问答系统的相关研究。