1、前言
随着计算机、网络技术的迅速发展，为了实现网络信息处理的智能化、自动化和精细化，以词表、分类表、语言形式出现的各种情报检索语言加快了与标记语言、超文本技术和其他软件技术的融合，出现了新一代的情报检索语言与自然语言的结合体——知识组织系统。
知识组织系统是指各种对人类知识结构进行表达和有组织阐述的语义工具，主要包括分类法、主题词表、语义网络、主题图、知识本体等[1]。分类法和主题词表在信息资源的加工组织中发挥着重要的作用，而语义网络、主题图、知识本体则是针对第二代语义Web提出的知识组织系统。 本文所讨论的《中国图书馆分类法》（以下简称《中图法》）知识库也是一种知识组织系统，或称为用于自动标引和分类的专家系统，它建立在《中图法》的基础上，通过机器统计归纳出众多人工标引记录中所凝结的标引经验，建立分类号、主题词、关键词之间的概念对应关系，从而实现对文献的自动标引和自动分类，进而实现概念检索。
2、《中图法》知识库构建的原理
分类检索语言、主题检索语言和自然语言是3种不同的情报语言系统，标识和组织方式各不相同，但在本质上是一样的，都是一种主题概念标识系统，分类号、主题词、关键词都可用来表示某一文献信息的主题概念。因此，这三者之间存在着隐含的概念对应关系，即兼容关系[2]。
国内大多数图书馆、情报机构和信息中心所拥有的文献数据库中存在着大量的人工标引记录，这些记录中包含分类标引和主题标引（主题词串或关键词串）双重数据。我们可以通过对这些标引数据的计算机处理，挖掘出分类号—主题词串—关键词串之间的概念对应关系，实现三者之间的兼容互换[3]。在此基础上，构建一个自动标引和自动分类用知识库，实现中文文献的自然语言标引、主题规范、自动分类及概念检索。
不管是分类检索语言还是主题检索语言，乃至任何知识组织系统，都使用了分类方法。而《中图法》是一个建立在知识分类基础上、可用于信息组织的概念语义网络，因此，我们选择《中图法》作为本知识库的主干体系[4]。
（1）《中图法》是我国自编的一部大型综合性图书分类法，可用于图书资料、音像资料和其他类型信息的分类标引和检索。它在国内有着最广泛的影响和最众多的用户，是早已被大家公认的“不是标准”的标准。
（2）《中图法》自首次出版以来，在30多年里经过图书情报领域和其他各专业领域专家多次修订改版，具有广泛的学科覆盖面、完善的知识组织结构，在等级体系的基础上加入了分面组配的功能，能够适应现代文献信息分类自动化的需求。《中图法》已建成了用最详细的元数据格式——MARC描述的《中图法》数据库，2000年出版了电子版，而且正在向网络版发展。
（3）目前国内几大文献数据库的分类标引均以《中图法》为分类依据，选择《中图法》作为知识库的组织框架，可以直接利用这些现已达到数百万、上千万条的标引记录，从而免去类号转换的麻烦。
（4）《中图法》从90年代起，已经实现了与国内规模最大、用户最多的叙词表——《汉语主题词表》（以下简称《汉表》）的兼容互换，研制并出版了国内最大的分类主题一体化词表——《中国分类主题词表》（简称《中分表》）。近几年还完成了《中分表》电子版的开发，并在新版中大幅度地增加了入口词，加快了检索语言的自然语言化。这一切为分类检索语言、主题检索语言、自然语言三者在标引、检索中的互操作奠定了基础。
（5）《中图法》的网络信息分类组织的可行性得到了大多数专家的认同，它也正在采取分面化、增加自然语言接口、增加超文本链接等多种措施，以适应网络信息组织的发展需求。
总之，在构建中文文献自动标引和自动分类系统用知识库时，选择《中图法》作为知识库的主干，具有明显的优势。
3、《中图法》知识库与《中图法》体系的结构比较
《中图法》与其他的传统分类法一样，包括分类表（含附表）和类目索引两大部分。随着情报检索语言向分类主题一体化方向发展，《中图法》与《汉表》融为一体。1993年，《中图法》编委会在《中图法》与《汉表》对应的基础上编制出版了分类主题一体化词表——《中分表》，从而使《中图法》的体系日臻完善。《中图法》体系如图1所示。
《中图法》的结构
《中图法》体系在文献手工标引时代做出了卓著的贡献，但在应用于网络信息和自动化时却暴露出如下弊端：
（1）无论是分类表还是对应的主题词表或分类主题一体化的《中分表》都属于受控语言，自然语言人口少，用户使用不便。
（2）《中图法》及其系统产品的着眼点是便于图书情报人员的标引和检索，而不是着眼于网络时代的普通用户的直接使用，因而过于强调词汇控制，忽略了检索语言与自然语言的结合。
（3）人工编制，定期修订，更新慢，大量新词、新主题、新类不能及时收录。
（4）受印刷版的限制，分类表、词表的规模偏小，类目和词汇数量少， 难以满足计算机自动处理的需要。
由于现有《中图法》体系存在着上述弊端，所以有必要引进新的计算机和网络技术对《中图法》进行技术改造，包括采用计算语言学的方法和计算机编表技术，揭示分类检索语言、主题检索语言、自然语言之间的兼容互换关系，增加自然语言接口，扩充词表规模和加快增补更新，从而适应网络时代信息组织的发展。
我们开发的知识库以《中图法》为主干体系，包含若干个词表和词典，其中分类号—关键词串对应表为主分类知识库，即知识库的主体；抽词词典、停用词表、同义词表、义类词典是主题标引知识库；地名表、时代表、文献类型表等为辅助分类知识库；另外还有采用《中图法》知识库标引和检索的文献数据库。图2显示了本知识库的结构。
《中图法》知识库的结构
虽然都以《中图法》分类体系为主干，揭示主题词串与类号的对应关系，均可实现文献信息分类主题一体化标引。但两者相比，《中图法》知识库无论在内容、数量还是结构、功能上都优于《中图法》体系，更适合于文献信息标引的自动化和信息检索的智能化。
（1）《中图法》体系只揭示了分类号与主题词串的对应关系， 而知识库则揭示了分类号与主题词串、分类号与关键词串、主题词与关键词之间的对应关系；后者词汇直接来源于文献，更新比前者快，便于用户检索。
（2）《中图法》体系只揭示了分类表中罗列出的类目和主题词串的对应关系；而知识库源于标引记录，包含了大量组合类目（仿分、复分时组配而成的类目），类目数明显多于《中图法》体系。
（3）在《中图法》体系中一个类号最多对应20个主题词（串）， 而《中图法》知识库中类目最多能对应几百个词串，平均一个类目对应10～14个词串，比《中分表》体系更能揭示类目的隐含概念；同时，词串数量大，便于自动分类中的相符性比较。
（4）《中图法》体系主要应用在手工标引和分类上；而知识库的规模大、容量大、更新快、可扩充性好，因而可以成功地应用于自动标引和自动分类。它不仅能保证较高的标引质量和分类正确性，而且在主题标引时不仅给出主题词还给出关键词，另外，它的同义词表、它的地名、时代、文献类型等的多重标引为信息检索提供了多个检索入口。
（5）传统的分类法和词表与书目信息都是分立的， 而本知识库则与用其标引的文献相联通，即在某个类目体系下面直接就可以获取用该类号标引的文献信息，类似于网络环境下的目录型检索工具。
4、《中图法》知识库编制的关键技术
《中图法》知识库的研制面临以下几个难题：
（1）异构数据的整合。知识库原始数据主要来源于4类数据：原始类表数据，如《中图法》类目索引、《中分表》中分类号—主题词对应表；规范标引数据，即用《中图法》和《汉表》规范标引的书目数据，如上海图书馆的《全国报刊索引数据库》、国家图书馆、上海图书馆等的中文图书MARC数据；自由标引数据，即包含《中图法》类号和散标自由词的书目数据，如重庆维普的《中文科技期刊数据库》；题名库数据，从文献数据库的标引数据中取出题名和分类号构建而成。这4种数据描述的格式不同，有的是MARC，有的是文本，有的是数据表，词串之间的间隔符有空格、短横、冒号等，还有全半角之分。如何对这些数据进行整合，是构建原始库首先要解决的问题。
（2）一对多、多对多关系的筛选。原始数据中分类号与主题词或词串之间包含一对多，多对一和多对多的关系，而本系统中必须设法为每一个词串确定一个惟一的分类号。
（3）标引词串与知识库中的词串的相符性比较。实际上二者完全匹配的几率是比较低的，所以本系统采用词汇相似度计算来实现概念标引、概念定类。如何从语义的角度来比较两个词或词串之间的相似度，而不是单纯从字面角度匹配，是实现知识库主题规范和自动分类亟需解决的难题。
针对上述难题，在编制和使用《中图法》知识库过程中应采用以下关键技术[5～6]：
第一，采用计算语言学的方法完成词表的构建。知识库原始数据主要来源于上述4类数据，首先要对这4类数据进行手工采集合并、删错去重，构建出原始库。原始库中包括类号与类名词、类号与主题词、类号与关键词的对应，从中分别抽取语词以及类号与语词的对应来构建知识库中的词表和词典。
在知识库中以分类号——关键词串对应表的构建最为关键，以计算语言学的方法来确定类号与词串之间的对应关系又是该对应表构造的关键技术。主要通过类目频次、词串频次、类号与词串共现频次的统计，采用数据挖掘中关联规则发现的两个参数——支持度和置信度来建立类号与词串的对应关系。
所谓支持度表示分类号和词串在整个原始库中同时出现的频度，即共现频次。共现频次越大，表示越多的标引员认可该分类号和词串之间的概念对应，那么这样的标引结果就可以认为具有普遍的正确性。
支持度Suppoort（keywordclc）＝P（clc, keyword）＝freq－gx
其中：P（clc, keyword ）表示在原始库中
[1] [2] 下一页
