摘要
采用最大熵模型实现中文组块分析的任务 .首先明确了中文组块的定义 ,并且列出了模型中所有的组块类型和组块标注符号 .组块划分和识别的过程可以转化为对于每一个词语赋予一个组块标注符号的过程 ,我们可以把它作为一个分类问题根据最大熵模型来解决 .最大熵模型的关键是如何选取有效的特征 ,文中给出了相关的特征选择过程和算法 .最后给出了系统实现和实验结果 .
This paper proposes to use Maximum Entropy (ME) model to conduct Chinese chunk parsing. First we define Chinese chunks and list all chunk categories and tags used in the model. Thus the process of chunking can be regarded as a classification problem which trains from the corpus with chunk tags and POS tags. The focus of ME model is how to select useful features. Then, the procedure and algorithms of feature selection is introduced. At last we test the model, and experimental results are given.
出处
《计算机学报》
EI
CSCD
北大核心
2003年第12期1722-1727,共6页
Chinese Journal of Computers
基金
国家"九七三"重点基础研究发展规划项目 (G1 9980 30 50 4 0 1
G1 9980 30 50 7 4)资助
