NLPIR分词、去停用词

【实例简介】
整合 使用ICTCLAS2013（NlPIR） x64 的中文分词，分词的速度和效果都不错。然后就是对文本进行的去停用词以及特殊符号（哈工大停用词库）的去除，这些特殊符号还有标点符号，以及文本中夹杂的数字和字母会对分词的效果产生影响。eclipse GBK 编码
【实例截图】
【核心代码】
31942275-5633-4383-ae37-677b3a1f80d5
└── NlPIR
├── 20131223.log
├── bin
│   ├── kevin
│   │   └── zhang
│   │   └── NLPIR.class
│   ├── NLPIR_JNI.dll
│   ├── SimilarityCompution
│   │   └── NewFileExcludeStopWord.class
│   └── TestNLPIR.class
├── Data
│   ├── BIG2GBK.map
│   ├── BIG5.pdat
│   ├── BIG5.wordlist
│   ├── BiWord.big
│   ├── charset.type
│   ├── Configure.xml
│   ├── CoreDict.pdat
│   ├── CoreDict.pos
│   ├── CoreDict.unig
│   ├── FieldDict.pdat
│   ├── FieldDict.pos
│   ├── GBK2BIG.map
│   ├── GBK2GBKC.map
│   ├── GBK2UTF.map
│   ├── GBKA2UTF.map
│   ├── GBKA.pdat
│   ├── GBKA.wordlist
│   ├── GBKC2GBK.map
│   ├── GBKC.pdat
│   ├── GBKC.wordlist
│   ├── GBK.pdat
│   ├── GBK.wordlist
│   ├── GranDict.pdat
│   ├── GranDict.pos
│   ├── ICTPOS.map
│   ├── NewWord.lst
│   ├── NLPIR.ctx
│   ├── NLPIR_First.map
│   ├── NLPIR.user
│   ├── nr.ctx
│   ├── nr.fsa
│   ├── nr.role
│   ├── PKU_First.map
│   ├── PKU.map
│   ├── UserDict.pdat
│   ├── UTF2GBKA.map
│   ├── UTF2GBK.map
│   ├── UTF8.pdat
│   └── UTF8.wordlist
├── hs_err_pid11936.log
├── include
│   └── NLPIR.h
├── lib
│   └── NLPIR.lib
├── NLPIR_JNI.dll
├── src
│   ├── kevin
│   │   └── zhang
│   │   ├── NLPIR.class
│   │   └── NLPIR.java
│   ├── NLPIR_JNI.dll
│   ├── SimilarityCompution
│   │   └── NewFileExcludeStopWord.java
│   └── TestNLPIR.java
├── StopWordTable.txt
└── test
├── test_result1.TXT
├── test_result2.TXT
├── testr.TXT
├── test.TXT
├── test-utf8.TXT
├── 十八大报告.TXT
└── 新建文件夹
├── test_result1.TXT
└── test_result2.TXT

14 directories, 62 files