python分词程序

【实例简介】python分词程序
用python写的分词程序，采用前向，后向匹配。

【实例截图】

【核心代码】
文件清单
└── trunk
    ├── cmmseg
    │   ├── dict
    │   │   ├── chars.lex
    │   │   └── words.lex
    │   ├── src
    │   │   ├── build.cpp
    │   │   ├── chunk.h
    │   │   ├── conf.h
    │   │   ├── darts.h
    │   │   ├── dict.cpp
    │   │   ├── dict.h
    │   │   ├── segment.cpp
    │   │   ├── segment.h
    │   │   ├── test.cpp
    │   │   └── utf8.h
    │   ├── swig
    │   │   ├── darts.h
    │   │   ├── pydarts.cpp
    │   │   ├── pydarts.i
    │   │   ├── pydarts.py
    │   │   ├── pydarts_wrap.cxx
    │   │   └── setup.py
    │   ├── test
    │   │   └── cmmsegtest.h
    │   └── win32
    │       ├── build.vcproj
    │       ├── cmmseg.sln
    │       ├── cmmseg.vcproj
    │       ├── Dummy
    │       ├── Makefile
    │       ├── ReadMe.txt
    │       └── test.vcproj
    ├── pychseg
    │   ├── extend
    │   │   └── charutils.c
    │   ├── __init__.py
    │   ├── mmseg
    │   │   ├── algorithms.py
    │   │   ├── chunk.py
    │   │   ├── config.py
    │   │   ├── __init__.py
    │   │   ├── lawlrule.py
    │   │   ├── lsdmfocwrule.py
    │   │   ├── mmrule.py
    │   │   ├── revlenrule.py
    │   │   ├── svwlrule.py
    │   │   ├── worddict.py
    │   │   └── word.py
    │   ├── nltk
    │   │   ├── __init__.py
    │   │   └── mmtokenize.py
    │   ├── similarity
    │   │   ├── consinesim.py
    │   │   └── __init__.py
    │   ├── test
    │   │   ├── __init__.py
    │   │   └── profiler.log
    │   ├── tools
    │   │   └── dicttools.py
    │   ├── utils
    │   │   ├── __init__.py
    │   │   ├── lrucache.py
    │   │   ├── myitertools.py
    │   │   └── profiler.py
    │   └── wordlist
    │       ├── chars.dic
    │       ├── chars.lex
    │       ├── punctuation.dic
    │       ├── words.dic
    │       └── words.lex
    └── setup.py

16 directories, 56 files