python实现分词算法代码

【实例截图】

【核心代码】

.
├── L3.Words.Segmentation.ipynb
├── icwb2-data
│   ├── README
│   ├── doc
│   │   ├── instructions.txt
│   │   └── result_instructions.txt
│   ├── gold
│   │   ├── as_testing_gold.txt
│   │   ├── as_testing_gold.utf8
│   │   ├── as_training_words.txt
│   │   ├── as_training_words.utf8
│   │   ├── cityu_test_gold.txt
│   │   ├── cityu_test_gold.utf8
│   │   ├── cityu_training_words.txt
│   │   ├── cityu_training_words.utf8
│   │   ├── msr_test_gold.txt
│   │   ├── msr_test_gold.utf8
│   │   ├── msr_training_words.txt
│   │   ├── msr_training_words.utf8
│   │   ├── pku_test_gold.txt
│   │   ├── pku_test_gold.utf8
│   │   ├── pku_training_words.txt
│   │   └── pku_training_words.utf8
│   ├── scripts
│   │   ├── mwseg.pl
│   │   └── score
│   ├── testing
│   │   ├── as_test.txt
│   │   ├── as_test.utf8
│   │   ├── cityu_test.txt
│   │   ├── cityu_test.utf8
│   │   ├── msr_test.txt
│   │   ├── msr_test.utf8
│   │   ├── pku_test.txt
│   │   └── pku_test.utf8
│   └── training
│       ├── as_training.b5
│       ├── as_training.utf8
│       ├── cityu_training.txt
│       ├── cityu_training.utf8
│       ├── msr_training.txt
│       ├── msr_training.utf8
│       ├── pku_training.txt
│       └── pku_training.utf8
├── icwb2-data.zip
├── tests
│   ├── __init__.py
│   ├── __pycache__
│   │   ├── __init__.cpython-37.pyc
│   │   ├── __init__.cpython-38.pyc
│   │   ├── test_utility.cpython-37.pyc
│   │   └── test_utility.cpython-38.pyc
│   ├── book
│   │   ├── __init__.py
│   │   ├── __pycache__
│   │   │   ├── __init__.cpython-37.pyc
│   │   │   └── __init__.cpython-38.pyc
│   │   ├── ch01
│   │   │   ├── __init__.py
│   │   │   └── hello_word.py
│   │   ├── ch02
│   │   │   ├── __pycache__
│   │   │   │   ├── backward_segment.cpython-37.pyc
│   │   │   │   ├── backward_segment.cpython-38.pyc
│   │   │   │   ├── forward_segment.cpython-37.pyc
│   │   │   │   ├── forward_segment.cpython-38.pyc
│   │   │   │   ├── utility.cpython-37.pyc
│   │   │   │   └── utility.cpython-38.pyc
│   │   │   ├── aho_corasick.py
│   │   │   ├── aho_corasick_double_array_trie.py
│   │   │   ├── backward_segment.py
│   │   │   ├── bidirectional_segment.py
│   │   │   ├── dat.py
│   │   │   ├── demo_acdat_segment.py
│   │   │   ├── demo_dat_segment.py
│   │   │   ├── demo_stopwords.py
│   │   │   ├── evaluate_cws.py
│   │   │   ├── forward_segment.py
│   │   │   ├── fully_segment.py
│   │   │   ├── speed_benchmark.py
│   │   │   ├── trie.py
│   │   │   ├── utility.py
│   │   │   └── zipf_law.py
│   │   ├── ch03
│   │   │   ├── __init__.py
│   │   │   ├── __pycache__
│   │   │   │   ├── __init__.cpython-37.pyc
│   │   │   │   ├── __init__.cpython-38.pyc
│   │   │   │   ├── demo_corpus_loader.cpython-37.pyc
│   │   │   │   ├── demo_corpus_loader.cpython-38.pyc
│   │   │   │   ├── msr.cpython-37.pyc
│   │   │   │   ├── msr.cpython-38.pyc
│   │   │   │   ├── ngram_segment.cpython-37.pyc
│   │   │   │   └── ngram_segment.cpython-38.pyc
│   │   │   ├── adjust_model.py
│   │   │   ├── demo_corpus_loader.py
│   │   │   ├── demo_custom_dict.py
│   │   │   ├── eval_bigram_cws.py
│   │   │   ├── japanese_segment.py
│   │   │   ├── msr.py
│   │   │   ├── ngram_segment.py
│   │   │   └── sighan05_statistics.py
│   │   ├── ch04
│   │   │   ├── __init__.py
│   │   │   ├── doctor_hmm.py
│   │   │   └── hmm_cws.py
│   │   ├── ch05
│   │   │   ├── __init__.py
│   │   │   ├── classify_name.py
│   │   │   ├── eval_perceptron_cws.py
│   │   │   ├── online_learning.py
│   │   │   ├── perceptron_cws.py
│   │   │   ├── plot_2d_sgd.py
│   │   │   ├── plot_3d_sgd.py
│   │   │   ├── plot_compressed_f1.py
│   │   │   ├── plot_corpus_ratio_f1.py
│   │   │   └── plot_name.py
│   │   ├── ch06
│   │   │   ├── __init__.py
│   │   │   ├── crfpp_train_hanlp_load.py
│   │   │   ├── evaluate_crf_cws.py
│   │   │   ├── plot_2d_newton.py
│   │   │   └── plot_3d_sgd_newton.py
│   │   ├── ch07
│   │   │   ├── __init__.py
│   │   │   ├── custom_corpus_pos.py
│   │   │   ├── custom_pos.py
│   │   │   ├── demo_crf_pos.py
│   │   │   ├── demo_hmm_pos.py
│   │   │   ├── demo_perceptron_pos.py
│   │   │   ├── evaluate_pos.py
│   │   │   └── pku.py
│   │   ├── ch08
│   │   │   ├── __init__.py
│   │   │   ├── demo_crf_ner.py
│   │   │   ├── demo_hmm_ner.py
│   │   │   ├── demo_msra_ner.py
│   │   │   ├── demo_num_eng.py
│   │   │   ├── demo_plane.py
│   │   │   ├── demo_role_tag_nr.py
│   │   │   ├── demo_role_tag_ns.py
│   │   │   ├── demo_role_tag_nt.py
│   │   │   ├── demo_sp_ner.py
│   │   │   └── msra_ner.py
│   │   ├── ch09
│   │   │   ├── __init__.py
│   │   │   ├── demo_extract_word.py
│   │   │   ├── demo_term_freq.py
│   │   │   └── demo_tfidf.py
│   │   ├── ch10
│   │   │   ├── __init__.py
│   │   │   ├── demo_clustering_f.py
│   │   │   ├── demo_get_bow_vec.py
│   │   │   └── demo_text_clustering.py
│   │   ├── ch11
│   │   │   ├── __init__.py
│   │   │   ├── demo_load_text_classification_corpus.py
│   │   │   ├── demo_svm_text_classification.py
│   │   │   ├── demo_text_classification.py
│   │   │   └── demo_text_classification_evaluation.py
│   │   ├── ch12
│   │   │   ├── __init__.py
│   │   │   ├── demo_train_parser.py
│   │   │   └── opinion_mining.py
│   │   ├── ch13
│   │   │   ├── __init__.py
│   │   │   ├── demo_neual_parser.py
│   │   │   ├── demo_word2vec.py
│   │   │   └── sigmoid.py
│   │   └── index.ipynb
│   ├── demos
│   │   ├── README.md
│   │   ├── demo_CRF_lexical_analyzer.py
│   │   ├── demo_NLP_segment.py
│   │   ├── demo_NShort_segment.py
│   │   ├── demo_URL_recognition.py
│   │   ├── demo_at_first_sight.py
│   │   ├── demo_basic_tokenizer.py
│   │   ├── demo_chinese_name_recognition.py
│   │   ├── demo_custom_dictionary.py
│   │   ├── demo_custom_nature.py
│   │   ├── demo_dependency_parser.py
│   │   ├── demo_download_again.py
│   │   ├── demo_high_speed_segment.py
│   │   ├── demo_index_segment.py
│   │   ├── demo_japanese_name_recognition.py
│   │   ├── demo_keyword.py
│   │   ├── demo_normalization.py
│   │   ├── demo_notional_tokenizer.py
│   │   ├── demo_number_and_quantifier_recognition.py
│   │   ├── demo_occurrence.py
│   │   ├── demo_organization_recognition.py
│   │   ├── demo_perceptron_lexical_analyzer.py
│   │   ├── demo_phrase_extractor.py
│   │   ├── demo_pinyin.py
│   │   ├── demo_pinyin_to_chinese.py
│   │   ├── demo_place_recognition.py
│   │   ├── demo_pos_tagging.py
│   │   ├── demo_rewrite_text.py
│   │   ├── demo_sentiment_analysis.py
│   │   ├── demo_stopword.py
│   │   ├── demo_suggester.py
│   │   ├── demo_summary.py
│   │   ├── demo_text_classification.py
│   │   ├── demo_text_clustering.py
│   │   ├── demo_tokenizer_config.py
│   │   ├── demo_traditional_chinese2simplified_chinese.py
│   │   ├── demo_translated_name_recognition.py
│   │   ├── demo_use_AhoCorasickDoubleArrayTrieSegment.py
│   │   └── demo_word_distance.py
│   ├── find_and_import_my_tests.py
│   ├── test_custom_dict.py
│   ├── test_hanlp.py
│   ├── test_multithread.py
│   ├── test_utility.py
│   └── test_word2vec.py
└── 好例子网_L3.Words.Segmentation (1).zip

26 directories, 191 files