特征工程中文字字典特征提取

from sklearn.feature_extraction import DictVectorizer from sklearn.feature_extraction.text import CountVectorizer from sklearn.feature_extraction.text import TfidfVectorizer import jieba def dict_demo():
    data = [{'city': '北京', 'temperature': 100}, {'city': '上海', 'temperature': 60}, {'city': '深圳', 'temperature': 30}] # 实例化  transfer = DictVectorizer(sparse=False)
    trans_data = transfer.fit_transform(data) print(trans_data) print("特征名字是:\n", transfer.get_feature_names()) def english_count_text_demo():
    data = ["Life is short,i like python", "Life is too long, i dislike python"]
    transfer = CountVectorizer()
    trans_data = transfer.fit_transform(data) print(trans_data) print(transfer.get_feature_names()) def cut_word(sen): return " ".join(list(jieba.cut(sen))) def chinese_count_text_demo():
    data = ["⼀种还是⼀种今天很残酷，明天更残酷，后天很美好，但绝对⼤部分是死在明天晚上，所以每个⼈不要放弃今天。", "我们看到的从很远星系来的光是在⼏百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。", "如果只⽤⼀种⽅式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。" ]
    li = [] for i in data:
        li.append(cut_word(i))
    transfer = CountVectorizer()
    trans_data = transfer.fit_transform(li) print(trans_data) print(transfer.get_feature_names()) print(trans_data.toarray()) def tfidf_count_text_demo():
    data = ["⼀种还是⼀种今天很残酷，明天更残酷，后天很美好，但绝对⼤部分是死在明天晚上，所以每个⼈不要放弃今天。", "我们看到的从很远星系来的光是在⼏百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",  "如果只⽤⼀种⽅式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
    li = [] for i in data:
        li.append(cut_word(i))
    transfer = TfidfVectorizer()
    trans_data = transfer.fit_transform(li) print(trans_data) print(transfer.get_feature_names()) print(trans_data.toarray()) if __name__ == '__main__': # chinese_count_text_demo()  tfidf_count_text_demo()