使用BERT进行最小化关键词提取

【实例简介】

KeyBERT是一种最小化且易于使用的关键词提取技术，利用BERT嵌入来创建与文档最相似的关键词和关键短语。

虽然已经有许多可用于关键词生成的方法（例如Rake、YAKE!、TF-IDF等），但我想要创建一个非常基本但强大的方法来提取关键词和关键短语。这就是KeyBERT的用武之地！它使用BERT嵌入和简单的余弦相似度来寻找文档中与文档本身最相似的子短语。首先，使用BERT提取文档嵌入以获得文档级表示。然后，提取N-gram词/短语的词嵌入。最后，我们使用余弦相似度来找到与文档最相似的词/短语。最相似的词可以被确定为最能描述整个文档的词。

【实例截图】
【核心代码】
文件清单
└── KeyBERT-c886ee64a8f43f75907014d86cc513f1bd069391
    ├── docs
    │   ├── api
    │   │   ├── cohere.md
    │   │   ├── keybert.md
    │   │   ├── keyllm.md
    │   │   ├── langchain.md
    │   │   ├── litellm.md
    │   │   ├── maxsum.md
    │   │   ├── mmr.md
    │   │   ├── openai.md
    │   │   └── textgeneration.md
    │   ├── changelog.md
    │   ├── faq.md
    │   ├── guides
    │   │   ├── countvectorizer.md
    │   │   ├── embeddings.md
    │   │   ├── keyllm.md
    │   │   ├── llms.md
    │   │   └── quickstart.md
    │   ├── images
    │   │   ├── efficient.svg
    │   │   ├── guided.svg
    │   │   ├── keybert_keyllm.svg
    │   │   ├── keyllm.svg
    │   │   └── pipeline.svg
    │   ├── index.md
    │   └── stylesheets
    │       └── extra.css
    ├── images
    │   ├── highlight.png
    │   ├── icon.png
    │   └── logo.png
    ├── keybert
    │   ├── backend
    │   │   ├── _base.py
    │   │   ├── _flair.py
    │   │   ├── _gensim.py
    │   │   ├── _hftransformers.py
    │   │   ├── __init__.py
    │   │   ├── _sentencetransformers.py
    │   │   ├── _spacy.py
    │   │   ├── _use.py
    │   │   └── _utils.py
    │   ├── _highlight.py
    │   ├── __init__.py
    │   ├── llm
    │   │   ├── _base.py
    │   │   ├── _cohere.py
    │   │   ├── __init__.py
    │   │   ├── _langchain.py
    │   │   ├── _litellm.py
    │   │   ├── _openai.py
    │   │   ├── _textgeneration.py
    │   │   └── _utils.py
    │   ├── _llm.py
    │   ├── _maxsum.py
    │   ├── _mmr.py
    │   ├── _model.py
    │   └── _utils.py
    ├── LICENSE
    ├── Makefile
    ├── mkdocs.yml
    ├── README.md
    ├── setup.py
    ├── tests
    │   ├── __init__.py
    │   ├── test_backend.py
    │   ├── test_model.py
    │   └── utils.py
    └── theme
        └── style.css

12 directories, 60 files