LaTeX-OCR: 使用ViT将数学公式图片转换为LaTeX代码

【实例简介】

pix2tex - LaTeX OCR

该项目的目标是创建一个基于学习的系统，将数学公式的图片转换为相应的LaTeX代码。

使用模型

要运行模型，需要Python 3.7 。如果尚未安装PyTorch，请按照它们的说明进行安装。安装包pix2tex：pip install "pix2tex[gui]"

模型检查点将自动下载。有三种方法从图片获取预测结果。

您可以使用命令行工具调用pix2tex。在这里，您可以从磁盘解析已存在的图片和剪贴板中的图片。

只需使用latexocr调用GUI。从这里，您可以截取屏幕截图，预测的LaTeX代码将使用MathJax呈现，并复制到剪贴板。

在Linux下，如果事先安装了gnome-screenshot，则可以使用带有多显示器支持的gnome-screenshot（与wlroots-based Wayland composi不兼容）。

【实例截图】
【核心代码】
文件清单
└── LaTeX-OCR-1781514fb8c92ea9f94057295fdae0e683f4648e
    ├── docker
    │   ├── api.dockerfile
    │   └── build-api.sh
    ├── docs
    │   ├── conf.py
    │   ├── index.rst
    │   ├── installation.md
    │   ├── make.bat
    │   ├── Makefile
    │   ├── pix2tex.rst
    │   └── requirements.txt
    ├── LICENSE
    ├── MANIFEST.in
    ├── notebooks
    │   ├── LaTeX_OCR_test.ipynb
    │   └── LaTeX_OCR_training.ipynb
    ├── pix2tex
    │   ├── api
    │   │   ├── app.py
    │   │   ├── __init__.py
    │   │   ├── run.py
    │   │   └── streamlit.py
    │   ├── cli.py
    │   ├── dataset
    │   │   ├── arxiv.py
    │   │   ├── data
    │   │   ├── dataset.py
    │   │   ├── demacro.py
    │   │   ├── demacro-test.py
    │   │   ├── extract_latex.py
    │   │   ├── __init__.py
    │   │   ├── latex2png.py
    │   │   ├── postprocess.py
    │   │   ├── preprocessing
    │   │   │   ├── generate_latex_vocab.py
    │   │   │   ├── __init__.py
    │   │   │   ├── preprocess_formulas.py
    │   │   │   ├── preprocess_latex.js
    │   │   │   └── third_party
    │   │   │       ├── katex
    │   │   │       │   ├── cli.js
    │   │   │       │   ├── katex.js
    │   │   │       │   ├── LICENSE.txt
    │   │   │       │   ├── package.json
    │   │   │       │   ├── README.md
    │   │   │       │   └── src
    │   │   │       │       ├── buildCommon.js
    │   │   │       │       ├── buildHTML.js
    │   │   │       │       ├── buildMathML.js
    │   │   │       │       ├── buildTree.js
    │   │   │       │       ├── delimiter.js
    │   │   │       │       ├── domTree.js
    │   │   │       │       ├── environments.js
    │   │   │       │       ├── fontMetricsData.js
    │   │   │       │       ├── fontMetrics.js
    │   │   │       │       ├── functions.js
    │   │   │       │       ├── Lexer.js
    │   │   │       │       ├── mathMLTree.js
    │   │   │       │       ├── Options.js
    │   │   │       │       ├── parseData.js
    │   │   │       │       ├── ParseError.js
    │   │   │       │       ├── Parser.js
    │   │   │       │       ├── parseTree.js
    │   │   │       │       ├── Settings.js
    │   │   │       │       ├── Style.js
    │   │   │       │       ├── symbols.js
    │   │   │       │       └── utils.js
    │   │   │       ├── match-at
    │   │   │       │   ├── lib
    │   │   │       │   │   └── matchAt.js
    │   │   │       │   ├── package.json
    │   │   │       │   └── README.md
    │   │   │       └── README.md
    │   │   ├── render.py
    │   │   ├── scraping.py
    │   │   └── transforms.py
    │   ├── eval.py
    │   ├── gui.py
    │   ├── __init__.py
    │   ├── __main__.py
    │   ├── model
    │   │   ├── checkpoints
    │   │   │   ├── get_latest_checkpoint.py
    │   │   │   └── __init__.py
    │   │   ├── dataset
    │   │   │   └── tokenizer.json
    │   │   ├── __init__.py
    │   │   └── settings
    │   │       ├── config-vit.yaml
    │   │       ├── config.yaml
    │   │       └── debug.yaml
    │   ├── models
    │   │   ├── hybrid.py
    │   │   ├── __init__.py
    │   │   ├── transformer.py
    │   │   ├── utils.py
    │   │   └── vit.py
    │   ├── resources
    │   │   ├── icon.svg
    │   │   ├── __init__.py
    │   │   ├── MathJax.js
    │   │   ├── processing-icon-anim.svg
    │   │   ├── resources.py
    │   │   └── resources.qrc
    │   ├── setup_desktop.py
    │   ├── train.py
    │   ├── train_resizer.py
    │   └── utils
    │       ├── __init__.py
    │       └── utils.py
    ├── README.md
    ├── setup.cfg
    └── setup.py

21 directories, 93 files