唇语识别系统使用机器视觉技术源码lip-reading-deeplearning-master.zip

【实例简介】
唇语识别系统使用机器视觉技术，从图像中连续识别出人脸，判断其中正在说话的人，提取此人连续的口型变化特征，随即将连续变化的特征输入到唇语识别模型中，识别出讲话人口型对应的发音，随后根据识别出的发音，计算出可能性最大的自然语言语句。
【实例截图】
【核心代码】
4744300845393139015.zip
└── lip-reading-deeplearning-master
├── activation
├── code
│   ├── lip_tracking
│   │   └── VisualizeLip.py
│   ├── speech-input
│   │   ├── Audio
│   │   │   └── subject
│   │   │   └── sound.wav
│   │   ├── file_path.txt
│   │   └── input_feature.py
│   └── training_evaluation
│   ├── auxiliary
│   │   ├── __init__.py
│   │   ├── __init__.pyc
│   │   ├── losses.py
│   │   └── losses.pyc
│   ├── nets
│   │   ├── __init__.py
│   │   ├── __init__.py~
│   │   ├── __init__.pyc
│   │   ├── lipread_mouth.py
│   │   ├── lipread_speech.py
│   │   └── nets_factory.py
│   ├── roc_curve
│   │   ├── calculate_roc.py
│   │   ├── calculate_roc.pyc
│   │   ├── __init__.py
│   │   ├── __init__.pyc
│   │   ├── PlotHIST.py
│   │   ├── PlotHIST.pyc
│   │   ├── PlotPR.py
│   │   ├── PlotPR.pyc
│   │   ├── PlotROC.py
│   │   └── PlotROC.pyc
│   ├── test.py
│   └── train.py
├── CODE_OF_CONDUCT.md
├── CONTRIBUTING.rst
├── data
│   ├── data
│   ├── sample_video.mp4
│   └── shape_predictor_68_face_landmarks.dat
├── dlib
├── docs
│   ├── _config.yml
│   ├── index.html
│   ├── index.md
│   └── readme_images
│   ├── 1.gif
│   ├── 2.gif
│   ├── 3.gif
│   ├── accuracy-bar-pairselection.png
│   ├── convergence-speed.png
│   ├── conv_gif.gif
│   ├── DNN-Coupled.png
│   ├── lip_motion.jpg
│   ├── liptrackingdemo.png
│   ├── processing.gif
│   ├── processing-pipeline.png
│   └── Speech_GIF.gif
├── install_dependencies.sh
├── LICENSE
├── lip_tracking_demo.sh
├── python_requirements.txt
├── readme_images
│   ├── 1.gif
│   ├── 2.gif
│   ├── 3.gif
│   ├── accuracy-bar-pairselection.png
│   ├── convergence-speed.png
│   ├── conv_gif.gif
│   ├── demo
│   │   ├── asciicast-129202.json
│   │   └── asciicast-129203.json
│   ├── DNN-Coupled.png
│   ├── follow-twitter.gif
│   ├── lip_motion.jpg
│   ├── liptrackingdemo.png
│   ├── processing.gif
│   ├── processing-pipeline.png
│   └── Speech_GIF.gif
├── README.rst
├── results
│   └── TRAIN_CNN_3D
│   ├── checkpoint
│   ├── test_logs
│   │   ├── events.out.tfevents.1524427861.sina-Alienware-Area-51-R5
│   │   └── events.out.tfevents.1524427907.sina-Alienware-Area-51-R5
│   ├── train_logs
│   │   ├── events.out.tfevents.1524427440.sina-Alienware-Area-51-R5
│   │   ├── events.out.tfevents.1524427494.sina-Alienware-Area-51-R5
│   │   ├── events.out.tfevents.1524427609.sina-Alienware-Area-51-R5
│   │   └── events.out.tfevents.1524427706.sina-Alienware-Area-51-R5
│   ├── train_logs-62.data-00000-of-00001
│   ├── train_logs-62.index
│   └── train_logs-62.meta
├── run.sh
├── run_train_test.sh
├── system_requirements.txt
└── training_requirements.txt

19 directories, 82 files