Penn Tree Bank(PTB文本数据集）

【实例简介】
来源于 Tomas Mikolov 网站上的 PTB 数据集http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz。 该数据集已经预先处理过并且包含了全部的 10000 个不同的词语，其中包括语句结束标记符，以及标记稀有词语的特殊符号 (<unk>) 。我们在 reader.py 中转换所有的词语，让他们各自有唯一的整型标识符，便于神经网络处理。
【实例截图】
【核心代码】
552eea55-0573-408a-80ee-6ec9a03d5a6e
└── simple-examples
├── 1-train
│   ├── README
│   ├── test.sh
│   └── train.sh
├── 2-nbest-rescore
│   ├── getbest
│   ├── getbest.c
│   ├── gettext
│   ├── gettext.c
│   ├── lattices
│   │   ├── AMI-3E0501_u3005_127040_127488.lat.gz
│   │   ├── AMI-3E0501_u3005_127513_127835.lat.gz
│   │   ├── AMI-3E0501_u3005_127865_128175.lat.gz
│   │   ├── AMI-3E0501_u3005_128188_128447.lat.gz
│   │   ├── AMI-3E0501_u3005_128490_129032.lat.gz
│   │   ├── latlist
│   │   └── nbest.sh
│   ├── makenbest
│   ├── makenbest.c
│   └── README
├── 3-combination
│   ├── README
│   ├── test.sh
│   └── train.sh
├── 4-data-generation
│   ├── README
│   ├── test.sh
│   └── train.sh
├── 5-one-iter
│   ├── README
│   ├── test.sh
│   └── train.sh
├── 6-recovery-during-training
│   ├── README
│   ├── test.sh
│   └── train.sh
├── 7-dynamic-evaluation
│   ├── README
│   ├── test.sh
│   └── train.sh
├── 8-direct
│   ├── README
│   ├── test.sh
│   └── train.sh
├── 9-char-based-lm
│   ├── README
│   ├── test.sh
│   └── train.sh
├── data
│   ├── ptb.char.test.txt
│   ├── ptb.char.train.txt
│   ├── ptb.char.valid.txt
│   ├── ptb.test.txt
│   ├── ptb.train.txt
│   ├── ptb.valid.txt
│   └── README
├── models
│   ├── README
│   ├── swb.ngram.model
│   └── swb.rnn.model
└── rnnlm-0.2b
├── CHANGE.log
├── convert.c
├── COPYRIGHT.txt
├── example.output
├── example.sh
├── FAQ.txt
├── makefile
├── prob.c
├── rnnlm.cpp
├── rnnlmlib.cpp
├── rnnlmlib.h
├── test
├── train
└── valid

14 directories, 62 files