基于hadoop搜索引擎 离线处理程序

【实例简介】
本项目是基于hadoop搜索引擎的离线处理程序，主要包含三部分 1.网页信息过滤 2.生成倒排索引文件 3.生成二级索引文件;
【实例截图】
【核心代码】
BBS
└── BBS
├── bin
│   ├── IKAnalyzer.cfg.xml
│   ├── ext_stopword.dic
│   ├── logback.xml
│   └── mydict.dic
├── build.xml
├── dist
│   └── bbac.jar
├── lib
│   ├── IKAnalyzer2012FF_u1.jar
│   ├── commons-configuration-1.6.jar
│   ├── commons-lang-2.6.jar
│   ├── commons-logging-1.1.1.jar
│   ├── findbugs-annotations-1.3.9-1.jar
│   ├── gson-2.2.4.jar
│   ├── guava-12.0.1.jar
│   ├── hadoop-annotations-2.2.0.jar
│   ├── hadoop-common-2.2.0.jar
│   ├── hadoop-hdfs-2.2.0.jar
│   ├── hadoop-mapreduce-client-core-2.2.0.jar
│   ├── hbase-client-0.98.0-hadoop2.jar
│   ├── hbase-common-0.98.0-hadoop2.jar
│   ├── hbase-examples-0.98.0-hadoop2.jar
│   ├── hbase-hadoop-compat-0.98.0-hadoop2.jar
│   ├── hbase-hadoop2-compat-0.98.0-hadoop2.jar
│   ├── hbase-protocol-0.98.0-hadoop2.jar
│   ├── hbase-server-0.98.0-hadoop2.jar
│   ├── htrace-core-2.04.jar
│   ├── log4j-1.2.17.jar
│   ├── lucene-analyzers-common-4.3.0.jar
│   ├── lucene-core-4.3.0.jar
│   ├── lucene-queryparser-4.3.0.jar
│   ├── mysql-connector-java-5.0.8.jar
│   ├── quartz-2.2.1.jar
│   ├── quartz-jobs-2.2.1.jar
│   ├── slf4j-api-1.6.4.jar
│   ├── slf4j-log4j12-1.6.4.jar
│   └── zookeeper-3.4.5.jar
├── logback.xml
└── src
├── IKAnalyzer.cfg.xml
├── com
│   └── sl
│   └── bbs
│   ├── BBS.java
│   ├── PositionInfo.java
│   ├── RankPosition.java
│   ├── hdfs
│   │   └── Util.java
│   ├── main
│   │   └── Main.java
│   └── mapred
│   ├── GetFileSeek.java
│   ├── InvertedIndexer.java
│   ├── RemoveRepeatMR.java
│   ├── TokenIndex.java
│   └── io
│   ├── RecordWritable.java
│   └── SplitFilePartitioner.java
├── ext_stopword.dic
├── logback.xml
└── mydict.dic

12 directories, 51 files