Java网络爬虫源码

【实例简介】
由于项目需要，特研究了一段时间关于java爬虫的相关技术，发现一个比较好用的爬虫框架--WebMagic，只需少量代码即可实现一个爬虫，本项目就是基于它的一个简单实现，导入项目即可运行，项目只有两个类，一个用于抓取，一个用于处理抓取到的数据，存入数据库或导出到excel等(只打印到控制台，后续自己发挥)，简单吧，代码真的很少
【实例截图】
【核心代码】
spider
└── spider
├── bin
│   ├── pipeline
│   │   └── HdPipeline.class
│   └── processor
│   └── HdProcessor.class
├── lib
│   ├── assertj-core-1.5.0.jar
│   ├── bcprov-jdk15on-1.52.jar
│   ├── commons-beanutils-1.7.0.jar
│   ├── commons-codec-1.6.jar
│   ├── commons-codec-1.7.jar
│   ├── commons-collections-3.1.jar
│   ├── commons-collections-3.2.1.jar
│   ├── commons-io-1.3.2.jar
│   ├── commons-io-2.0.1.jar
│   ├── commons-lang-2.5.jar
│   ├── commons-lang-2.6.jar
│   ├── commons-lang3-3.1.jar
│   ├── commons-logging-1.1.3.jar
│   ├── commons-logging-1.2.jar
│   ├── commons-logging.jar
│   ├── commons-pool-1.5.4.jar
│   ├── commons-pool-1.5.5.jar
│   ├── ezmorph-1.0.3.jar
│   ├── fastjson-1.1.37.jar
│   ├── guava-15.0.jar
│   ├── hamcrest-core-1.3.jar
│   ├── httpclient-4.3.3.jar
│   ├── httpclient-4.5.2.jar
│   ├── httpcore-4.3.2.jar
│   ├── httpcore-4.4.5.jar
│   ├── jedis-2.0.0.jar
│   ├── jedis-2.1.0.jar
│   ├── json-lib-2.4-jdk15.jar
│   ├── json-path-0.8.1.jar
│   ├── json-smart-1.1.1.jar
│   ├── jsoup-1.7.2.jar
│   ├── junit-4.11.jar
│   ├── log4j-1.2.15.jar
│   ├── log4j-1.2.17.jar
│   ├── slf4j-api-1.6.1.jar
│   ├── slf4j-api-1.7.6.jar
│   ├── slf4j-log4j12-1.7.6.jar
│   ├── webmagic-core-0.5.2.jar
│   ├── webmagic-extension-0.5.2.jar
│   └── xsoup-0.2.4.jar
└── src
├── pipeline
│   └── HdPipeline.java
└── processor
└── HdProcessor.java

8 directories, 44 files