webmagic全套资料(包含最新版 jar包，源代码，中文文档).zip

【实例简介】
是webmagic爬虫框架的最新全套资料，学习java爬虫必备资料。（包括jar包，源代码，源代码中有样例，中文文档说明等）
【实例截图】
【核心代码】
4744302543359570683.zip
├── webmagic
│   ├── LICENSE
│   ├── pom.xml
│   ├── README.md
│   ├── README-zh.md
│   ├── webmagic-core
│   │   ├── module_webmagic-core.xml
│   │   ├── pom.xml
│   │   ├── README.md
│   │   ├── src
│   │   │   ├── main
│   │   │   │   ├── java
│   │   │   │   │   └── us
│   │   │   │   │   └── codecraft
│   │   │   │   │   └── webmagic
│   │   │   │   │   ├── downloader
│   │   │   │   │   │   ├── AbstractDownloader.java
│   │   │   │   │   │   ├── CustomRedirectStrategy.java
│   │   │   │   │   │   ├── Downloader.java
│   │   │   │   │   │   ├── HttpClientDownloader.java
│   │   │   │   │   │   ├── HttpClientGenerator.java
│   │   │   │   │   │   ├── HttpClientRequestContext.java
│   │   │   │   │   │   ├── HttpUriRequestConverter.java
│   │   │   │   │   │   └── package.html
│   │   │   │   │   ├── model
│   │   │   │   │   │   └── HttpRequestBody.java
│   │   │   │   │   ├── package.html
│   │   │   │   │   ├── Page.java
│   │   │   │   │   ├── pipeline
│   │   │   │   │   │   ├── CollectorPipeline.java
│   │   │   │   │   │   ├── ConsolePipeline.java
│   │   │   │   │   │   ├── FilePipeline.java
│   │   │   │   │   │   ├── package.html
│   │   │   │   │   │   ├── Pipeline.java
│   │   │   │   │   │   └── ResultItemsCollectorPipeline.java
│   │   │   │   │   ├── processor
│   │   │   │   │   │   ├── example
│   │   │   │   │   │   │   ├── BaiduBaikePageProcessor.java
│   │   │   │   │   │   │   ├── GithubRepoPageProcessor.java
│   │   │   │   │   │   │   └── ZhihuPageProcessor.java
│   │   │   │   │   │   ├── package.html
│   │   │   │   │   │   ├── PageProcessor.java
│   │   │   │   │   │   └── SimplePageProcessor.java
│   │   │   │   │   ├── proxy
│   │   │   │   │   │   ├── Proxy.java
│   │   │   │   │   │   ├── ProxyProvider.java
│   │   │   │   │   │   └── SimpleProxyProvider.java
│   │   │   │   │   ├── Request.java
│   │   │   │   │   ├── ResultItems.java
│   │   │   │   │   ├── scheduler
│   │   │   │   │   │   ├── component
│   │   │   │   │   │   │   ├── DuplicateRemover.java
│   │   │   │   │   │   │   ├── HashSetDuplicateRemover.java
│   │   │   │   │   │   │   └── package.html
│   │   │   │   │   │   ├── DuplicateRemovedScheduler.java
│   │   │   │   │   │   ├── MonitorableScheduler.java
│   │   │   │   │   │   ├── package.html
│   │   │   │   │   │   ├── PriorityScheduler.java
│   │   │   │   │   │   ├── QueueScheduler.java
│   │   │   │   │   │   └── Scheduler.java
│   │   │   │   │   ├── selector
│   │   │   │   │   │   ├── AbstractSelectable.java
│   │   │   │   │   │   ├── AndSelector.java
│   │   │   │   │   │   ├── BaseElementSelector.java
│   │   │   │   │   │   ├── CssSelector.java
│   │   │   │   │   │   ├── ElementSelector.java
│   │   │   │   │   │   ├── Html.java
│   │   │   │   │   │   ├── HtmlNode.java
│   │   │   │   │   │   ├── Json.java
│   │   │   │   │   │   ├── JsonPathSelector.java
│   │   │   │   │   │   ├── LinksSelector.java
│   │   │   │   │   │   ├── OrSelector.java
│   │   │   │   │   │   ├── package.html
│   │   │   │   │   │   ├── PlainText.java
│   │   │   │   │   │   ├── RegexResult.java
│   │   │   │   │   │   ├── RegexSelector.java
│   │   │   │   │   │   ├── ReplaceSelector.java
│   │   │   │   │   │   ├── Selectable.java
│   │   │   │   │   │   ├── Selector.java
│   │   │   │   │   │   ├── Selectors.java
│   │   │   │   │   │   ├── SmartContentSelector.java
│   │   │   │   │   │   └── XpathSelector.java
│   │   │   │   │   ├── Site.java
│   │   │   │   │   ├── Spider.java
│   │   │   │   │   ├── SpiderListener.java
│   │   │   │   │   ├── Task.java
│   │   │   │   │   ├── thread
│   │   │   │   │   │   └── CountableThreadPool.java
│   │   │   │   │   └── utils
│   │   │   │   │   ├── CharsetUtils.java
│   │   │   │   │   ├── Experimental.java
│   │   │   │   │   ├── FilePersistentBase.java
│   │   │   │   │   ├── HttpClientUtils.java
│   │   │   │   │   ├── HttpConstant.java
│   │   │   │   │   ├── NumberUtils.java
│   │   │   │   │   ├── package.html
│   │   │   │   │   ├── ProxyUtils.java
│   │   │   │   │   ├── UrlUtils.java
│   │   │   │   │   └── WMCollections.java
│   │   │   │   └── resources
│   │   │   │   └── log4j.xml
│   │   │   └── test
│   │   │   ├── java
│   │   │   │   └── us
│   │   │   │   └── codecraft
│   │   │   │   └── webmagic
│   │   │   │   ├── downloader
│   │   │   │   │   ├── HttpClientDownloaderTest.java
│   │   │   │   │   └── MockGithubDownloader.java
│   │   │   │   ├── example
│   │   │   │   │   └── GithubRepoPageProcessorTest.java
│   │   │   │   ├── HtmlTest.java
│   │   │   │   ├── pipeline
│   │   │   │   │   └── FilePipelineTest.java
│   │   │   │   ├── proxy
│   │   │   │   │   ├── ProxyTest.java
│   │   │   │   │   └── SimpleProxyProviderTest.java
│   │   │   │   ├── RequestTest.java
│   │   │   │   ├── ResultItemsTest.java
│   │   │   │   ├── scheduler
│   │   │   │   │   ├── DuplicateRemovedSchedulerTest.java
│   │   │   │   │   └── PrioritySchedulerTest.java
│   │   │   │   ├── selector
│   │   │   │   │   ├── ExtractorsTest.java
│   │   │   │   │   ├── JsonPathSelectorTest.java
│   │   │   │   │   ├── JsonTest.java
│   │   │   │   │   ├── LinksSelectorTest.java
│   │   │   │   │   ├── RegexSelectorTest.java
│   │   │   │   │   └── SelectorTest.java
│   │   │   │   ├── SpiderTest.java
│   │   │   │   └── utils
│   │   │   │   └── UrlUtilsTest.java
│   │   │   └── resources
│   │   │   ├── html
│   │   │   │   └── mock-github.html
│   │   │   └── log4j.xml
│   │   └── target
│   ├── webmagic-extension
│   │   ├── pom.xml
│   │   ├── README.md
│   │   ├── src
│   │   │   ├── main
│   │   │   │   ├── java
│   │   │   │   │   └── us
│   │   │   │   │   └── codecraft
│   │   │   │   │   └── webmagic
│   │   │   │   │   ├── configurable
│   │   │   │   │   │   ├── ConfigurablePageProcessor.java
│   │   │   │   │   │   ├── ExpressionType.java
│   │   │   │   │   │   └── ExtractRule.java
│   │   │   │   │   ├── downloader
│   │   │   │   │   │   └── PhantomJSDownloader.java
│   │   │   │   │   ├── example
│   │   │   │   │   │   ├── AppStore.java
│   │   │   │   │   │   ├── BaiduBaike.java
│   │   │   │   │   │   ├── GithubRepoApi.java
│   │   │   │   │   │   ├── GithubRepo.java
│   │   │   │   │   │   ├── GithubRepoPageMapper.java
│   │   │   │   │   │   ├── MonitorExample.java
│   │   │   │   │   │   ├── OschinaBlog.java
│   │   │   │   │   │   └── PatternProcessorExample.java
│   │   │   │   │   ├── handler
│   │   │   │   │   │   ├── CompositePageProcessor.java
│   │   │   │   │   │   ├── CompositePipeline.java
│   │   │   │   │   │   ├── PatternProcessor.java
│   │   │   │   │   │   ├── PatternRequestMatcher.java
│   │   │   │   │   │   ├── RequestMatcher.java
│   │   │   │   │   │   ├── SubPageProcessor.java
│   │   │   │   │   │   └── SubPipeline.java
│   │   │   │   │   ├── model
│   │   │   │   │   │   ├── AfterExtractor.java
│   │   │   │   │   │   ├── annotation
│   │   │   │   │   │   │   ├── ComboExtract.java
│   │   │   │   │   │   │   ├── ExtractBy.java
│   │   │   │   │   │   │   ├── ExtractByUrl.java
│   │   │   │   │   │   │   ├── Formatter.java
│   │   │   │   │   │   │   ├── HelpUrl.java
│   │   │   │   │   │   │   ├── package.html
│   │   │   │   │   │   │   └── TargetUrl.java
│   │   │   │   │   │   ├── ConsolePageModelPipeline.java
│   │   │   │   │   │   ├── Extractor.java
│   │   │   │   │   │   ├── FieldExtractor.java
│   │   │   │   │   │   ├── formatter
│   │   │   │   │   │   │   ├── BasicTypeFormatter.java
│   │   │   │   │   │   │   ├── DateFormatter.java
│   │   │   │   │   │   │   ├── ObjectFormatterBuilder.java
│   │   │   │   │   │   │   ├── ObjectFormatter.java
│   │   │   │   │   │   │   └── ObjectFormatters.java
│   │   │   │   │   │   ├── HasKey.java
│   │   │   │   │   │   ├── ModelPageProcessor.java
│   │   │   │   │   │   ├── ModelPipeline.java
│   │   │   │   │   │   ├── OOSpider.java
│   │   │   │   │   │   ├── package.html
│   │   │   │   │   │   ├── PageMapper.java
│   │   │   │   │   │   ├── PageModelCollectorPipeline.java
│   │   │   │   │   │   └── PageModelExtractor.java
│   │   │   │   │   ├── monitor
│   │   │   │   │   │   ├── SpiderMonitor.java
│   │   │   │   │   │   ├── SpiderStatus.java
│   │   │   │   │   │   └── SpiderStatusMXBean.java
│   │   │   │   │   ├── MultiPageModel.java
│   │   │   │   │   ├── pipeline
│   │   │   │   │   │   ├── CollectorPageModelPipeline.java
│   │   │   │   │   │   ├── FilePageModelPipeline.java
│   │   │   │   │   │   ├── JsonFilePageModelPipeline.java
│   │   │   │   │   │   ├── JsonFilePipeline.java
│   │   │   │   │   │   ├── MultiPagePipeline.java
│   │   │   │   │   │   └── PageModelPipeline.java
│   │   │   │   │   ├── scheduler
│   │   │   │   │   │   ├── BloomFilterDuplicateRemover.java
│   │   │   │   │   │   ├── FileCacheQueueScheduler.java
│   │   │   │   │   │   ├── RedisPriorityScheduler.java
│   │   │   │   │   │   └── RedisScheduler.java
│   │   │   │   │   ├── SimpleHttpClient.java
│   │   │   │   │   └── utils
│   │   │   │   │   ├── ClassUtils.java
│   │   │   │   │   ├── DoubleKeyMap.java
│   │   │   │   │   ├── ExtractorUtils.java
│   │   │   │   │   ├── IPUtils.java
│   │   │   │   │   ├── MultiKeyMapBase.java
│   │   │   │   │   └── RequestUtils.java
│   │   │   │   └── resources
│   │   │   │   ├── crawl.js
│   │   │   │   ├── log4j.xml
│   │   │   │   └── spider-config-draft.xml
│   │   │   └── test
│   │   │   ├── java
│   │   │   │   └── us
│   │   │   │   └── codecraft
│   │   │   │   └── webmagic
│   │   │   │   ├── configurable
│   │   │   │   │   └── ConfigurablePageProcessorTest.java
│   │   │   │   ├── downloader
│   │   │   │   │   └── MockGithubDownloader.java
│   │   │   │   ├── formatter
│   │   │   │   │   └── DateFormatterTest.java
│   │   │   │   ├── MockPageModelPipeline.java
│   │   │   │   ├── MockPipeline.java
│   │   │   │   ├── model
│   │   │   │   │   ├── BaseRepo.java
│   │   │   │   │   ├── GithubRepoApi.java
│   │   │   │   │   ├── GithubRepo.java
│   │   │   │   │   ├── GithubRepoTest.java
│   │   │   │   │   ├── ModelPageProcessorTest.java
│   │   │   │   │   ├── PageMapperTest.java
│   │   │   │   │   ├── PageMocker.java
│   │   │   │   │   └── PageModelExtractorTest.java
│   │   │   │   ├── monitor
│   │   │   │   │   ├── CustomSpiderStatus.java
│   │   │   │   │   ├── CustomSpiderStatusMXBean.java
│   │   │   │   │   ├── SeedUrlWithPortTest.java
│   │   │   │   │   └── SpiderMonitorTest.java
│   │   │   │   ├── processor
│   │   │   │   │   └── GithubRepoProcessor.java
│   │   │   │   ├── scheduler
│   │   │   │   │   ├── BloomFilterDuplicateRemoverTest.java
│   │   │   │   │   ├── RedisPrioritySchedulerTest.java
│   │   │   │   │   └── RedisSchedulerTest.java
│   │   │   │   ├── SimpleHttpClientTest.java
│   │   │   │   └── utils
│   │   │   │   ├── IPUtilsTest.java
│   │   │   │   └── RequestUtilsTest.java
│   │   │   └── resources
│   │   │   ├── html
│   │   │   │   ├── mock-github.html
│   │   │   │   └── mock-webmagic.html
│   │   │   ├── json
│   │   │   │   └── mock-githubrepo.json
│   │   │   └── log4j.xml
│   │   └── target
│   ├── webmagic-samples
│   │   ├── pom.xml
│   │   ├── README.md
│   │   ├── src
│   │   │   ├── main
│   │   │   │   ├── java
│   │   │   │   │   └── us
│   │   │   │   │   └── codecraft
│   │   │   │   │   └── webmagic
│   │   │   │   │   ├── main
│   │   │   │   │   │   └── QuickStarter.java
│   │   │   │   │   ├── model
│   │   │   │   │   │   └── samples
│   │   │   │   │   │   ├── BaiduNews.java
│   │   │   │   │   │   ├── Blog.java
│   │   │   │   │   │   ├── DianpingFtlDataScanner.java
│   │   │   │   │   │   ├── GithubRepo.java
│   │   │   │   │   │   ├── IteyeBlog.java
│   │   │   │   │   │   ├── JokejiModel.java
│   │   │   │   │   │   ├── Kr36NewsModel.java
│   │   │   │   │   │   ├── News163.java
│   │   │   │   │   │   ├── OschinaAnswer.java
│   │   │   │   │   │   ├── OschinaBlog.java
│   │   │   │   │   │   └── QQMeishi.java
│   │   │   │   │   └── samples
│   │   │   │   │   ├── AlexanderMcqueenGoodsProcessor.java
│   │   │   │   │   ├── AmanzonPageProcessor.java
│   │   │   │   │   ├── AngularJSProcessor.java
│   │   │   │   │   ├── DiandianBlogProcessor.java
│   │   │   │   │   ├── DiaoyuwengProcessor.java
│   │   │   │   │   ├── F58PageProcesser.java
│   │   │   │   │   ├── formatter
│   │   │   │   │   │   └── StringTemplateFormatter.java
│   │   │   │   │   ├── GithubRepo.java
│   │   │   │   │   ├── GithubRepoPageProcessor.java
│   │   │   │   │   ├── HuxiuProcessor.java
│   │   │   │   │   ├── InfoQMiniBookProcessor.java
│   │   │   │   │   ├── IteyeBlogProcessor.java
│   │   │   │   │   ├── KaichibaProcessor.java
│   │   │   │   │   ├── MamacnPageProcessor.java
│   │   │   │   │   ├── MeicanProcessor.java
│   │   │   │   │   ├── NjuBBSProcessor.java
│   │   │   │   │   ├── PhantomJSPageProcessor.java
│   │   │   │   │   ├── pipeline
│   │   │   │   │   │   ├── OneFilePipeline.java
│   │   │   │   │   │   └── ReplacePipeline.java
│   │   │   │   │   ├── QzoneBlogProcessor.java
│   │   │   │   │   ├── scheduler
│   │   │   │   │   │   ├── DelayQueueScheduler.java
│   │   │   │   │   │   ├── LevelLimitScheduler.java
│   │   │   │   │   │   └── ZipCodePageProcessor.java
│   │   │   │   │   ├── SinaBlogProcessor.java
│   │   │   │   │   ├── TianyaPageProcesser.java
│   │   │   │   │   └── ZhihuPageProcessor.java
│   │   │   │   └── resources
│   │   │   │   ├── crawl.js
│   │   │   │   └── log4j.xml
│   │   │   └── test
│   │   │   └── java
│   │   │   └── us
│   │   │   └── codecraft
│   │   │   └── webmagic
│   │   │   ├── model
│   │   │   │   └── ProcessorBenchmark.java
│   │   │   ├── processor
│   │   │   │   └── SinablogProcessorTest.java
│   │   │   ├── samples
│   │   │   │   └── scheduler
│   │   │   │   └── DelayQueueSchedulerTest.java
│   │   │   └── SpiderTest.java
│   │   └── target
│   ├── webmagic-saxon
│   │   ├── pom.xml
│   │   ├── README.md
│   │   ├── src
│   │   │   ├── main
│   │   │   │   └── java
│   │   │   │   └── us
│   │   │   │   └── codecraft
│   │   │   │   └── webmagic
│   │   │   │   └── selector
│   │   │   │   └── Xpath2Selector.java
│   │   │   └── test
│   │   │   └── java
│   │   │   └── us
│   │   │   └── codecraft
│   │   │   └── webmagic
│   │   │   └── selector
│   │   │   └── XpathSelectorTest.java
│   │   └── target
│   ├── webmagic-scripts
│   │   ├── deploy.sh
│   │   ├── pom.xml
│   │   ├── README.md
│   │   ├── src
│   │   │   ├── main
│   │   │   │   ├── groovy
│   │   │   │   │   └── Github.groovy
│   │   │   │   ├── java
│   │   │   │   │   └── us
│   │   │   │   │   └── codecraft
│   │   │   │   │   └── webmagic
│   │   │   │   │   └── scripts
│   │   │   │   │   ├── Language.java
│   │   │   │   │   ├── ScriptConsole.java
│   │   │   │   │   ├── ScriptEnginePool.java
│   │   │   │   │   ├── ScriptProcessorBuilder.java
│   │   │   │   │   └── ScriptProcessor.java
│   │   │   │   ├── kotlin
│   │   │   │   │   └── Github.kt
│   │   │   │   └── resources
│   │   │   │   ├── js
│   │   │   │   │   ├── defines.js
│   │   │   │   │   ├── github.js
│   │   │   │   │   └── oschina.js
│   │   │   │   ├── log4j.xml
│   │   │   │   ├── python
│   │   │   │   │   ├── defines.py
│   │   │   │   │   └── oschina.py
│   │   │   │   └── ruby
│   │   │   │   ├── defines.rb
│   │   │   │   ├── github.rb
│   │   │   │   └── oschina.rb
│   │   │   └── test
│   │   │   ├── java
│   │   │   │   └── us
│   │   │   │   └── codecraft
│   │   │   │   └── webmagic
│   │   │   │   └── scripts
│   │   │   │   └── ScriptProcessorTest.java
│   │   │   └── resouces
│   │   │   └── log4j.xml
│   │   └── target
│   └── webmagic-selenium
│   ├── config.ini
│   ├── pom.xml
│   ├── README.md
│   ├── src
│   │   ├── main
│   │   │   └── java
│   │   │   └── us
│   │   │   └── codecraft
│   │   │   └── webmagic
│   │   │   └── downloader
│   │   │   └── selenium
│   │   │   ├── SeleniumDownloader.java
│   │   │   └── WebDriverPool.java
│   │   └── test
│   │   ├── java
│   │   │   └── us
│   │   │   └── codecraft
│   │   │   └── webmagic
│   │   │   ├── downloader
│   │   │   │   ├── selenium
│   │   │   │   │   ├── SeleniumDownloaderTest.java
│   │   │   │   │   └── WebDriverPoolTest.java
│   │   │   │   └── SeleniumTest.java
│   │   │   └── samples
│   │   │   ├── GooglePlayProcessor.java
│   │   │   └── HuabanProcessor.java
│   │   └── resources
│   │   └── config.ini
│   └── target
├── webmagic-0.7.3-all.tar.gz
└── webmagic中文文档.pdf

152 directories, 283 files