WebCollector爬虫、网页正文提取

【实例简介】
WebCollector爬虫、网页正文提取
【实例截图】
【核心代码】
4744302543402341259.rar
├── read.txt
├── WebCollector-master
│   ├── README.md
│   ├── README.zh-cn.md
│   ├── WebCollector
│   │   ├── pom.xml
│   │   └── src
│   │   └── main
│   │   ├── java
│   │   │   └── cn
│   │   │   └── edu
│   │   │   └── hfut
│   │   │   └── dmic
│   │   │   ├── contentextractor
│   │   │   │   ├── ContentExtractor.java
│   │   │   │   └── News.java
│   │   │   └── webcollector
│   │   │   ├── crawler
│   │   │   │   ├── BreadthCrawler.java
│   │   │   │   ├── Crawler.java
│   │   │   │   ├── DeepCrawler.java
│   │   │   │   └── MultiExtractorCrawler.java
│   │   │   ├── extract
│   │   │   │   ├── ExtractorFactory.java
│   │   │   │   ├── Extractor.java
│   │   │   │   ├── ExtractorParams.java
│   │   │   │   ├── Extractors.java
│   │   │   │   ├── ExtractorTest.java
│   │   │   │   └── RegexExtractorFactory.java
│   │   │   ├── fetcher
│   │   │   │   ├── DbUpdater.java
│   │   │   │   ├── Fetcher.java
│   │   │   │   ├── MapVisitorFactory.java
│   │   │   │   ├── SegmentWriter.java
│   │   │   │   ├── VisitorFactory.java
│   │   │   │   └── Visitor.java
│   │   │   ├── generator
│   │   │   │   ├── Generator.java
│   │   │   │   ├── Injector.java
│   │   │   │   └── StandardGenerator.java
│   │   │   ├── model
│   │   │   │   ├── CrawlDatum.java
│   │   │   │   ├── Links.java
│   │   │   │   └── Page.java
│   │   │   ├── net
│   │   │   │   ├── HttpRequesterImpl.java
│   │   │   │   ├── HttpRequester.java
│   │   │   │   ├── HttpRequest.java
│   │   │   │   ├── HttpResponse.java
│   │   │   │   ├── ProxyGenerator.java
│   │   │   │   ├── Proxys.java
│   │   │   │   ├── RandomProxyGenerator.java
│   │   │   │   ├── RequestConfig.java
│   │   │   │   └── SingleProxyGenerator.java
│   │   │   └── util
│   │   │   ├── BerkeleyDBUtils.java
│   │   │   ├── CharsetDetector.java
│   │   │   ├── Config.java
│   │   │   ├── FileSystemOutput.java
│   │   │   ├── FileUtils.java
│   │   │   ├── JsoupUtils.java
│   │   │   └── RegexRule.java
│   │   └── resources
│   │   └── log4j.properties
│   ├── webcollector-2.12-bin.zip
│   ├── WebCollectorExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── main
│   │   ├── java
│   │   │   └── cn
│   │   │   └── edu
│   │   │   └── hfut
│   │   │   └── dmic
│   │   │   └── webcollector
│   │   │   └── example
│   │   │   ├── DemoHttpRequest.java
│   │   │   ├── DemoJSCrawler.java
│   │   │   ├── DemoJsonCrawler.java
│   │   │   ├── DemoSogouCrawler.java
│   │   │   ├── DemoSoupLangCrawler.java
│   │   │   ├── DemoSoupLang.java
│   │   │   ├── souplang
│   │   │   │   ├── Context.java
│   │   │   │   ├── LangNode.java
│   │   │   │   ├── nodes
│   │   │   │   │   ├── InputTypeErrorException.java
│   │   │   │   │   ├── SLAttribute.java
│   │   │   │   │   ├── SLDocument.java
│   │   │   │   │   ├── SLDocuments.java
│   │   │   │   │   ├── SLElement.java
│   │   │   │   │   ├── SLElements.java
│   │   │   │   │   ├── SLList.java
│   │   │   │   │   ├── SLNextElement.java
│   │   │   │   │   ├── SLNext.java
│   │   │   │   │   ├── SLRoot.java
│   │   │   │   │   ├── SLSQL.java
│   │   │   │   │   ├── SLStr.java
│   │   │   │   │   └── SLText.java
│   │   │   │   ├── Parser.java
│   │   │   │   └── SoupLang.java
│   │   │   ├── TutorialContentExtractor.java
│   │   │   ├── TutorialCrawler2.java
│   │   │   ├── TutorialCrawler.java
│   │   │   ├── TutorialExtractor.java
│   │   │   └── util
│   │   │   ├── JDBCHelper.java
│   │   │   └── PageUtils.java
│   │   └── resources
│   │   └── example
│   │   ├── DemoRule1.xml
│   │   └── DemoRule2.xml
│   └── YahooCrawler.java
└── WebCollector 网页正文提取算法.png

34 directories, 80 files