nifi-get-a-tag-processor

【实例简介】
这是一个自定义nifiprocessor的实例，里面提供了五个实例，提取url页面中所有的a标签，通过redis过滤，去重，过滤等等。
【实例截图】
【核心代码】
nifi-get-a-tag-processor
└── nifi-get-a-tag-processor
├── README_ATTRIBUTETOJSON.md
├── README_GETATAG.md
├── README_REMOVEDUPLICATE.md
├── bin
│   └── hylanda
│   └── processors
│   └── getatag
│   ├── XWDCAttributeToJSON.class
│   ├── XWDCGetATags.class
│   ├── XWDCRemoveDuplicate.class
│   └── util
│   ├── DateUtils.class
│   ├── GenUrlCrc64.class
│   ├── GetATag.class
│   ├── IpConfig.class
│   ├── NifiUtil.class
│   ├── RedisClient.class
│   ├── URLHelper$1.class
│   ├── URLHelper$2.class
│   └── URLHelper.class
├── nifi-getatag-nar
│   ├── pom.xml
│   └── target
│   ├── classes
│   │   └── META-INF
│   │   ├── DEPENDENCIES
│   │   ├── LICENSE
│   │   ├── NOTICE
│   │   └── bundled-dependencies
│   │   ├── commons-io-2.5.jar
│   │   ├── commons-pool2-2.4.1.jar
│   │   ├── fastjson-1.2.35.jar
│   │   ├── jedis-2.4.0.jar
│   │   ├── jsoup-1.8.3.jar
│   │   ├── nifi-getatag-processors-0.0.1-SNAPSHOT.jar
│   │   └── nifi-utils-1.2.0.jar
│   ├── maven-archiver
│   │   └── pom.properties
│   ├── maven-shared-archive-resources
│   │   └── META-INF
│   │   ├── DEPENDENCIES
│   │   ├── LICENSE
│   │   └── NOTICE
│   ├── nifi-getatag-nar-0.0.1-SNAPSHOT.nar
│   └── test-classes
│   └── META-INF
│   ├── DEPENDENCIES
│   ├── LICENSE
│   └── NOTICE
├── nifi-getatag-processors
│   ├── pom.xml
│   ├── src
│   │   ├── main
│   │   │   ├── java
│   │   │   │   └── hylanda
│   │   │   │   └── processors
│   │   │   │   └── getatag
│   │   │   │   ├── XWDCAttributeToJSON.java
│   │   │   │   ├── XWDCGetATags.java
│   │   │   │   ├── XWDCGetATagsTest.java
│   │   │   │   ├── XWDCRemoveDuplicate.java
│   │   │   │   ├── XWDCUrlFilter.java
│   │   │   │   ├── service
│   │   │   │   │   └── RedisService.java
│   │   │   │   └── util
│   │   │   │   ├── DateUtils.java
│   │   │   │   ├── GenUrlCrc64.java
│   │   │   │   ├── GetATag.java
│   │   │   │   ├── IpConfig.java
│   │   │   │   ├── NifiUtil.java
│   │   │   │   ├── RedisClient.java
│   │   │   │   ├── RedisUtil.java
│   │   │   │   ├── SerializeUtil.java
│   │   │   │   └── URLHelper.java
│   │   │   └── resources
│   │   │   └── META-INF
│   │   │   └── services
│   │   │   └── org.apache.nifi.processor.Processor
│   │   └── test
│   │   └── java
│   │   └── hylanda
│   │   └── processors
│   │   └── getatag
│   │   ├── MyProcessorTest.java
│   │   ├── RedisGetData.java
│   │   └── RedisTest.java
│   └── target
│   ├── classes
│   │   ├── META-INF
│   │   │   ├── DEPENDENCIES
│   │   │   ├── LICENSE
│   │   │   ├── MANIFEST.MF
│   │   │   ├── NOTICE
│   │   │   ├── maven
│   │   │   │   └── hylanda
│   │   │   │   └── nifi-getatag-processors
│   │   │   │   ├── pom.properties
│   │   │   │   └── pom.xml
│   │   │   └── services
│   │   │   └── org.apache.nifi.processor.Processor
│   │   └── hylanda
│   │   └── processors
│   │   └── getatag
│   │   ├── XWDCAttributeToJSON.class
│   │   ├── XWDCGetATags.class
│   │   ├── XWDCGetATagsTest.class
│   │   ├── XWDCRemoveDuplicate.class
│   │   ├── XWDCUrlFilter.class
│   │   ├── service
│   │   │   └── RedisService.class
│   │   └── util
│   │   ├── DateUtils.class
│   │   ├── GenUrlCrc64.class
│   │   ├── GetATag.class
│   │   ├── IpConfig.class
│   │   ├── NifiUtil$1.class
│   │   ├── NifiUtil.class
│   │   ├── RedisClient.class
│   │   ├── RedisUtil.class
│   │   ├── SerializeUtil.class
│   │   ├── URLHelper$1.class
│   │   ├── URLHelper$2.class
│   │   └── URLHelper.class
│   ├── maven-archiver
│   │   └── pom.properties
│   ├── maven-shared-archive-resources
│   │   └── META-INF
│   │   ├── DEPENDENCIES
│   │   ├── LICENSE
│   │   └── NOTICE
│   ├── maven-status
│   │   └── maven-compiler-plugin
│   │   ├── compile
│   │   │   └── default-compile
│   │   │   ├── createdFiles.lst
│   │   │   └── inputFiles.lst
│   │   └── testCompile
│   │   ├── default-testCompile
│   │   │   ├── createdFiles.lst
│   │   │   └── inputFiles.lst
│   │   └── groovy-tests
│   │   ├── createdFiles.lst
│   │   └── inputFiles.lst
│   ├── nifi-getatag-processors-0.0.1-SNAPSHOT.jar
│   ├── surefire-reports
│   │   ├── TEST-hylanda.processors.getatag.MyProcessorTest.xml
│   │   └── hylanda.processors.getatag.MyProcessorTest.txt
│   └── test-classes
│   ├── META-INF
│   │   ├── DEPENDENCIES
│   │   ├── LICENSE
│   │   └── NOTICE
│   └── hylanda
│   └── processors
│   └── getatag
│   ├── MyProcessorTest.class
│   ├── RedisGetData.class
│   ├── RedisTest$1.class
│   └── RedisTest.class
├── pom.xml
└── target
└── maven-shared-archive-resources
└── META-INF
├── DEPENDENCIES
├── LICENSE
└── NOTICE

64 directories, 103 files