Elasticsearch-HBase-sep机制.zip

【实例简介】
用于hbase同步数据到es(sep机制)，基于hbase-indexer组件
【实例截图】
【核心代码】
4744302543440975651.zip
└── hbase-indexer-master
├── bin
│   ├── hbase-indexer
│   └── hbase-indexer-config.sh
├── conf
│   ├── hbase-indexer-env.sh
│   ├── hbase-indexer-site.xml
│   └── log4j.properties
├── hbase-indexer-all
│   └── pom.xml
├── hbase-indexer-cli
│   ├── pom.xml
│   └── src
│   └── main
│   ├── java
│   │   └── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   └── cli
│   │   ├── AddIndexerCli.java
│   │   ├── AddOrUpdateIndexerCli.java
│   │   ├── BaseCli.java
│   │   ├── BaseIndexCli.java
│   │   ├── CliException.java
│   │   ├── DeleteIndexerCli.java
│   │   ├── ListIndexersCli.java
│   │   └── UpdateIndexerCli.java
│   └── resources
│   └── com
│   └── ngdata
│   └── hbaseindexer
│   └── cli
│   ├── AddIndexerCli_help_footer.txt
│   ├── cli-log4j.properties
│   ├── DeleteIndexerCli_help_footer.txt
│   └── UpdateIndexerCli_help_footer.txt
├── hbase-indexer-common
│   ├── pom.xml
│   └── src
│   ├── main
│   │   └── java
│   │   └── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   ├── Configurable.java
│   │   ├── ConfigureUtil.java
│   │   ├── ConfKeys.java
│   │   ├── HBaseIndexerConfiguration.java
│   │   ├── metrics
│   │   │   └── IndexerMetricsUtil.java
│   │   ├── SolrConnectionParams.java
│   │   ├── util
│   │   │   ├── IndexerNameValidator.java
│   │   │   ├── json
│   │   │   │   ├── JsonFormatException.java
│   │   │   │   └── JsonUtil.java
│   │   │   ├── MavenUtil.java
│   │   │   ├── net
│   │   │   │   └── NetUtils.java
│   │   │   ├── solr
│   │   │   │   ├── SolrConfigLoader.java
│   │   │   │   ├── SolrConnectionParamUtil.java
│   │   │   │   └── SolrTestingUtility.java
│   │   │   ├── VersionInfo.java
│   │   │   └── zookeeper
│   │   │   ├── LeaderElectionCallback.java
│   │   │   ├── LeaderElection.java
│   │   │   ├── LeaderElectionSetupException.java
│   │   │   ├── StateWatchingZooKeeper.java
│   │   │   ├── ZkLockException.java
│   │   │   └── ZkLock.java
│   │   └── VersionAnnotation.java
│   ├── saveVersion.sh
│   └── test
│   └── java
│   └── com
│   └── ngdata
│   └── hbaseindexer
│   ├── ConfigureUtilTest.java
│   ├── metrics
│   │   └── IndexerMetricsUtilTest.java
│   └── util
│   └── IndexerNameValidatorTest.java
├── hbase-indexer-demo
│   ├── message_indexer.xml
│   ├── pom.xml
│   ├── README.md
│   ├── src
│   │   └── main
│   │   ├── java
│   │   │   └── com
│   │   │   └── ngdata
│   │   │   └── hbaseindexer
│   │   │   └── demo
│   │   │   ├── DemoMessageIngester.java
│   │   │   ├── DemoSchema.java
│   │   │   └── DemoUserIngester.java
│   │   └── resources
│   │   └── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   └── demo
│   │   ├── names
│   │   │   ├── names.txt
│   │   │   └── readme.txt
│   │   └── words
│   │   ├── ispell-enwl-3.1.20.zip
│   │   └── README.txt
│   └── user_indexer.xml
├── hbase-indexer-dist
│   ├── pom.xml
│   └── src
│   ├── assembly
│   │   └── assembly.xml
│   └── main
│   └── resources
│   └── scripts
│   └── hbase-indexer
├── hbase-indexer-engine
│   ├── pom.xml
│   └── src
│   ├── main
│   │   ├── java
│   │   │   └── com
│   │   │   └── ngdata
│   │   │   └── hbaseindexer
│   │   │   ├── conf
│   │   │   │   ├── DefaultIndexerComponentFactory.java
│   │   │   │   ├── DocumentExtractDefinition.java
│   │   │   │   ├── FieldDefinition.java
│   │   │   │   ├── IndexerComponentFactory.java
│   │   │   │   ├── IndexerComponentFactoryUtil.java
│   │   │   │   ├── IndexerConfBuilder.java
│   │   │   │   ├── IndexerConfException.java
│   │   │   │   ├── IndexerConf.java
│   │   │   │   └── XmlIndexerConfWriter.java
│   │   │   ├── indexer
│   │   │   │   ├── DirectSolrClassicInputDocumentWriter.java
│   │   │   │   ├── DirectSolrInputDocumentWriter.java
│   │   │   │   ├── HashSharder.java
│   │   │   │   ├── IdAddingSolrUpdateWriter.java
│   │   │   │   ├── Indexer.java
│   │   │   │   ├── IndexingEventListener.java
│   │   │   │   ├── ResultToSolrMapperFactory.java
│   │   │   │   ├── ResultWrappingRowData.java
│   │   │   │   ├── RowAndFamilyAddingSolrUpdateWriter.java
│   │   │   │   ├── RowData.java
│   │   │   │   ├── SepEventRowData.java
│   │   │   │   ├── SharderException.java
│   │   │   │   ├── Sharder.java
│   │   │   │   ├── SolrClientFactory.java
│   │   │   │   ├── SolrInputDocumentWriter.java
│   │   │   │   └── SolrUpdateCollector.java
│   │   │   ├── parse
│   │   │   │   ├── ByteArrayExtractor.java
│   │   │   │   ├── ByteArrayValueMapper.java
│   │   │   │   ├── ByteArrayValueMappers.java
│   │   │   │   ├── DefaultResultToSolrMapper.java
│   │   │   │   ├── extract
│   │   │   │   │   ├── AbstractPrefixMatchingExtractor.java
│   │   │   │   │   ├── ByteArrayExtractors.java
│   │   │   │   │   ├── PrefixMatchingCellExtractor.java
│   │   │   │   │   ├── PrefixMatchingQualifierExtractor.java
│   │   │   │   │   └── SingleCellExtractor.java
│   │   │   │   ├── HBaseSolrDocumentExtractor.java
│   │   │   │   ├── ResultToSolrMapper.java
│   │   │   │   ├── SolrDocumentExtractor.java
│   │   │   │   ├── SolrInputDocumentBuilder.java
│   │   │   │   └── SolrUpdateWriter.java
│   │   │   └── uniquekey
│   │   │   ├── BaseUniqueKeyFormatter.java
│   │   │   ├── HexUniqueKeyFormatter.java
│   │   │   ├── StringUniqueKeyFormatter.java
│   │   │   ├── UniqueKeyFormatter.java
│   │   │   └── UniqueTableKeyFormatter.java
│   │   └── resources
│   │   └── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   └── conf
│   │   └── indexerconf.xsd
│   └── test
│   ├── java
│   │   └── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   ├── conf
│   │   │   ├── DefaultIndexerComponentFactoryTest.java
│   │   │   ├── IndexerConfTest.java
│   │   │   ├── TestResultToSolrMapper.java
│   │   │   └── XmlIndexerConfWriterTest.java
│   │   ├── indexer
│   │   │   ├── ColumnBasedIndexerTest.java
│   │   │   ├── DirectSolrInputDocumentWriterTest.java
│   │   │   ├── HashSharderTest.java
│   │   │   ├── IdAddingSolrUpdateWriterTest.java
│   │   │   ├── IndexingEventListenerTest.java
│   │   │   ├── ResultToSolrMapperFactoryTest.java
│   │   │   ├── RowAndFamilyAddingSolrUpdateWriterTest.java
│   │   │   └── RowBasedIndexerTest.java
│   │   ├── parse
│   │   │   ├── ByteArrayValueMappersTest.java
│   │   │   ├── DefaultResultToSolrMapperTest.java
│   │   │   ├── extract
│   │   │   │   ├── AbstractPrefixMatchingExtractorTest.java
│   │   │   │   ├── ByteArrayExtractorsTest.java
│   │   │   │   ├── ExtractTestUtil.java
│   │   │   │   ├── PrefixMatchingCellExtractorTest.java
│   │   │   │   ├── PrefixMatchingQualifierExtractorTest.java
│   │   │   │   └── SingleCellExtractorTest.java
│   │   │   ├── HBaseSolrDocumentExtractorTest.java
│   │   │   └── SolrInputDocumentBuilderTest.java
│   │   └── uniquekey
│   │   ├── BaseUniqueKeyFormatterTest.java
│   │   ├── HexUniqueKeyFormatterTest.java
│   │   └── StringUniqueKeyFormatterTest.java
│   └── resources
│   ├── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   ├── conf
│   │   │   ├── indexerconf_defaults.xml
│   │   │   └── indexerconf_full.xml
│   │   └── indexer
│   │   ├── schema.xml
│   │   └── solrconfig.xml
│   ├── currency.xml
│   ├── elevate.xml
│   ├── lang
│   │   ├── contractions_ca.txt
│   │   ├── contractions_fr.txt
│   │   ├── contractions_ga.txt
│   │   ├── contractions_it.txt
│   │   ├── hyphenations_ga.txt
│   │   ├── stemdict_nl.txt
│   │   ├── stoptags_ja.txt
│   │   ├── stopwords_ar.txt
│   │   ├── stopwords_bg.txt
│   │   ├── stopwords_ca.txt
│   │   ├── stopwords_cz.txt
│   │   ├── stopwords_da.txt
│   │   ├── stopwords_de.txt
│   │   ├── stopwords_el.txt
│   │   ├── stopwords_en.txt
│   │   ├── stopwords_es.txt
│   │   ├── stopwords_eu.txt
│   │   ├── stopwords_fa.txt
│   │   ├── stopwords_fi.txt
│   │   ├── stopwords_fr.txt
│   │   ├── stopwords_ga.txt
│   │   ├── stopwords_gl.txt
│   │   ├── stopwords_hi.txt
│   │   ├── stopwords_hu.txt
│   │   ├── stopwords_hy.txt
│   │   ├── stopwords_id.txt
│   │   ├── stopwords_it.txt
│   │   ├── stopwords_ja.txt
│   │   ├── stopwords_lv.txt
│   │   ├── stopwords_nl.txt
│   │   ├── stopwords_no.txt
│   │   ├── stopwords_pt.txt
│   │   ├── stopwords_ro.txt
│   │   ├── stopwords_ru.txt
│   │   ├── stopwords_sv.txt
│   │   ├── stopwords_th.txt
│   │   ├── stopwords_tr.txt
│   │   └── userdict_ja.txt
│   ├── mapping-FoldToASCII.txt
│   ├── mapping-ISOLatin1Accent.txt
│   ├── protwords.txt
│   ├── schema.xml
│   ├── scripts.conf
│   ├── solrconfig.xml
│   ├── spellings.txt
│   ├── stopwords.txt
│   └── synonyms.txt
├── hbase-indexer-model
│   ├── pom.xml
│   └── src
│   ├── main
│   │   └── java
│   │   └── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   └── model
│   │   ├── api
│   │   │   ├── BatchBuildInfo.java
│   │   │   ├── IndexerConcurrentModificationException.java
│   │   │   ├── IndexerDefinitionBuilder.java
│   │   │   ├── IndexerDefinition.java
│   │   │   ├── IndexerDefinitionNameComparator.java
│   │   │   ├── IndexerExistsException.java
│   │   │   ├── IndexerLifecycleListener.java
│   │   │   ├── IndexerModelEvent.java
│   │   │   ├── IndexerModelEventType.java
│   │   │   ├── IndexerModelException.java
│   │   │   ├── IndexerModel.java
│   │   │   ├── IndexerModelListener.java
│   │   │   ├── IndexerNotFoundException.java
│   │   │   ├── IndexerProcess.java
│   │   │   ├── IndexerProcessRegistry.java
│   │   │   ├── IndexerUpdateException.java
│   │   │   ├── IndexerValidityException.java
│   │   │   └── WriteableIndexerModel.java
│   │   └── impl
│   │   ├── IndexerDefinitionJsonSerDeser.java
│   │   ├── IndexerModelImpl.java
│   │   └── IndexerProcessRegistryImpl.java
│   └── test
│   ├── java
│   │   └── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   └── impl
│   │   ├── IndexerDefinitionJsonSerDeserTest.java
│   │   └── IndexerModelImplTest.java
│   └── resources
│   └── log4j.properties
├── hbase-indexer-morphlines
│   ├── pom.xml
│   ├── README.md
│   └── src
│   ├── main
│   │   └── java
│   │   └── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   └── morphline
│   │   ├── ExtractHBaseCellsBuilder.java
│   │   ├── HBaseMorphlineContext.java
│   │   ├── LocalMorphlineResultToSolrMapper.java
│   │   └── MorphlineResultToSolrMapper.java
│   └── test
│   ├── java
│   │   └── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   └── morphline
│   │   └── MorphlineResultToSolrMapperTest.java
│   └── resources
│   └── test-morphlines
│   ├── extractHBaseCell.conf
│   ├── extractHBaseCells.conf
│   ├── extractHBaseCellsWithDynamicOutputField.conf
│   ├── extractHBaseCellsWithMultipleOutputFields.conf
│   ├── extractHBaseCellsWithVariables.conf
│   └── extractHBaseCellWithWildcardInputFieldMix.conf
├── hbase-indexer-mr
│   ├── pom.xml
│   ├── README.md
│   └── src
│   ├── main
│   │   ├── assembly
│   │   │   └── hadoop-job.xml
│   │   └── java
│   │   ├── com
│   │   │   └── ngdata
│   │   │   └── hbaseindexer
│   │   │   └── mr
│   │   │   ├── BufferedSolrInputDocumentWriter.java
│   │   │   ├── GoLive.java
│   │   │   ├── HBaseIndexerArgumentParser.java
│   │   │   ├── HBaseIndexerCounters.java
│   │   │   ├── HBaseIndexerMapper.java
│   │   │   ├── HBaseIndexingOptions.java
│   │   │   ├── HBaseMapReduceIndexerTool.java
│   │   │   ├── IndexerDryRun.java
│   │   │   ├── IndexingSpecification.java
│   │   │   ├── JobProcessCallback.java
│   │   │   ├── MapReduceSolrInputDocumentWriter.java
│   │   │   ├── MorphlineClasspathUtil.java
│   │   │   ├── NopJobProcessCallback.java
│   │   │   └── ToolRunnerHelpFormatter.java
│   │   └── org
│   │   └── apache
│   │   └── solr
│   │   └── hadoop
│   │   ├── PublicAlphaNumericComparator.java
│   │   ├── PublicZooKeeperInspector.java
│   │   ├── SolrRecordWriter.java
│   │   └── TreeMergeOutputFormat.java
│   └── test
│   ├── java
│   │   └── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   └── mr
│   │   ├── BufferedSolrInputDocumentWriterTest.java
│   │   ├── HBaseIndexerMapperTest.java
│   │   ├── HBaseIndexingOptionsTest.java
│   │   ├── HBaseMapReduceIndexerToolDirectWriteTest.java
│   │   ├── HBaseMapReduceIndexerToolGoLiveTest.java
│   │   ├── HBaseMapReduceIndexerToolTest.java
│   │   ├── HBaseTestingUtilityFactory.java
│   │   ├── IndexerDryRunTest.java
│   │   ├── MapReduceSolrInputDocumentWriterTest.java
│   │   ├── MockResultToSolrMapper.java
│   │   ├── MRTestUtil.java
│   │   └── TestUtils.java
│   └── resources
│   ├── com
│   │   └── ngdata
│   │   └── hbaseindexer
│   │   └── mr
│   │   ├── mock_indexer.xml
│   │   ├── multitable_indexer.xml
│   │   ├── schema.xml
│   │   ├── solrconfig.xml
│   │   └── user_indexer.xml
│   ├── extractHBaseCell.conf
│   ├── extractHBaseCellWithoutZk.conf
│   ├── log4j.properties
│   ├── morphline_indexer_without_zk_no_table.xml
│   ├── morphline_indexer_without_zk.xml
│   ├── morphline_indexer.xml
│   ├── morphlines.conf
│   └── solr
│   └── minimr
│   ├── conf
│   │   ├── currency.xml
│   │   ├── elevate.xml
│   │   ├── lang
│   │   │   ├── contractions_ca.txt
│   │   │   ├── contractions_fr.txt
│   │   │   ├── contractions_ga.txt
│   │   │   ├── contractions_it.txt
│   │   │   ├── hyphenations_ga.txt
│   │   │   ├── stemdict_nl.txt
│   │   │   ├── stoptags_ja.txt
│   │   │   ├── stopwords_ar.txt
│   │   │   ├── stopwords_bg.txt
│   │   │   ├── stopwords_ca.txt
│   │   │   ├── stopwords_cz.txt
│   │   │   ├── stopwords_da.txt
│   │   │   ├── stopwords_de.txt
│   │   │   ├── stopwords_el.txt
│   │   │   ├── stopwords_en.txt
│   │   │   ├── stopwords_es.txt
│   │   │   ├── stopwords_eu.txt
│   │   │   ├── stopwords_fa.txt
│   │   │   ├── stopwords_fi.txt
│   │   │   ├── stopwords_fr.txt
│   │   │   ├── stopwords_ga.txt
│   │   │   ├── stopwords_gl.txt
│   │   │   ├── stopwords_hi.txt
│   │   │   ├── stopwords_hu.txt
│   │   │   ├── stopwords_hy.txt
│   │   │   ├── stopwords_id.txt
│   │   │   ├── stopwords_it.txt
│   │   │   ├── stopwords_ja.txt
│   │   │   ├── stopwords_lv.txt
│   │   │   ├── stopwords_nl.txt
│   │   │   ├── stopwords_no.txt
│   │   │   ├── stopwords_pt.txt
│   │   │   ├── stopwords_ro.txt
│   │   │   ├── stopwords_ru.txt
│   │   │   ├── stopwords_sv.txt
│   │   │   ├── stopwords_th.txt
│   │   │   ├── stopwords_tr.txt
│   │   │   └── userdict_ja.txt
│   │   ├── protwords.txt
│   │   ├── schema.xml
│   │   ├── solrconfig.xml
│   │   ├── stopwords.txt
│   │   └── synonyms.txt
│   └── solr.xml
├── hbase-indexer-server
│   ├── pom.xml
│   └── src
│   ├── it
│   │   ├── java
│   │   │   └── com
│   │   │   └── ngdata
│   │   │   └── hbaseindexer
│   │   │   └── indexer
│   │   │   ├── CsvByteArrayValueMapper.java
│   │   │   ├── IndexerIT.java
│   │   │   └── Waiter.java
│   │   └── resources
│   │   ├── com
│   │   │   └── ngdata
│   │   │   └── hbaseindexer
│   │   │   └── indexer
│   │   │   ├── schema.xml
│   │   │   └── solrconfig.xml
│   │   ├── hbase-site.xml
│   │   └── log4j.properties
│   ├── main
│   │   ├── java
│   │   │   └── com
│   │   │   └── ngdata
│   │   │   └── hbaseindexer
│   │   │   ├── Main.java
│   │   │   ├── master
│   │   │   │   ├── BatchStateUpdater.java
│   │   │   │   └── IndexerMaster.java
│   │   │   ├── rest
│   │   │   │   ├── IndexerDefinitionMessageBodyWriter.java
│   │   │   │   ├── IndexerDefinitionsMessageBodyWriter.java
│   │   │   │   └── IndexerResource.java
│   │   │   └── supervisor
│   │   │   ├── IndexerRegistry.java
│   │   │   ├── IndexerRegistryMBean.java
│   │   │   └── IndexerSupervisor.java
│   │   └── resources
│   │   └── hbase-indexer-default.xml
│   └── test
│   └── java
│   └── com
│   └── ngdata
│   └── hbaseindexer
│   └── master
│   └── BatchStateUpdaterTest.java
├── hbase-sep
│   ├── hbase-sep-api
│   │   ├── pom.xml
│   │   └── src
│   │   └── main
│   │   └── java
│   │   └── com
│   │   └── ngdata
│   │   └── sep
│   │   ├── EventListener.java
│   │   ├── EventPublisher.java
│   │   ├── package-info.java
│   │   ├── PayloadExtractor.java
│   │   ├── SepEvent.java
│   │   └── SepModel.java
│   ├── hbase-sep-demo
│   │   ├── pom.xml
│   │   ├── README.md
│   │   └── src
│   │   └── main
│   │   ├── java
│   │   │   └── com
│   │   │   └── ngdata
│   │   │   └── sep
│   │   │   └── demo
│   │   │   ├── DemoIngester.java
│   │   │   ├── DemoSchema.java
│   │   │   ├── LoggingConsumer.java
│   │   │   └── MyPayload.java
│   │   └── resources
│   │   └── com
│   │   └── ngdata
│   │   └── sep
│   │   └── demo
│   │   └── names
│   │   ├── names.txt
│   │   └── readme.txt
│   ├── hbase-sep-impl
│   │   ├── pom.xml
│   │   └── src
│   │   ├── it
│   │   │   └── java
│   │   │   └── com
│   │   │   └── ngdata
│   │   │   └── sep
│   │   │   └── impl
│   │   │   └── SepConsumerIT.java
│   │   ├── main
│   │   │   └── java
│   │   │   └── com
│   │   │   └── ngdata
│   │   │   └── sep
│   │   │   ├── impl
│   │   │   │   ├── BaseHRegionServer.java
│   │   │   │   ├── BasePayloadExtractor.java
│   │   │   │   ├── HBaseEventPublisher.java
│   │   │   │   ├── SepConsumer.java
│   │   │   │   ├── SepEventExecutor.java
│   │   │   │   ├── SepMetrics.java
│   │   │   │   ├── SepModelImpl.java
│   │   │   │   ├── SepReplicationSource.java
│   │   │   │   └── SepTestUtil.java
│   │   │   └── util
│   │   │   ├── concurrent
│   │   │   │   └── WaitPolicy.java
│   │   │   ├── io
│   │   │   │   └── Closer.java
│   │   │   └── zookeeper
│   │   │   ├── ZkConnectException.java
│   │   │   ├── ZkUtil.java
│   │   │   ├── ZooKeeperImpl.java
│   │   │   ├── ZooKeeperItf.java
│   │   │   └── ZooKeeperOperation.java
│   │   └── test
│   │   ├── java
│   │   │   └── com
│   │   │   └── ngdata
│   │   │   └── sep
│   │   │   └── impl
│   │   │   ├── BasePayloadExtractorTest.java
│   │   │   ├── HBaseEventPublisherTest.java
│   │   │   ├── SepConsumerTest.java
│   │   │   ├── SepEventExecutorTest.java
│   │   │   └── SepModelImplTest.java
│   │   └── resources
│   │   └── hbase-site.xml
│   ├── hbase-sep-tools
│   │   ├── pom.xml
│   │   ├── README.md
│   │   └── src
│   │   └── main
│   │   ├── assembly
│   │   │   └── assembly.xml
│   │   ├── java
│   │   │   └── com
│   │   │   └── ngdata
│   │   │   └── sep
│   │   │   └── tools
│   │   │   └── monitoring
│   │   │   ├── JmxConnections.java
│   │   │   ├── ReplicationStatusCli.java
│   │   │   ├── ReplicationStatus.java
│   │   │   ├── ReplicationStatusReport.java
│   │   │   ├── ReplicationStatusRetriever.java
│   │   │   └── ReplicationWaitCli.java
│   │   └── resources
│   │   └── com
│   │   └── ngdata
│   │   └── sep
│   │   └── tools
│   │   └── monitoring
│   │   └── log4j.properties
│   ├── pom.xml
│   └── README.md
├── LICENSE.txt
├── pom.xml
└── README.md

244 directories, 386 files