大数据mapreduce案例

【实例简介】
大数据mapreduce案例介绍，包括代码解释，详解MRS工作流程
【实例截图】
【核心代码】
mrs-sample-project-1.6.0(1)
└── src
├── hbase-examples
│   ├── conf
│   │   ├── core-site.xml
│   │   ├── hbaseclient.properties
│   │   ├── hbase.keytab
│   │   ├── hbase-site.xml
│   │   ├── hdfs-site.xml
│   │   ├── inputfile.txt
│   │   ├── jaas.conf
│   │   ├── krb5.conf
│   │   └── log4j.properties
│   ├── pom.xml
│   └── src
│   └── main
│   └── java
│   └── com
│   └── huawei
│   ├── bigdata
│   │   └── hbase
│   │   └── examples
│   │   ├── HBaseExample.java
│   │   ├── HFSSample.java
│   │   ├── RestExample.java
│   │   └── TestMain.java
│   └── hadoop
│   └── security
│   └── LoginUtil.java
├── hdfs-examples
│   ├── conf
│   │   ├── core-site.xml
│   │   ├── hdfs.keytab
│   │   ├── hdfs-site.xml
│   │   ├── jaas.conf
│   │   ├── krb5.conf
│   │   └── log4j.properties
│   ├── pom.xml
│   └── src
│   └── main
│   └── java
│   └── com
│   └── huawei
│   ├── bigdata
│   │   └── hdfs
│   │   └── examples
│   │   ├── ColocationExample.java
│   │   ├── HdfsMain.java
│   │   ├── HdfsWriter.java
│   │   └── ParameterException.java
│   └── hadoop
│   └── security
│   └── LoginUtil.java
├── hive-examples
│   ├── conf
│   │   ├── core-site.xml
│   │   ├── hdfs-site.xml
│   │   ├── hiveclient.properties
│   │   ├── hivemetastore-site.xml
│   │   ├── hive-site.xml
│   │   ├── jaas.conf
│   │   ├── krb5.conf
│   │   ├── log4j.properties
│   │   ├── mapred-site.xml
│   │   └── yarn-site.xml
│   ├── pom1.xml
│   ├── pom.xml
│   └── src
│   └── main
│   └── java
│   └── com
│   └── huawei
│   └── bigdata
│   ├── hive
│   │   └── example
│   │   ├── ExampleMain.java
│   │   ├── HCatalogExample.java
│   │   └── JDBCExample.java
│   └── security
│   └── LoginUtil.java
├── kafka-examples
│   ├── conf
│   │   ├── client.properties
│   │   ├── consumer.properties
│   │   ├── kafkaSecurityMode
│   │   ├── log4j.properties
│   │   └── producer.properties
│   ├── pom.xml
│   └── src
│   └── main
│   └── java
│   └── com
│   └── huawei
│   └── bigdata
│   └── kafka
│   └── example
│   ├── Consumer.java
│   ├── ConsumerMultThread.java
│   ├── KafkaProperties.java
│   ├── Old_Consumer.java
│   ├── Old_Producer.java
│   ├── Producer.java
│   ├── ProducerMultThread.java
│   ├── security
│   │   └── LoginUtil.java
│   ├── SimpleConsumerDemo.java
│   └── SimplePartitioner.java
├── mapreduce-examples
│   ├── conf
│   │   ├── core-site.xml
│   │   ├── hbase-site.xml
│   │   ├── hdfs-site.xml
│   │   ├── hiveclient.properties
│   │   ├── hive-site.xml
│   │   ├── jaas_mr.conf
│   │   ├── krb5.conf
│   │   ├── log4j.properties
│   │   ├── mapred-site.xml
│   │   ├── user.keytab
│   │   └── yarn-site.xml
│   ├── pom1.xml
│   ├── pom.xml
│   └── src
│   └── main
│   └── java
│   └── com
│   └── huawei
│   ├── bigdata
│   │   ├── examples
│   │   │   ├── tools
│   │   │   │   ├── FileUploader.java
│   │   │   │   ├── LocalRunner.java
│   │   │   │   └── TarManager.java
│   │   │   └── util
│   │   │   └── JarFinderUtil.java
│   │   └── mapreduce
│   │   └── examples
│   │   ├── FemaleInfoCollector.java
│   │   └── MultiComponentExample.java
│   └── hadoop
│   └── security
│   └── LoginUtil.java
├── spark-examples
│   ├── SparkHbasetoHbaseJavaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   ├── MyRegistrator.java
│   │   │   └── SparkHbasetoHbase.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkHbasetoHbaseScalaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   └── SparkHbasetoHbase.scala
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkHiveODBCExample
│   │   └── SparkHiveODBCExample
│   │   ├── SparkHiveODBCExample
│   │   │   ├── spark_hiveodbc_example.c
│   │   │   ├── SparkHiveODBCExample.vcxproj
│   │   │   ├── SparkHiveODBCExample.vcxproj.filters
│   │   │   └── SparkHiveODBCExample.vcxproj.user
│   │   ├── SparkHiveODBCExample.sdf
│   │   ├── SparkHiveODBCExample.sln
│   │   └── SparkHiveODBCExample.v11.suo
│   ├── SparkHivetoHbaseJavaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   └── SparkHivetoHbase.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkHivetoHbaseScalaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   └── SparkHivetoHbase.scala
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkJavaExample
│   │   ├── conf
│   │   │   ├── log1.txt
│   │   │   └── log2.txt
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   └── FemaleInfoCollection.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkLauncherJavaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   └── bigdata
│   │   └── spark
│   │   └── examples
│   │   ├── ISRRunnable.java
│   │   └── SparkLauncherExample.java
│   ├── SparkLauncherScalaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   └── bigdata
│   │   └── spark
│   │   └── examples
│   │   └── SparkLauncherExample.scala
│   ├── SparkOnHbaseJavaExample
│   │   ├── conf
│   │   │   └── data.txt
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   ├── MyRegistrator.java
│   │   │   ├── TableCreation.java
│   │   │   ├── TableInputData.java
│   │   │   └── TableOutputData.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkOnHbaseScalaExample
│   │   ├── conf
│   │   │   └── data
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   ├── TableCreation.scala
│   │   │   ├── TableInputData.scala
│   │   │   └── TableOutputData.scala
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkPythonExample
│   │   ├── collectFemaleInfo.py
│   │   └── data
│   │   ├── log1.txt
│   │   └── log2.txt
│   ├── SparkScalaExample
│   │   ├── conf
│   │   │   ├── log1.txt
│   │   │   └── log2.txt
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   └── FemaleInfoCollection.scala
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkSQLJavaExample
│   │   ├── conf
│   │   │   ├── log1.txt
│   │   │   └── log2.txt
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   └── FemaleInfoCollection.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkSQLScalaExample
│   │   ├── conf
│   │   │   ├── log1.txt
│   │   │   └── log2.txt
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   └── FemaleInfoCollection.scala
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkStreamingJavaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   ├── FemaleInfoCollectionPrint.java
│   │   │   ├── JavaDstreamKafkaWriter.java
│   │   │   └── StreamingExampleProducer.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkStreamingKafka010JavaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   ├── JavaDstreamKafkaWriter.java
│   │   │   ├── SecurityKafkaWordCount.java
│   │   │   └── StreamingExampleProducer.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkStreamingKafka010ScalaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   ├── DstreamKafkaWriter.scala
│   │   │   ├── SecurityKafkaWordCount.scala
│   │   │   └── StreamingExampleProducer.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkStreamingScalaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   ├── DstreamKafkaWriter.scala
│   │   │   ├── FemaleInfoCollectionPrint.scala
│   │   │   └── StreamingExampleProducer.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkStreamingtoHbaseJavaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   └── streaming
│   │   │   ├── SparkOnStreamingToHbase.java
│   │   │   └── StreamingExampleProducer.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkStreamingtoHbaseScalaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   └── streaming
│   │   │   ├── SparkOnStreamingToHbase.scala
│   │   │   └── StreamingExampleProducer.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   ├── SparkStructuredStreamingJavaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   └── bigdata
│   │   └── spark
│   │   └── examples
│   │   ├── KafkaWordCountProducer.scala
│   │   └── SecurityKafkaWordCount.java
│   ├── SparkStructuredStreamingScalaExample
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   └── bigdata
│   │   └── spark
│   │   └── examples
│   │   ├── KafkaWordCountProducer.scala
│   │   └── SecurityKafkaWordCount.scala
│   ├── SparkThriftServerJavaExample
│   │   ├── conf
│   │   │   └── data
│   │   ├── pom.xml
│   │   └── src
│   │   └── com
│   │   └── huawei
│   │   ├── bigdata
│   │   │   └── spark
│   │   │   └── examples
│   │   │   └── ThriftServerQueriesTest.java
│   │   └── hadoop
│   │   └── security
│   │   └── LoginUtil.java
│   └── SparkThriftServerScalaExample
│   ├── conf
│   │   └── data
│   ├── pom.xml
│   └── src
│   └── com
│   └── huawei
│   ├── bigdata
│   │   └── spark
│   │   └── examples
│   │   └── ThriftServerQueriesTest.scala
│   └── hadoop
│   └── security
│   └── LoginUtil.java
└── storm-examples
├── pom.xml
├── src
│   └── main
│   ├── java
│   │   └── com
│   │   └── huawei
│   │   └── storm
│   │   └── example
│   │   ├── common
│   │   │   ├── AuthenticationType.java
│   │   │   ├── PrinterBolt.java
│   │   │   ├── RandomIntegerSpout.java
│   │   │   ├── RandomSentenceSpout.java
│   │   │   ├── SplitSentenceBolt.java
│   │   │   └── SubmitType.java
│   │   ├── hbase
│   │   │   ├── SimpleHBaseTopology.java
│   │   │   ├── WordCounter.java
│   │   │   └── WordSpout.java
│   │   ├── hdfs
│   │   │   └── SimpleHDFSTopology.java
│   │   ├── jdbc
│   │   │   ├── JDBCSpout.java
│   │   │   └── SimpleJDBCTopology.java
│   │   ├── kafka
│   │   │   ├── CountBolt.java
│   │   │   ├── NewKafkaTopology.java
│   │   │   ├── SimpleKafkaTopology.java
│   │   │   └── TopicsTupleBuilder.java
│   │   ├── obs
│   │   │   └── SimpleOBSTopology.java
│   │   ├── security
│   │   │   └── LoginUtil.java
│   │   ├── stateful
│   │   │   └── StatefulTopology.java
│   │   ├── window
│   │   │   ├── SlidingWindowSumBolt.java
│   │   │   └── SlidingWindowTopology.java
│   │   └── wordcount
│   │   ├── WordCountBolt.java
│   │   └── WordCountTopology.java
│   └── resources
│   └── flux-examples
│   ├── hbase.properties
│   ├── kafka.properties
│   ├── multilang.yaml
│   ├── simple_hbase.yaml
│   ├── simple_hdfs.yaml
│   ├── simple_kafka.yaml
│   └── simple_wordcount.yaml
└── tools
└── storm-jartool.cmd

289 directories, 214 files