实例介绍
【实例简介】
spark-2.1.0-bin-hadoop2.7.tgz linux 安装文件 。
【实例截图】
【核心代码】
4744300845230931188.tgz
└── spark-2.1.0-bin-hadoop2.7
├── bin
│ ├── beeline
│ ├── beeline.cmd
│ ├── find-spark-home
│ ├── load-spark-env.cmd
│ ├── load-spark-env.sh
│ ├── pyspark
│ ├── pyspark2.cmd
│ ├── pyspark.cmd
│ ├── run-example
│ ├── run-example.cmd
│ ├── spark-class
│ ├── spark-class2.cmd
│ ├── spark-class.cmd
│ ├── sparkR
│ ├── sparkR2.cmd
│ ├── sparkR.cmd
│ ├── spark-shell
│ ├── spark-shell2.cmd
│ ├── spark-shell.cmd
│ ├── spark-sql
│ ├── spark-submit
│ ├── spark-submit2.cmd
│ └── spark-submit.cmd
├── conf
│ ├── docker.properties.template
│ ├── fairscheduler.xml.template
│ ├── log4j.properties.template
│ ├── metrics.properties.template
│ ├── slaves.template
│ ├── spark-defaults.conf.template
│ └── spark-env.sh.template
├── data
│ ├── graphx
│ │ ├── followers.txt
│ │ └── users.txt
│ ├── mllib
│ │ ├── als
│ │ │ ├── sample_movielens_ratings.txt
│ │ │ └── test.data
│ │ ├── gmm_data.txt
│ │ ├── kmeans_data.txt
│ │ ├── pagerank_data.txt
│ │ ├── pic_data.txt
│ │ ├── ridge-data
│ │ │ └── lpsa.data
│ │ ├── sample_binary_classification_data.txt
│ │ ├── sample_fpgrowth.txt
│ │ ├── sample_isotonic_regression_libsvm_data.txt
│ │ ├── sample_kmeans_data.txt
│ │ ├── sample_lda_data.txt
│ │ ├── sample_lda_libsvm_data.txt
│ │ ├── sample_libsvm_data.txt
│ │ ├── sample_linear_regression_data.txt
│ │ ├── sample_movielens_data.txt
│ │ ├── sample_multiclass_classification_data.txt
│ │ ├── sample_svm_data.txt
│ │ └── streaming_kmeans_data_test.txt
│ └── streaming
│ └── AFINN-111.txt
├── examples
│ ├── jars
│ │ ├── scopt_2.11-3.3.0.jar
│ │ └── spark-examples_2.11-2.1.0.jar
│ └── src
│ └── main
│ ├── java
│ │ └── org
│ │ └── apache
│ │ └── spark
│ │ └── examples
│ │ ├── JavaHdfsLR.java
│ │ ├── JavaLogQuery.java
│ │ ├── JavaPageRank.java
│ │ ├── JavaSparkPi.java
│ │ ├── JavaStatusTrackerDemo.java
│ │ ├── JavaTC.java
│ │ ├── JavaWordCount.java
│ │ ├── ml
│ │ │ ├── JavaAFTSurvivalRegressionExample.java
│ │ │ ├── JavaALSExample.java
│ │ │ ├── JavaBinarizerExample.java
│ │ │ ├── JavaBisectingKMeansExample.java
│ │ │ ├── JavaBucketedRandomProjectionLSHExample.java
│ │ │ ├── JavaBucketizerExample.java
│ │ │ ├── JavaChiSqSelectorExample.java
│ │ │ ├── JavaCountVectorizerExample.java
│ │ │ ├── JavaDCTExample.java
│ │ │ ├── JavaDecisionTreeClassificationExample.java
│ │ │ ├── JavaDecisionTreeRegressionExample.java
│ │ │ ├── JavaDocument.java
│ │ │ ├── JavaElementwiseProductExample.java
│ │ │ ├── JavaEstimatorTransformerParamExample.java
│ │ │ ├── JavaGaussianMixtureExample.java
│ │ │ ├── JavaGeneralizedLinearRegressionExample.java
│ │ │ ├── JavaGradientBoostedTreeClassifierExample.java
│ │ │ ├── JavaGradientBoostedTreeRegressorExample.java
│ │ │ ├── JavaIndexToStringExample.java
│ │ │ ├── JavaInteractionExample.java
│ │ │ ├── JavaIsotonicRegressionExample.java
│ │ │ ├── JavaKMeansExample.java
│ │ │ ├── JavaLabeledDocument.java
│ │ │ ├── JavaLDAExample.java
│ │ │ ├── JavaLinearRegressionWithElasticNetExample.java
│ │ │ ├── JavaLogisticRegressionSummaryExample.java
│ │ │ ├── JavaLogisticRegressionWithElasticNetExample.java
│ │ │ ├── JavaMaxAbsScalerExample.java
│ │ │ ├── JavaMinHashLSHExample.java
│ │ │ ├── JavaMinMaxScalerExample.java
│ │ │ ├── JavaModelSelectionViaCrossValidationExample.java
│ │ │ ├── JavaModelSelectionViaTrainValidationSplitExample.java
│ │ │ ├── JavaMulticlassLogisticRegressionWithElasticNetExample.java
│ │ │ ├── JavaMultilayerPerceptronClassifierExample.java
│ │ │ ├── JavaNaiveBayesExample.java
│ │ │ ├── JavaNGramExample.java
│ │ │ ├── JavaNormalizerExample.java
│ │ │ ├── JavaOneHotEncoderExample.java
│ │ │ ├── JavaOneVsRestExample.java
│ │ │ ├── JavaPCAExample.java
│ │ │ ├── JavaPipelineExample.java
│ │ │ ├── JavaPolynomialExpansionExample.java
│ │ │ ├── JavaQuantileDiscretizerExample.java
│ │ │ ├── JavaRandomForestClassifierExample.java
│ │ │ ├── JavaRandomForestRegressorExample.java
│ │ │ ├── JavaRFormulaExample.java
│ │ │ ├── JavaSQLTransformerExample.java
│ │ │ ├── JavaStandardScalerExample.java
│ │ │ ├── JavaStopWordsRemoverExample.java
│ │ │ ├── JavaStringIndexerExample.java
│ │ │ ├── JavaTfIdfExample.java
│ │ │ ├── JavaTokenizerExample.java
│ │ │ ├── JavaVectorAssemblerExample.java
│ │ │ ├── JavaVectorIndexerExample.java
│ │ │ ├── JavaVectorSlicerExample.java
│ │ │ └── JavaWord2VecExample.java
│ │ ├── mllib
│ │ │ ├── JavaALS.java
│ │ │ ├── JavaAssociationRulesExample.java
│ │ │ ├── JavaBinaryClassificationMetricsExample.java
│ │ │ ├── JavaBisectingKMeansExample.java
│ │ │ ├── JavaChiSqSelectorExample.java
│ │ │ ├── JavaCorrelationsExample.java
│ │ │ ├── JavaDecisionTreeClassificationExample.java
│ │ │ ├── JavaDecisionTreeRegressionExample.java
│ │ │ ├── JavaElementwiseProductExample.java
│ │ │ ├── JavaGaussianMixtureExample.java
│ │ │ ├── JavaGradientBoostingClassificationExample.java
│ │ │ ├── JavaGradientBoostingRegressionExample.java
│ │ │ ├── JavaHypothesisTestingExample.java
│ │ │ ├── JavaHypothesisTestingKolmogorovSmirnovTestExample.java
│ │ │ ├── JavaIsotonicRegressionExample.java
│ │ │ ├── JavaKernelDensityEstimationExample.java
│ │ │ ├── JavaKMeansExample.java
│ │ │ ├── JavaLatentDirichletAllocationExample.java
│ │ │ ├── JavaLBFGSExample.java
│ │ │ ├── JavaLinearRegressionWithSGDExample.java
│ │ │ ├── JavaLogisticRegressionWithLBFGSExample.java
│ │ │ ├── JavaMulticlassClassificationMetricsExample.java
│ │ │ ├── JavaMultiLabelClassificationMetricsExample.java
│ │ │ ├── JavaNaiveBayesExample.java
│ │ │ ├── JavaPCAExample.java
│ │ │ ├── JavaPowerIterationClusteringExample.java
│ │ │ ├── JavaPrefixSpanExample.java
│ │ │ ├── JavaRandomForestClassificationExample.java
│ │ │ ├── JavaRandomForestRegressionExample.java
│ │ │ ├── JavaRankingMetricsExample.java
│ │ │ ├── JavaRecommendationExample.java
│ │ │ ├── JavaRegressionMetricsExample.java
│ │ │ ├── JavaSimpleFPGrowth.java
│ │ │ ├── JavaStratifiedSamplingExample.java
│ │ │ ├── JavaStreamingTestExample.java
│ │ │ ├── JavaSummaryStatisticsExample.java
│ │ │ ├── JavaSVDExample.java
│ │ │ └── JavaSVMWithSGDExample.java
│ │ ├── sql
│ │ │ ├── hive
│ │ │ │ └── JavaSparkHiveExample.java
│ │ │ ├── JavaSparkSQLExample.java
│ │ │ ├── JavaSQLDataSourceExample.java
│ │ │ └── streaming
│ │ │ ├── JavaStructuredKafkaWordCount.java
│ │ │ ├── JavaStructuredNetworkWordCount.java
│ │ │ └── JavaStructuredNetworkWordCountWindowed.java
│ │ └── streaming
│ │ ├── JavaCustomReceiver.java
│ │ ├── JavaDirectKafkaWordCount.java
│ │ ├── JavaFlumeEventCount.java
│ │ ├── JavaKafkaWordCount.java
│ │ ├── JavaNetworkWordCount.java
│ │ ├── JavaQueueStream.java
│ │ ├── JavaRecord.java
│ │ ├── JavaRecoverableNetworkWordCount.java
│ │ ├── JavaSqlNetworkWordCount.java
│ │ └── JavaStatefulNetworkWordCount.java
│ ├── python
│ │ ├── als.py
│ │ ├── avro_inputformat.py
│ │ ├── kmeans.py
│ │ ├── logistic_regression.py
│ │ ├── ml
│ │ │ ├── aft_survival_regression.py
│ │ │ ├── als_example.py
│ │ │ ├── binarizer_example.py
│ │ │ ├── bisecting_k_means_example.py
│ │ │ ├── bucketizer_example.py
│ │ │ ├── chisq_selector_example.py
│ │ │ ├── count_vectorizer_example.py
│ │ │ ├── cross_validator.py
│ │ │ ├── dataframe_example.py
│ │ │ ├── dct_example.py
│ │ │ ├── decision_tree_classification_example.py
│ │ │ ├── decision_tree_regression_example.py
│ │ │ ├── elementwise_product_example.py
│ │ │ ├── estimator_transformer_param_example.py
│ │ │ ├── gaussian_mixture_example.py
│ │ │ ├── generalized_linear_regression_example.py
│ │ │ ├── gradient_boosted_tree_classifier_example.py
│ │ │ ├── gradient_boosted_tree_regressor_example.py
│ │ │ ├── index_to_string_example.py
│ │ │ ├── isotonic_regression_example.py
│ │ │ ├── kmeans_example.py
│ │ │ ├── lda_example.py
│ │ │ ├── linear_regression_with_elastic_net.py
│ │ │ ├── logistic_regression_summary_example.py
│ │ │ ├── logistic_regression_with_elastic_net.py
│ │ │ ├── max_abs_scaler_example.py
│ │ │ ├── min_max_scaler_example.py
│ │ │ ├── multiclass_logistic_regression_with_elastic_net.py
│ │ │ ├── multilayer_perceptron_classification.py
│ │ │ ├── naive_bayes_example.py
│ │ │ ├── n_gram_example.py
│ │ │ ├── normalizer_example.py
│ │ │ ├── onehot_encoder_example.py
│ │ │ ├── one_vs_rest_example.py
│ │ │ ├── pca_example.py
│ │ │ ├── pipeline_example.py
│ │ │ ├── polynomial_expansion_example.py
│ │ │ ├── quantile_discretizer_example.py
│ │ │ ├── random_forest_classifier_example.py
│ │ │ ├── random_forest_regressor_example.py
│ │ │ ├── rformula_example.py
│ │ │ ├── sql_transformer.py
│ │ │ ├── standard_scaler_example.py
│ │ │ ├── stopwords_remover_example.py
│ │ │ ├── string_indexer_example.py
│ │ │ ├── tf_idf_example.py
│ │ │ ├── tokenizer_example.py
│ │ │ ├── train_validation_split.py
│ │ │ ├── vector_assembler_example.py
│ │ │ ├── vector_indexer_example.py
│ │ │ ├── vector_slicer_example.py
│ │ │ └── word2vec_example.py
│ │ ├── mllib
│ │ │ ├── binary_classification_metrics_example.py
│ │ │ ├── bisecting_k_means_example.py
│ │ │ ├── correlations_example.py
│ │ │ ├── correlations.py
│ │ │ ├── decision_tree_classification_example.py
│ │ │ ├── decision_tree_regression_example.py
│ │ │ ├── elementwise_product_example.py
│ │ │ ├── fpgrowth_example.py
│ │ │ ├── gaussian_mixture_example.py
│ │ │ ├── gaussian_mixture_model.py
│ │ │ ├── gradient_boosting_classification_example.py
│ │ │ ├── gradient_boosting_regression_example.py
│ │ │ ├── hypothesis_testing_example.py
│ │ │ ├── hypothesis_testing_kolmogorov_smirnov_test_example.py
│ │ │ ├── isotonic_regression_example.py
│ │ │ ├── kernel_density_estimation_example.py
│ │ │ ├── k_means_example.py
│ │ │ ├── kmeans.py
│ │ │ ├── latent_dirichlet_allocation_example.py
│ │ │ ├── linear_regression_with_sgd_example.py
│ │ │ ├── logistic_regression.py
│ │ │ ├── logistic_regression_with_lbfgs_example.py
│ │ │ ├── multi_class_metrics_example.py
│ │ │ ├── multi_label_metrics_example.py
│ │ │ ├── naive_bayes_example.py
│ │ │ ├── normalizer_example.py
│ │ │ ├── power_iteration_clustering_example.py
│ │ │ ├── random_forest_classification_example.py
│ │ │ ├── random_forest_regression_example.py
│ │ │ ├── random_rdd_generation.py
│ │ │ ├── ranking_metrics_example.py
│ │ │ ├── recommendation_example.py
│ │ │ ├── regression_metrics_example.py
│ │ │ ├── sampled_rdds.py
│ │ │ ├── standard_scaler_example.py
│ │ │ ├── stratified_sampling_example.py
│ │ │ ├── streaming_k_means_example.py
│ │ │ ├── streaming_linear_regression_example.py
│ │ │ ├── summary_statistics_example.py
│ │ │ ├── svm_with_sgd_example.py
│ │ │ ├── tf_idf_example.py
│ │ │ ├── word2vec_example.py
│ │ │ └── word2vec.py
│ │ ├── pagerank.py
│ │ ├── parquet_inputformat.py
│ │ ├── pi.py
│ │ ├── sort.py
│ │ ├── sql
│ │ │ ├── basic.py
│ │ │ ├── datasource.py
│ │ │ ├── hive.py
│ │ │ └── streaming
│ │ │ ├── structured_kafka_wordcount.py
│ │ │ ├── structured_network_wordcount.py
│ │ │ └── structured_network_wordcount_windowed.py
│ │ ├── status_api_demo.py
│ │ ├── streaming
│ │ │ ├── direct_kafka_wordcount.py
│ │ │ ├── flume_wordcount.py
│ │ │ ├── hdfs_wordcount.py
│ │ │ ├── kafka_wordcount.py
│ │ │ ├── network_wordcount.py
│ │ │ ├── network_wordjoinsentiments.py
│ │ │ ├── queue_stream.py
│ │ │ ├── recoverable_network_wordcount.py
│ │ │ ├── sql_network_wordcount.py
│ │ │ └── stateful_network_wordcount.py
│ │ ├── transitive_closure.py
│ │ └── wordcount.py
│ ├── r
│ │ ├── dataframe.R
│ │ ├── data-manipulation.R
│ │ ├── ml
│ │ │ ├── als.R
│ │ │ ├── gaussianMixture.R
│ │ │ ├── gbt.R
│ │ │ ├── glm.R
│ │ │ ├── isoreg.R
│ │ │ ├── kmeans.R
│ │ │ ├── kstest.R
│ │ │ ├── lda.R
│ │ │ ├── logit.R
│ │ │ ├── mlp.R
│ │ │ ├── ml.R
│ │ │ ├── naiveBayes.R
│ │ │ ├── randomForest.R
│ │ │ └── survreg.R
│ │ └── RSparkSQLExample.R
│ ├── resources
│ │ ├── full_user.avsc
│ │ ├── kv1.txt
│ │ ├── people.json
│ │ ├── people.txt
│ │ ├── user.avsc
│ │ ├── users.avro
│ │ └── users.parquet
│ └── scala
│ └── org
│ └── apache
│ └── spark
│ └── examples
│ ├── BroadcastTest.scala
│ ├── DFSReadWriteTest.scala
│ ├── DriverSubmissionTest.scala
│ ├── ExceptionHandlingTest.scala
│ ├── graphx
│ │ ├── AggregateMessagesExample.scala
│ │ ├── Analytics.scala
│ │ ├── ComprehensiveExample.scala
│ │ ├── ConnectedComponentsExample.scala
│ │ ├── LiveJournalPageRank.scala
│ │ ├── PageRankExample.scala
│ │ ├── SSSPExample.scala
│ │ ├── SynthBenchmark.scala
│ │ └── TriangleCountingExample.scala
│ ├── GroupByTest.scala
│ ├── HdfsTest.scala
│ ├── LocalALS.scala
│ ├── LocalFileLR.scala
│ ├── LocalKMeans.scala
│ ├── LocalLR.scala
│ ├── LocalPi.scala
│ ├── LogQuery.scala
│ ├── ml
│ │ ├── AFTSurvivalRegressionExample.scala
│ │ ├── ALSExample.scala
│ │ ├── BinarizerExample.scala
│ │ ├── BisectingKMeansExample.scala
│ │ ├── BucketedRandomProjectionLSHExample.scala
│ │ ├── BucketizerExample.scala
│ │ ├── ChiSqSelectorExample.scala
│ │ ├── CountVectorizerExample.scala
│ │ ├── DataFrameExample.scala
│ │ ├── DCTExample.scala
│ │ ├── DecisionTreeClassificationExample.scala
│ │ ├── DecisionTreeExample.scala
│ │ ├── DecisionTreeRegressionExample.scala
│ │ ├── DeveloperApiExample.scala
│ │ ├── ElementwiseProductExample.scala
│ │ ├── EstimatorTransformerParamExample.scala
│ │ ├── GaussianMixtureExample.scala
│ │ ├── GBTExample.scala
│ │ ├── GeneralizedLinearRegressionExample.scala
│ │ ├── GradientBoostedTreeClassifierExample.scala
│ │ ├── GradientBoostedTreeRegressorExample.scala
│ │ ├── IndexToStringExample.scala
│ │ ├── InteractionExample.scala
│ │ ├── IsotonicRegressionExample.scala
│ │ ├── KMeansExample.scala
│ │ ├── LDAExample.scala
│ │ ├── LinearRegressionExample.scala
│ │ ├── LinearRegressionWithElasticNetExample.scala
│ │ ├── LogisticRegressionExample.scala
│ │ ├── LogisticRegressionSummaryExample.scala
│ │ ├── LogisticRegressionWithElasticNetExample.scala
│ │ ├── MaxAbsScalerExample.scala
│ │ ├── MinHashLSHExample.scala
│ │ ├── MinMaxScalerExample.scala
│ │ ├── ModelSelectionViaCrossValidationExample.scala
│ │ ├── ModelSelectionViaTrainValidationSplitExample.scala
│ │ ├── MulticlassLogisticRegressionWithElasticNetExample.scala
│ │ ├── MultilayerPerceptronClassifierExample.scala
│ │ ├── NaiveBayesExample.scala
│ │ ├── NGramExample.scala
│ │ ├── NormalizerExample.scala
│ │ ├── OneHotEncoderExample.scala
│ │ ├── OneVsRestExample.scala
│ │ ├── PCAExample.scala
│ │ ├── PipelineExample.scala
│ │ ├── PolynomialExpansionExample.scala
│ │ ├── QuantileDiscretizerExample.scala
│ │ ├── RandomForestClassifierExample.scala
│ │ ├── RandomForestExample.scala
│ │ ├── RandomForestRegressorExample.scala
│ │ ├── RFormulaExample.scala
│ │ ├── SQLTransformerExample.scala
│ │ ├── StandardScalerExample.scala
│ │ ├── StopWordsRemoverExample.scala
│ │ ├── StringIndexerExample.scala
│ │ ├── TfIdfExample.scala
│ │ ├── TokenizerExample.scala
│ │ ├── UnaryTransformerExample.scala
│ │ ├── VectorAssemblerExample.scala
│ │ ├── VectorIndexerExample.scala
│ │ ├── VectorSlicerExample.scala
│ │ └── Word2VecExample.scala
│ ├── mllib
│ │ ├── AbstractParams.scala
│ │ ├── AssociationRulesExample.scala
│ │ ├── BinaryClassificationMetricsExample.scala
│ │ ├── BinaryClassification.scala
│ │ ├── BisectingKMeansExample.scala
│ │ ├── ChiSqSelectorExample.scala
│ │ ├── CorrelationsExample.scala
│ │ ├── Correlations.scala
│ │ ├── CosineSimilarity.scala
│ │ ├── DecisionTreeClassificationExample.scala
│ │ ├── DecisionTreeRegressionExample.scala
│ │ ├── DecisionTreeRunner.scala
│ │ ├── DenseKMeans.scala
│ │ ├── ElementwiseProductExample.scala
│ │ ├── FPGrowthExample.scala
│ │ ├── GaussianMixtureExample.scala
│ │ ├── GradientBoostedTreesRunner.scala
│ │ ├── GradientBoostingClassificationExample.scala
│ │ ├── GradientBoostingRegressionExample.scala
│ │ ├── HypothesisTestingExample.scala
│ │ ├── HypothesisTestingKolmogorovSmirnovTestExample.scala
│ │ ├── IsotonicRegressionExample.scala
│ │ ├── KernelDensityEstimationExample.scala
│ │ ├── KMeansExample.scala
│ │ ├── LatentDirichletAllocationExample.scala
│ │ ├── LBFGSExample.scala
│ │ ├── LDAExample.scala
│ │ ├── LinearRegression.scala
│ │ ├── LinearRegressionWithSGDExample.scala
│ │ ├── LogisticRegressionWithLBFGSExample.scala
│ │ ├── MovieLensALS.scala
│ │ ├── MulticlassMetricsExample.scala
│ │ ├── MultiLabelMetricsExample.scala
│ │ ├── MultivariateSummarizer.scala
│ │ ├── NaiveBayesExample.scala
│ │ ├── NormalizerExample.scala
│ │ ├── PCAExample.scala
│ │ ├── PCAOnRowMatrixExample.scala
│ │ ├── PCAOnSourceVectorExample.scala
│ │ ├── PMMLModelExportExample.scala
│ │ ├── PowerIterationClusteringExample.scala
│ │ ├── PrefixSpanExample.scala
│ │ ├── RandomForestClassificationExample.scala
│ │ ├── RandomForestRegressionExample.scala
│ │ ├── RandomRDDGeneration.scala
│ │ ├── RankingMetricsExample.scala
│ │ ├── RecommendationExample.scala
│ │ ├── RegressionMetricsExample.scala
│ │ ├── SampledRDDs.scala
│ │ ├── SimpleFPGrowth.scala
│ │ ├── SparseNaiveBayes.scala
│ │ ├── StandardScalerExample.scala
│ │ ├── StratifiedSamplingExample.scala
│ │ ├── StreamingKMeansExample.scala
│ │ ├── StreamingLinearRegressionExample.scala
│ │ ├── StreamingLogisticRegression.scala
│ │ ├── StreamingTestExample.scala
│ │ ├── SummaryStatisticsExample.scala
│ │ ├── SVDExample.scala
│ │ ├── SVMWithSGDExample.scala
│ │ ├── TallSkinnyPCA.scala
│ │ ├── TallSkinnySVD.scala
│ │ ├── TFIDFExample.scala
│ │ └── Word2VecExample.scala
│ ├── MultiBroadcastTest.scala
│ ├── pythonconverters
│ │ └── AvroConverters.scala
│ ├── SimpleSkewedGroupByTest.scala
│ ├── SkewedGroupByTest.scala
│ ├── SparkALS.scala
│ ├── SparkHdfsLR.scala
│ ├── SparkKMeans.scala
│ ├── SparkLR.scala
│ ├── SparkPageRank.scala
│ ├── SparkPi.scala
│ ├── SparkTC.scala
│ ├── sql
│ │ ├── hive
│ │ │ └── SparkHiveExample.scala
│ │ ├── RDDRelation.scala
│ │ ├── SparkSQLExample.scala
│ │ ├── SQLDataSourceExample.scala
│ │ └── streaming
│ │ ├── StructuredKafkaWordCount.scala
│ │ ├── StructuredNetworkWordCount.scala
│ │ └── StructuredNetworkWordCountWindowed.scala
│ └── streaming
│ ├── clickstream
│ │ ├── PageViewGenerator.scala
│ │ └── PageViewStream.scala
│ ├── CustomReceiver.scala
│ ├── DirectKafkaWordCount.scala
│ ├── FlumeEventCount.scala
│ ├── FlumePollingEventCount.scala
│ ├── HdfsWordCount.scala
│ ├── KafkaWordCount.scala
│ ├── NetworkWordCount.scala
│ ├── QueueStream.scala
│ ├── RawNetworkGrep.scala
│ ├── RecoverableNetworkWordCount.scala
│ ├── SqlNetworkWordCount.scala
│ ├── StatefulNetworkWordCount.scala
│ └── StreamingExamples.scala
├── jars
│ ├── activation-1.1.1.jar
│ ├── antlr-2.7.7.jar
│ ├── antlr4-runtime-4.5.3.jar
│ ├── antlr-runtime-3.4.jar
│ ├── aopalliance-1.0.jar
│ ├── aopalliance-repackaged-2.4.0-b34.jar
│ ├── apacheds-i18n-2.0.0-M15.jar
│ ├── apacheds-kerberos-codec-2.0.0-M15.jar
│ ├── apache-log4j-extras-1.2.17.jar
│ ├── api-asn1-api-1.0.0-M20.jar
│ ├── api-util-1.0.0-M20.jar
│ ├── arpack_combined_all-0.1.jar
│ ├── avro-1.7.7.jar
│ ├── avro-ipc-1.7.7.jar
│ ├── avro-mapred-1.7.7-hadoop2.jar
│ ├── base64-2.3.8.jar
│ ├── bcprov-jdk15on-1.51.jar
│ ├── bonecp-0.8.0.RELEASE.jar
│ ├── breeze_2.11-0.12.jar
│ ├── breeze-macros_2.11-0.12.jar
│ ├── calcite-avatica-1.2.0-incubating.jar
│ ├── calcite-core-1.2.0-incubating.jar
│ ├── calcite-linq4j-1.2.0-incubating.jar
│ ├── chill_2.11-0.8.0.jar
│ ├── chill-java-0.8.0.jar
│ ├── commons-beanutils-1.7.0.jar
│ ├── commons-beanutils-core-1.8.0.jar
│ ├── commons-cli-1.2.jar
│ ├── commons-codec-1.10.jar
│ ├── commons-collections-3.2.2.jar
│ ├── commons-compiler-3.0.0.jar
│ ├── commons-compress-1.4.1.jar
│ ├── commons-configuration-1.6.jar
│ ├── commons-crypto-1.0.0.jar
│ ├── commons-dbcp-1.4.jar
│ ├── commons-digester-1.8.jar
│ ├── commons-httpclient-3.1.jar
│ ├── commons-io-2.4.jar
│ ├── commons-lang-2.6.jar
│ ├── commons-lang3-3.5.jar
│ ├── commons-logging-1.1.3.jar
│ ├── commons-math3-3.4.1.jar
│ ├── commons-net-2.2.jar
│ ├── commons-pool-1.5.4.jar
│ ├── compress-lzf-1.0.3.jar
│ ├── core-1.1.2.jar
│ ├── curator-client-2.6.0.jar
│ ├── curator-framework-2.6.0.jar
│ ├── curator-recipes-2.6.0.jar
│ ├── datanucleus-api-jdo-3.2.6.jar
│ ├── datanucleus-core-3.2.10.jar
│ ├── datanucleus-rdbms-3.2.9.jar
│ ├── derby-10.12.1.1.jar
│ ├── eigenbase-properties-1.1.5.jar
│ ├── gson-2.2.4.jar
│ ├── guava-14.0.1.jar
│ ├── guice-3.0.jar
│ ├── guice-servlet-3.0.jar
│ ├── hadoop-annotations-2.7.3.jar
│ ├── hadoop-auth-2.7.3.jar
│ ├── hadoop-client-2.7.3.jar
│ ├── hadoop-common-2.7.3.jar
│ ├── hadoop-hdfs-2.7.3.jar
│ ├── hadoop-mapreduce-client-app-2.7.3.jar
│ ├── hadoop-mapreduce-client-common-2.7.3.jar
│ ├── hadoop-mapreduce-client-core-2.7.3.jar
│ ├── hadoop-mapreduce-client-jobclient-2.7.3.jar
│ ├── hadoop-mapreduce-client-shuffle-2.7.3.jar
│ ├── hadoop-yarn-api-2.7.3.jar
│ ├── hadoop-yarn-client-2.7.3.jar
│ ├── hadoop-yarn-common-2.7.3.jar
│ ├── hadoop-yarn-server-common-2.7.3.jar
│ ├── hadoop-yarn-server-web-proxy-2.7.3.jar
│ ├── hive-beeline-1.2.1.spark2.jar
│ ├── hive-cli-1.2.1.spark2.jar
│ ├── hive-exec-1.2.1.spark2.jar
│ ├── hive-jdbc-1.2.1.spark2.jar
│ ├── hive-metastore-1.2.1.spark2.jar
│ ├── hk2-api-2.4.0-b34.jar
│ ├── hk2-locator-2.4.0-b34.jar
│ ├── hk2-utils-2.4.0-b34.jar
│ ├── htrace-core-3.1.0-incubating.jar
│ ├── httpclient-4.5.2.jar
│ ├── httpcore-4.4.4.jar
│ ├── ivy-2.4.0.jar
│ ├── jackson-annotations-2.6.5.jar
│ ├── jackson-core-2.6.5.jar
│ ├── jackson-core-asl-1.9.13.jar
│ ├── jackson-databind-2.6.5.jar
│ ├── jackson-jaxrs-1.9.13.jar
│ ├── jackson-mapper-asl-1.9.13.jar
│ ├── jackson-module-paranamer-2.6.5.jar
│ ├── jackson-module-scala_2.11-2.6.5.jar
│ ├── jackson-xc-1.9.13.jar
│ ├── janino-3.0.0.jar
│ ├── JavaEWAH-0.3.2.jar
│ ├── javassist-3.18.1-GA.jar
│ ├── javax.annotation-api-1.2.jar
│ ├── javax.inject-1.jar
│ ├── javax.inject-2.4.0-b34.jar
│ ├── java-xmlbuilder-1.0.jar
│ ├── javax.servlet-api-3.1.0.jar
│ ├── javax.ws.rs-api-2.0.1.jar
│ ├── javolution-5.5.1.jar
│ ├── jaxb-api-2.2.2.jar
│ ├── jcl-over-slf4j-1.7.16.jar
│ ├── jdo-api-3.0.1.jar
│ ├── jersey-client-2.22.2.jar
│ ├── jersey-common-2.22.2.jar
│ ├── jersey-container-servlet-2.22.2.jar
│ ├── jersey-container-servlet-core-2.22.2.jar
│ ├── jersey-guava-2.22.2.jar
│ ├── jersey-media-jaxb-2.22.2.jar
│ ├── jersey-server-2.22.2.jar
│ ├── jets3t-0.9.3.jar
│ ├── jetty-6.1.26.jar
│ ├── jetty-util-6.1.26.jar
│ ├── jline-2.12.1.jar
│ ├── joda-time-2.9.3.jar
│ ├── jodd-core-3.5.2.jar
│ ├── jpam-1.1.jar
│ ├── json4s-ast_2.11-3.2.11.jar
│ ├── json4s-core_2.11-3.2.11.jar
│ ├── json4s-jackson_2.11-3.2.11.jar
│ ├── jsp-api-2.1.jar
│ ├── jsr305-1.3.9.jar
│ ├── jta-1.1.jar
│ ├── jtransforms-2.4.0.jar
│ ├── jul-to-slf4j-1.7.16.jar
│ ├── kryo-shaded-3.0.3.jar
│ ├── leveldbjni-all-1.8.jar
│ ├── libfb303-0.9.2.jar
│ ├── libthrift-0.9.2.jar
│ ├── log4j-1.2.17.jar
│ ├── lz4-1.3.0.jar
│ ├── mail-1.4.7.jar
│ ├── mesos-1.0.0-shaded-protobuf.jar
│ ├── metrics-core-3.1.2.jar
│ ├── metrics-graphite-3.1.2.jar
│ ├── metrics-json-3.1.2.jar
│ ├── metrics-jvm-3.1.2.jar
│ ├── minlog-1.3.0.jar
│ ├── mx4j-3.0.2.jar
│ ├── netty-3.8.0.Final.jar
│ ├── netty-all-4.0.42.Final.jar
│ ├── objenesis-2.1.jar
│ ├── opencsv-2.3.jar
│ ├── oro-2.0.8.jar
│ ├── osgi-resource-locator-1.0.1.jar
│ ├── paranamer-2.3.jar
│ ├── parquet-column-1.8.1.jar
│ ├── parquet-common-1.8.1.jar
│ ├── parquet-encoding-1.8.1.jar
│ ├── parquet-format-2.3.0-incubating.jar
│ ├── parquet-hadoop-1.8.1.jar
│ ├── parquet-hadoop-bundle-1.6.0.jar
│ ├── parquet-jackson-1.8.1.jar
│ ├── pmml-model-1.2.15.jar
│ ├── pmml-schema-1.2.15.jar
│ ├── protobuf-java-2.5.0.jar
│ ├── py4j-0.10.4.jar
│ ├── pyrolite-4.13.jar
│ ├── RoaringBitmap-0.5.11.jar
│ ├── scala-compiler-2.11.8.jar
│ ├── scala-library-2.11.8.jar
│ ├── scalap-2.11.8.jar
│ ├── scala-parser-combinators_2.11-1.0.4.jar
│ ├── scala-reflect-2.11.8.jar
│ ├── scala-xml_2.11-1.0.2.jar
│ ├── shapeless_2.11-2.0.0.jar
│ ├── slf4j-api-1.7.16.jar
│ ├── slf4j-log4j12-1.7.16.jar
│ ├── snappy-0.2.jar
│ ├── snappy-java-1.1.2.6.jar
│ ├── spark-catalyst_2.11-2.1.0.jar
│ ├── spark-core_2.11-2.1.0.jar
│ ├── spark-graphx_2.11-2.1.0.jar
│ ├── spark-hive_2.11-2.1.0.jar
│ ├── spark-hive-thriftserver_2.11-2.1.0.jar
│ ├── spark-launcher_2.11-2.1.0.jar
│ ├── spark-mesos_2.11-2.1.0.jar
│ ├── spark-mllib_2.11-2.1.0.jar
│ ├── spark-mllib-local_2.11-2.1.0.jar
│ ├── spark-network-common_2.11-2.1.0.jar
│ ├── spark-network-shuffle_2.11-2.1.0.jar
│ ├── spark-repl_2.11-2.1.0.jar
│ ├── spark-sketch_2.11-2.1.0.jar
│ ├── spark-sql_2.11-2.1.0.jar
│ ├── spark-streaming_2.11-2.1.0.jar
│ ├── spark-tags_2.11-2.1.0.jar
│ ├── spark-unsafe_2.11-2.1.0.jar
│ ├── spark-yarn_2.11-2.1.0.jar
│ ├── spire_2.11-0.7.4.jar
│ ├── spire-macros_2.11-0.7.4.jar
│ ├── ST4-4.0.4.jar
│ ├── stax-api-1.0.1.jar
│ ├── stax-api-1.0-2.jar
│ ├── stream-2.7.0.jar
│ ├── stringtemplate-3.2.1.jar
│ ├── super-csv-2.2.0.jar
│ ├── univocity-parsers-2.2.1.jar
│ ├── validation-api-1.1.0.Final.jar
│ ├── xbean-asm5-shaded-4.4.jar
│ ├── xercesImpl-2.9.1.jar
│ ├── xmlenc-0.52.jar
│ ├── xz-1.0.jar
│ └── zookeeper-3.4.6.jar
├── LICENSE
├── licenses
│ ├── LICENSE-AnchorJS.txt
│ ├── LICENSE-antlr.txt
│ ├── LICENSE-boto.txt
│ ├── LICENSE-cloudpickle.txt
│ ├── LICENSE-d3.min.js.txt
│ ├── LICENSE-dagre-d3.txt
│ ├── LICENSE-DPark.txt
│ ├── LICENSE-f2j.txt
│ ├── LICENSE-graphlib-dot.txt
│ ├── LICENSE-heapq.txt
│ ├── LICENSE-javolution.txt
│ ├── LICENSE-jbcrypt.txt
│ ├── LICENSE-jline.txt
│ ├── LICENSE-jpmml-model.txt
│ ├── LICENSE-jquery.txt
│ ├── LICENSE-junit-interface.txt
│ ├── LICENSE-kryo.txt
│ ├── LICENSE-minlog.txt
│ ├── LICENSE-Mockito.txt
│ ├── LICENSE-modernizr.txt
│ ├── LICENSE-netlib.txt
│ ├── LICENSE-paranamer.txt
│ ├── LICENSE-postgresql.txt
│ ├── LICENSE-protobuf.txt
│ ├── LICENSE-py4j.txt
│ ├── LICENSE-pyrolite.txt
│ ├── LICENSE-reflectasm.txt
│ ├── LICENSE-sbt-launch-lib.txt
│ ├── LICENSE-scalacheck.txt
│ ├── LICENSE-scala.txt
│ ├── LICENSE-scopt.txt
│ ├── LICENSE-slf4j.txt
│ ├── LICENSE-SnapTree.txt
│ ├── LICENSE-sorttable.js.txt
│ ├── LICENSE-spire.txt
│ └── LICENSE-xmlenc.txt
├── NOTICE
├── python
│ ├── dist
│ ├── docs
│ │ ├── conf.py
│ │ ├── epytext.py
│ │ ├── index.rst
│ │ ├── make2.bat
│ │ ├── make.bat
│ │ ├── Makefile
│ │ ├── pyspark.mllib.rst
│ │ ├── pyspark.ml.rst
│ │ ├── pyspark.rst
│ │ ├── pyspark.sql.rst
│ │ ├── pyspark.streaming.rst
│ │ ├── _static
│ │ │ ├── pyspark.css
│ │ │ └── pyspark.js
│ │ └── _templates
│ │ └── layout.html
│ ├── lib
│ │ ├── py4j-0.10.4-src.zip
│ │ ├── PY4J_LICENSE.txt
│ │ └── pyspark.zip
│ ├── MANIFEST.in
│ ├── pylintrc
│ ├── pyspark
│ │ ├── accumulators.py
│ │ ├── broadcast.py
│ │ ├── cloudpickle.py
│ │ ├── conf.py
│ │ ├── context.py
│ │ ├── daemon.py
│ │ ├── files.py
│ │ ├── find_spark_home.py
│ │ ├── heapq3.py
│ │ ├── __init__.py
│ │ ├── java_gateway.py
│ │ ├── join.py
│ │ ├── ml
│ │ │ ├── base.py
│ │ │ ├── classification.py
│ │ │ ├── clustering.py
│ │ │ ├── common.py
│ │ │ ├── evaluation.py
│ │ │ ├── feature.py
│ │ │ ├── __init__.py
│ │ │ ├── linalg
│ │ │ │ └── __init__.py
│ │ │ ├── param
│ │ │ │ ├── __init__.py
│ │ │ │ ├── _shared_params_code_gen.py
│ │ │ │ └── shared.py
│ │ │ ├── pipeline.py
│ │ │ ├── recommendation.py
│ │ │ ├── regression.py
│ │ │ ├── tests.py
│ │ │ ├── tuning.py
│ │ │ ├── util.py
│ │ │ └── wrapper.py
│ │ ├── mllib
│ │ │ ├── classification.py
│ │ │ ├── clustering.py
│ │ │ ├── common.py
│ │ │ ├── evaluation.py
│ │ │ ├── feature.py
│ │ │ ├── fpm.py
│ │ │ ├── __init__.py
│ │ │ ├── linalg
│ │ │ │ ├── distributed.py
│ │ │ │ └── __init__.py
│ │ │ ├── random.py
│ │ │ ├── recommendation.py
│ │ │ ├── regression.py
│ │ │ ├── stat
│ │ │ │ ├── distribution.py
│ │ │ │ ├── __init__.py
│ │ │ │ ├── KernelDensity.py
│ │ │ │ ├── _statistics.py
│ │ │ │ └── test.py
│ │ │ ├── tests.py
│ │ │ ├── tree.py
│ │ │ └── util.py
│ │ ├── profiler.py
│ │ ├── python
│ │ │ └── pyspark
│ │ │ └── shell.py
│ │ ├── rdd.py
│ │ ├── rddsampler.py
│ │ ├── resultiterable.py
│ │ ├── serializers.py
│ │ ├── shell.py
│ │ ├── shuffle.py
│ │ ├── sql
│ │ │ ├── catalog.py
│ │ │ ├── column.py
│ │ │ ├── conf.py
│ │ │ ├── context.py
│ │ │ ├── dataframe.py
│ │ │ ├── functions.py
│ │ │ ├── group.py
│ │ │ ├── __init__.py
│ │ │ ├── readwriter.py
│ │ │ ├── session.py
│ │ │ ├── streaming.py
│ │ │ ├── tests.py
│ │ │ ├── types.py
│ │ │ ├── utils.py
│ │ │ └── window.py
│ │ ├── statcounter.py
│ │ ├── status.py
│ │ ├── storagelevel.py
│ │ ├── streaming
│ │ │ ├── context.py
│ │ │ ├── dstream.py
│ │ │ ├── flume.py
│ │ │ ├── __init__.py
│ │ │ ├── kafka.py
│ │ │ ├── kinesis.py
│ │ │ ├── listener.py
│ │ │ ├── tests.py
│ │ │ └── util.py
│ │ ├── tests.py
│ │ ├── traceback_utils.py
│ │ ├── version.py
│ │ └── worker.py
│ ├── pyspark.egg-info
│ │ ├── dependency_links.txt
│ │ ├── PKG-INFO
│ │ ├── requires.txt
│ │ ├── SOURCES.txt
│ │ └── top_level.txt
│ ├── README.md
│ ├── run-tests
│ ├── run-tests.py
│ ├── setup.cfg
│ ├── setup.py
│ └── test_support
│ ├── hello
│ │ ├── hello.txt
│ │ └── sub_hello
│ │ └── sub_hello.txt
│ ├── SimpleHTTPServer.py
│ ├── sql
│ │ ├── ages.csv
│ │ ├── orc_partitioned
│ │ │ ├── b=0
│ │ │ │ └── c=0
│ │ │ │ └── part-r-00000-829af031-b970-49d6-ad39-30460a0be2c8.orc
│ │ │ ├── b=1
│ │ │ │ └── c=1
│ │ │ │ └── part-r-00000-829af031-b970-49d6-ad39-30460a0be2c8.orc
│ │ │ └── _SUCCESS
│ │ ├── parquet_partitioned
│ │ │ ├── _common_metadata
│ │ │ ├── _metadata
│ │ │ ├── _SUCCESS
│ │ │ ├── year=2014
│ │ │ │ └── month=9
│ │ │ │ └── day=1
│ │ │ │ └── part-r-00008.gz.parquet
│ │ │ └── year=2015
│ │ │ ├── month=10
│ │ │ │ ├── day=25
│ │ │ │ │ ├── part-r-00002.gz.parquet
│ │ │ │ │ └── part-r-00004.gz.parquet
│ │ │ │ └── day=26
│ │ │ │ └── part-r-00005.gz.parquet
│ │ │ └── month=9
│ │ │ └── day=1
│ │ │ └── part-r-00007.gz.parquet
│ │ ├── people1.json
│ │ ├── people.json
│ │ ├── streaming
│ │ │ └── text-test.txt
│ │ └── text-test.txt
│ ├── userlib-0.1.zip
│ └── userlibrary.py
├── R
│ └── lib
│ ├── SparkR
│ │ ├── DESCRIPTION
│ │ ├── help
│ │ │ ├── aliases.rds
│ │ │ ├── AnIndex
│ │ │ ├── paths.rds
│ │ │ ├── SparkR.rdb
│ │ │ └── SparkR.rdx
│ │ ├── html
│ │ │ ├── 00Index.html
│ │ │ ├── abs.html
│ │ │ ├── acos.html
│ │ │ ├── add_months.html
│ │ │ ├── AFTSurvivalRegressionModel-class.html
│ │ │ ├── alias.html
│ │ │ ├── ALSModel-class.html
│ │ │ ├── approxCountDistinct.html
│ │ │ ├── approxQuantile.html
│ │ │ ├── arrange.html
│ │ │ ├── array_contains.html
│ │ │ ├── ascii.html
│ │ │ ├── as.data.frame.html
│ │ │ ├── asin.html
│ │ │ ├── atan2.html
│ │ │ ├── atan.html
│ │ │ ├── attach.html
│ │ │ ├── avg.html
│ │ │ ├── base64.html
│ │ │ ├── between.html
│ │ │ ├── bin.html
│ │ │ ├── bitwiseNOT.html
│ │ │ ├── bround.html
│ │ │ ├── cache.html
│ │ │ ├── cacheTable.html
│ │ │ ├── cancelJobGroup.html
│ │ │ ├── cast.html
│ │ │ ├── cbrt.html
│ │ │ ├── ceil.html
│ │ │ ├── clearCache.html
│ │ │ ├── clearJobGroup.html
│ │ │ ├── collect.html
│ │ │ ├── coltypes.html
│ │ │ ├── columnfunctions.html
│ │ │ ├── column.html
│ │ │ ├── columns.html
│ │ │ ├── concat.html
│ │ │ ├── concat_ws.html
│ │ │ ├── conv.html
│ │ │ ├── corr.html
│ │ │ ├── cosh.html
│ │ │ ├── cos.html
│ │ │ ├── countDistinct.html
│ │ │ ├── count.html
│ │ │ ├── covar_pop.html
│ │ │ ├── cov.html
│ │ │ ├── crc32.html
│ │ │ ├── createDataFrame.html
│ │ │ ├── createExternalTable.html
│ │ │ ├── createOrReplaceTempView.html
│ │ │ ├── crossJoin.html
│ │ │ ├── crosstab.html
│ │ │ ├── cume_dist.html
│ │ │ ├── dapplyCollect.html
│ │ │ ├── dapply.html
│ │ │ ├── date_add.html
│ │ │ ├── datediff.html
│ │ │ ├── date_format.html
│ │ │ ├── date_sub.html
│ │ │ ├── dayofmonth.html
│ │ │ ├── dayofyear.html
│ │ │ ├── decode.html
│ │ │ ├── dense_rank.html
│ │ │ ├── dim.html
│ │ │ ├── distinct.html
│ │ │ ├── dropDuplicates.html
│ │ │ ├── drop.html
│ │ │ ├── dropTempTable-deprecated.html
│ │ │ ├── dropTempView.html
│ │ │ ├── dtypes.html
│ │ │ ├── encode.html
│ │ │ ├── endsWith.html
│ │ │ ├── except.html
│ │ │ ├── exp.html
│ │ │ ├── explain.html
│ │ │ ├── explode.html
│ │ │ ├── expm1.html
│ │ │ ├── expr.html
│ │ │ ├── factorial.html
│ │ │ ├── filter.html
│ │ │ ├── first.html
│ │ │ ├── fitted.html
│ │ │ ├── floor.html
│ │ │ ├── format_number.html
│ │ │ ├── format_string.html
│ │ │ ├── freqItems.html
│ │ │ ├── from_unixtime.html
│ │ │ ├── from_utc_timestamp.html
│ │ │ ├── gapplyCollect.html
│ │ │ ├── gapply.html
│ │ │ ├── GaussianMixtureModel-class.html
│ │ │ ├── GBTClassificationModel-class.html
│ │ │ ├── GBTRegressionModel-class.html
│ │ │ ├── GeneralizedLinearRegressionModel-class.html
│ │ │ ├── generateAliasesForIntersectedCols.html
│ │ │ ├── glm.html
│ │ │ ├── greatest.html
│ │ │ ├── groupBy.html
│ │ │ ├── GroupedData.html
│ │ │ ├── hashCode.html
│ │ │ ├── hash.html
│ │ │ ├── head.html
│ │ │ ├── hex.html
│ │ │ ├── histogram.html
│ │ │ ├── hour.html
│ │ │ ├── hypot.html
│ │ │ ├── ifelse.html
│ │ │ ├── initcap.html
│ │ │ ├── insertInto.html
│ │ │ ├── install.spark.html
│ │ │ ├── instr.html
│ │ │ ├── intersect.html
│ │ │ ├── isLocal.html
│ │ │ ├── is.nan.html
│ │ │ ├── IsotonicRegressionModel-class.html
│ │ │ ├── join.html
│ │ │ ├── KMeansModel-class.html
│ │ │ ├── KSTest-class.html
│ │ │ ├── kurtosis.html
│ │ │ ├── lag.html
│ │ │ ├── last_day.html
│ │ │ ├── last.html
│ │ │ ├── LDAModel-class.html
│ │ │ ├── lead.html
│ │ │ ├── least.html
│ │ │ ├── length.html
│ │ │ ├── levenshtein.html
│ │ │ ├── limit.html
│ │ │ ├── lit.html
│ │ │ ├── locate.html
│ │ │ ├── log10.html
│ │ │ ├── log1p.html
│ │ │ ├── log2.html
│ │ │ ├── log.html
│ │ │ ├── LogisticRegressionModel-class.html
│ │ │ ├── lower.html
│ │ │ ├── lpad.html
│ │ │ ├── ltrim.html
│ │ │ ├── match.html
│ │ │ ├── max.html
│ │ │ ├── md5.html
│ │ │ ├── mean.html
│ │ │ ├── merge.html
│ │ │ ├── min.html
│ │ │ ├── minute.html
│ │ │ ├── monotonically_increasing_id.html
│ │ │ ├── month.html
│ │ │ ├── months_between.html
│ │ │ ├── MultilayerPerceptronClassificationModel-class.html
│ │ │ ├── mutate.html
│ │ │ ├── nafunctions.html
│ │ │ ├── NaiveBayesModel-class.html
│ │ │ ├── nanvl.html
│ │ │ ├── ncol.html
│ │ │ ├── negate.html
│ │ │ ├── next_day.html
│ │ │ ├── nrow.html
│ │ │ ├── ntile.html
│ │ │ ├── orderBy.html
│ │ │ ├── otherwise.html
│ │ │ ├── over.html
│ │ │ ├── partitionBy.html
│ │ │ ├── percent_rank.html
│ │ │ ├── persist.html
│ │ │ ├── pivot.html
│ │ │ ├── pmod.html
│ │ │ ├── posexplode.html
│ │ │ ├── predict.html
│ │ │ ├── print.jobj.html
│ │ │ ├── printSchema.html
│ │ │ ├── print.structField.html
│ │ │ ├── print.structType.html
│ │ │ ├── quarter.html
│ │ │ ├── rand.html
│ │ │ ├── randn.html
│ │ │ ├── RandomForestClassificationModel-class.html
│ │ │ ├── RandomForestRegressionModel-class.html
│ │ │ ├── randomSplit.html
│ │ │ ├── rangeBetween.html
│ │ │ ├── rank.html
│ │ │ ├── rbind.html
│ │ │ ├── R.css
│ │ │ ├── read.df.html
│ │ │ ├── read.jdbc.html
│ │ │ ├── read.json.html
│ │ │ ├── read.ml.html
│ │ │ ├── read.orc.html
│ │ │ ├── read.parquet.html
│ │ │ ├── read.text.html
│ │ │ ├── regexp_extract.html
│ │ │ ├── regexp_replace.html
│ │ │ ├── registerTempTable-deprecated.html
│ │ │ ├── rename.html
│ │ │ ├── repartition.html
│ │ │ ├── reverse.html
│ │ │ ├── rint.html
│ │ │ ├── round.html
│ │ │ ├── row_number.html
│ │ │ ├── rowsBetween.html
│ │ │ ├── rpad.html
│ │ │ ├── rtrim.html
│ │ │ ├── sampleBy.html
│ │ │ ├── sample.html
│ │ │ ├── saveAsTable.html
│ │ │ ├── schema.html
│ │ │ ├── sd.html
│ │ │ ├── second.html
│ │ │ ├── selectExpr.html
│ │ │ ├── select.html
│ │ │ ├── setJobGroup.html
│ │ │ ├── setLogLevel.html
│ │ │ ├── sha1.html
│ │ │ ├── sha2.html
│ │ │ ├── shiftLeft.html
│ │ │ ├── shiftRight.html
│ │ │ ├── shiftRightUnsigned.html
│ │ │ ├── showDF.html
│ │ │ ├── show.html
│ │ │ ├── sign.html
│ │ │ ├── sinh.html
│ │ │ ├── sin.html
│ │ │ ├── size.html
│ │ │ ├── skewness.html
│ │ │ ├── sort_array.html
│ │ │ ├── soundex.html
│ │ │ ├── spark.addFile.html
│ │ │ ├── spark.als.html
│ │ │ ├── SparkDataFrame.html
│ │ │ ├── spark.gaussianMixture.html
│ │ │ ├── spark.gbt.html
│ │ │ ├── spark.getSparkFiles.html
│ │ │ ├── spark.getSparkFilesRootDirectory.html
│ │ │ ├── spark.glm.html
│ │ │ ├── spark.isoreg.html
│ │ │ ├── spark.kmeans.html
│ │ │ ├── spark.kstest.html
│ │ │ ├── spark.lapply.html
│ │ │ ├── spark.lda.html
│ │ │ ├── spark.logit.html
│ │ │ ├── spark.mlp.html
│ │ │ ├── spark.naiveBayes.html
│ │ │ ├── spark_partition_id.html
│ │ │ ├── spark.randomForest.html
│ │ │ ├── sparkR.callJMethod.html
│ │ │ ├── sparkR.callJStatic.html
│ │ │ ├── sparkR.conf.html
│ │ │ ├── sparkRHive.init-deprecated.html
│ │ │ ├── sparkR.init-deprecated.html
│ │ │ ├── sparkR.newJObject.html
│ │ │ ├── sparkR.session.html
│ │ │ ├── sparkR.session.stop.html
│ │ │ ├── sparkRSQL.init-deprecated.html
│ │ │ ├── sparkR.version.html
│ │ │ ├── spark.survreg.html
│ │ │ ├── sql.html
│ │ │ ├── sqrt.html
│ │ │ ├── startsWith.html
│ │ │ ├── stddev_pop.html
│ │ │ ├── stddev_samp.html
│ │ │ ├── storageLevel.html
│ │ │ ├── str.html
│ │ │ ├── structField.html
│ │ │ ├── struct.html
│ │ │ ├── structType.html
│ │ │ ├── subset.html
│ │ │ ├── substr.html
│ │ │ ├── substring_index.html
│ │ │ ├── sumDistinct.html
│ │ │ ├── sum.html
│ │ │ ├── summarize.html
│ │ │ ├── summary.html
│ │ │ ├── tableNames.html
│ │ │ ├── tables.html
│ │ │ ├── tableToDF.html
│ │ │ ├── take.html
│ │ │ ├── tanh.html
│ │ │ ├── tan.html
│ │ │ ├── to_date.html
│ │ │ ├── toDegrees.html
│ │ │ ├── toRadians.html
│ │ │ ├── to_utc_timestamp.html
│ │ │ ├── translate.html
│ │ │ ├── trim.html
│ │ │ ├── unbase64.html
│ │ │ ├── uncacheTable.html
│ │ │ ├── unhex.html
│ │ │ ├── union.html
│ │ │ ├── unix_timestamp.html
│ │ │ ├── unpersist.html
│ │ │ ├── upper.html
│ │ │ ├── var.html
│ │ │ ├── var_pop.html
│ │ │ ├── var_samp.html
│ │ │ ├── weekofyear.html
│ │ │ ├── when.html
│ │ │ ├── window.html
│ │ │ ├── windowOrderBy.html
│ │ │ ├── windowPartitionBy.html
│ │ │ ├── WindowSpec.html
│ │ │ ├── withColumn.html
│ │ │ ├── with.html
│ │ │ ├── write.df.html
│ │ │ ├── write.jdbc.html
│ │ │ ├── write.json.html
│ │ │ ├── write.ml.html
│ │ │ ├── write.orc.html
│ │ │ ├── write.parquet.html
│ │ │ ├── write.text.html
│ │ │ └── year.html
│ │ ├── INDEX
│ │ ├── Meta
│ │ │ ├── hsearch.rds
│ │ │ ├── links.rds
│ │ │ ├── nsInfo.rds
│ │ │ ├── package.rds
│ │ │ └── Rd.rds
│ │ ├── NAMESPACE
│ │ ├── profile
│ │ │ ├── general.R
│ │ │ └── shell.R
│ │ ├── R
│ │ │ ├── SparkR
│ │ │ ├── SparkR.rdb
│ │ │ └── SparkR.rdx
│ │ ├── tests
│ │ │ └── testthat
│ │ │ ├── jarTest.R
│ │ │ ├── packageInAJarTest.R
│ │ │ ├── test_binaryFile.R
│ │ │ ├── test_binary_function.R
│ │ │ ├── test_broadcast.R
│ │ │ ├── test_client.R
│ │ │ ├── test_context.R
│ │ │ ├── test_includePackage.R
│ │ │ ├── test_jvm_api.R
│ │ │ ├── test_mllib.R
│ │ │ ├── test_parallelize_collect.R
│ │ │ ├── test_rdd.R
│ │ │ ├── test_Serde.R
│ │ │ ├── test_shuffle.R
│ │ │ ├── test_sparkR.R
│ │ │ ├── test_sparkSQL.R
│ │ │ ├── test_take.R
│ │ │ ├── test_textFile.R
│ │ │ ├── test_utils.R
│ │ │ └── test_Windows.R
│ │ └── worker
│ │ ├── daemon.R
│ │ └── worker.R
│ └── sparkr.zip
├── README.md
├── RELEASE
├── sbin
│ ├── slaves.sh
│ ├── spark-config.sh
│ ├── spark-daemon.sh
│ ├── spark-daemons.sh
│ ├── start-all.sh
│ ├── start-history-server.sh
│ ├── start-master.sh
│ ├── start-mesos-dispatcher.sh
│ ├── start-mesos-shuffle-service.sh
│ ├── start-shuffle-service.sh
│ ├── start-slave.sh
│ ├── start-slaves.sh
│ ├── start-thriftserver.sh
│ ├── stop-all.sh
│ ├── stop-history-server.sh
│ ├── stop-master.sh
│ ├── stop-mesos-dispatcher.sh
│ ├── stop-mesos-shuffle-service.sh
│ ├── stop-shuffle-service.sh
│ ├── stop-slave.sh
│ ├── stop-slaves.sh
│ └── stop-thriftserver.sh
└── yarn
└── spark-2.1.0-yarn-shuffle.jar
100 directories, 1256 files
spark-2.1.0-bin-hadoop2.7.tgz linux 安装文件 。
【实例截图】
【核心代码】
4744300845230931188.tgz
└── spark-2.1.0-bin-hadoop2.7
├── bin
│ ├── beeline
│ ├── beeline.cmd
│ ├── find-spark-home
│ ├── load-spark-env.cmd
│ ├── load-spark-env.sh
│ ├── pyspark
│ ├── pyspark2.cmd
│ ├── pyspark.cmd
│ ├── run-example
│ ├── run-example.cmd
│ ├── spark-class
│ ├── spark-class2.cmd
│ ├── spark-class.cmd
│ ├── sparkR
│ ├── sparkR2.cmd
│ ├── sparkR.cmd
│ ├── spark-shell
│ ├── spark-shell2.cmd
│ ├── spark-shell.cmd
│ ├── spark-sql
│ ├── spark-submit
│ ├── spark-submit2.cmd
│ └── spark-submit.cmd
├── conf
│ ├── docker.properties.template
│ ├── fairscheduler.xml.template
│ ├── log4j.properties.template
│ ├── metrics.properties.template
│ ├── slaves.template
│ ├── spark-defaults.conf.template
│ └── spark-env.sh.template
├── data
│ ├── graphx
│ │ ├── followers.txt
│ │ └── users.txt
│ ├── mllib
│ │ ├── als
│ │ │ ├── sample_movielens_ratings.txt
│ │ │ └── test.data
│ │ ├── gmm_data.txt
│ │ ├── kmeans_data.txt
│ │ ├── pagerank_data.txt
│ │ ├── pic_data.txt
│ │ ├── ridge-data
│ │ │ └── lpsa.data
│ │ ├── sample_binary_classification_data.txt
│ │ ├── sample_fpgrowth.txt
│ │ ├── sample_isotonic_regression_libsvm_data.txt
│ │ ├── sample_kmeans_data.txt
│ │ ├── sample_lda_data.txt
│ │ ├── sample_lda_libsvm_data.txt
│ │ ├── sample_libsvm_data.txt
│ │ ├── sample_linear_regression_data.txt
│ │ ├── sample_movielens_data.txt
│ │ ├── sample_multiclass_classification_data.txt
│ │ ├── sample_svm_data.txt
│ │ └── streaming_kmeans_data_test.txt
│ └── streaming
│ └── AFINN-111.txt
├── examples
│ ├── jars
│ │ ├── scopt_2.11-3.3.0.jar
│ │ └── spark-examples_2.11-2.1.0.jar
│ └── src
│ └── main
│ ├── java
│ │ └── org
│ │ └── apache
│ │ └── spark
│ │ └── examples
│ │ ├── JavaHdfsLR.java
│ │ ├── JavaLogQuery.java
│ │ ├── JavaPageRank.java
│ │ ├── JavaSparkPi.java
│ │ ├── JavaStatusTrackerDemo.java
│ │ ├── JavaTC.java
│ │ ├── JavaWordCount.java
│ │ ├── ml
│ │ │ ├── JavaAFTSurvivalRegressionExample.java
│ │ │ ├── JavaALSExample.java
│ │ │ ├── JavaBinarizerExample.java
│ │ │ ├── JavaBisectingKMeansExample.java
│ │ │ ├── JavaBucketedRandomProjectionLSHExample.java
│ │ │ ├── JavaBucketizerExample.java
│ │ │ ├── JavaChiSqSelectorExample.java
│ │ │ ├── JavaCountVectorizerExample.java
│ │ │ ├── JavaDCTExample.java
│ │ │ ├── JavaDecisionTreeClassificationExample.java
│ │ │ ├── JavaDecisionTreeRegressionExample.java
│ │ │ ├── JavaDocument.java
│ │ │ ├── JavaElementwiseProductExample.java
│ │ │ ├── JavaEstimatorTransformerParamExample.java
│ │ │ ├── JavaGaussianMixtureExample.java
│ │ │ ├── JavaGeneralizedLinearRegressionExample.java
│ │ │ ├── JavaGradientBoostedTreeClassifierExample.java
│ │ │ ├── JavaGradientBoostedTreeRegressorExample.java
│ │ │ ├── JavaIndexToStringExample.java
│ │ │ ├── JavaInteractionExample.java
│ │ │ ├── JavaIsotonicRegressionExample.java
│ │ │ ├── JavaKMeansExample.java
│ │ │ ├── JavaLabeledDocument.java
│ │ │ ├── JavaLDAExample.java
│ │ │ ├── JavaLinearRegressionWithElasticNetExample.java
│ │ │ ├── JavaLogisticRegressionSummaryExample.java
│ │ │ ├── JavaLogisticRegressionWithElasticNetExample.java
│ │ │ ├── JavaMaxAbsScalerExample.java
│ │ │ ├── JavaMinHashLSHExample.java
│ │ │ ├── JavaMinMaxScalerExample.java
│ │ │ ├── JavaModelSelectionViaCrossValidationExample.java
│ │ │ ├── JavaModelSelectionViaTrainValidationSplitExample.java
│ │ │ ├── JavaMulticlassLogisticRegressionWithElasticNetExample.java
│ │ │ ├── JavaMultilayerPerceptronClassifierExample.java
│ │ │ ├── JavaNaiveBayesExample.java
│ │ │ ├── JavaNGramExample.java
│ │ │ ├── JavaNormalizerExample.java
│ │ │ ├── JavaOneHotEncoderExample.java
│ │ │ ├── JavaOneVsRestExample.java
│ │ │ ├── JavaPCAExample.java
│ │ │ ├── JavaPipelineExample.java
│ │ │ ├── JavaPolynomialExpansionExample.java
│ │ │ ├── JavaQuantileDiscretizerExample.java
│ │ │ ├── JavaRandomForestClassifierExample.java
│ │ │ ├── JavaRandomForestRegressorExample.java
│ │ │ ├── JavaRFormulaExample.java
│ │ │ ├── JavaSQLTransformerExample.java
│ │ │ ├── JavaStandardScalerExample.java
│ │ │ ├── JavaStopWordsRemoverExample.java
│ │ │ ├── JavaStringIndexerExample.java
│ │ │ ├── JavaTfIdfExample.java
│ │ │ ├── JavaTokenizerExample.java
│ │ │ ├── JavaVectorAssemblerExample.java
│ │ │ ├── JavaVectorIndexerExample.java
│ │ │ ├── JavaVectorSlicerExample.java
│ │ │ └── JavaWord2VecExample.java
│ │ ├── mllib
│ │ │ ├── JavaALS.java
│ │ │ ├── JavaAssociationRulesExample.java
│ │ │ ├── JavaBinaryClassificationMetricsExample.java
│ │ │ ├── JavaBisectingKMeansExample.java
│ │ │ ├── JavaChiSqSelectorExample.java
│ │ │ ├── JavaCorrelationsExample.java
│ │ │ ├── JavaDecisionTreeClassificationExample.java
│ │ │ ├── JavaDecisionTreeRegressionExample.java
│ │ │ ├── JavaElementwiseProductExample.java
│ │ │ ├── JavaGaussianMixtureExample.java
│ │ │ ├── JavaGradientBoostingClassificationExample.java
│ │ │ ├── JavaGradientBoostingRegressionExample.java
│ │ │ ├── JavaHypothesisTestingExample.java
│ │ │ ├── JavaHypothesisTestingKolmogorovSmirnovTestExample.java
│ │ │ ├── JavaIsotonicRegressionExample.java
│ │ │ ├── JavaKernelDensityEstimationExample.java
│ │ │ ├── JavaKMeansExample.java
│ │ │ ├── JavaLatentDirichletAllocationExample.java
│ │ │ ├── JavaLBFGSExample.java
│ │ │ ├── JavaLinearRegressionWithSGDExample.java
│ │ │ ├── JavaLogisticRegressionWithLBFGSExample.java
│ │ │ ├── JavaMulticlassClassificationMetricsExample.java
│ │ │ ├── JavaMultiLabelClassificationMetricsExample.java
│ │ │ ├── JavaNaiveBayesExample.java
│ │ │ ├── JavaPCAExample.java
│ │ │ ├── JavaPowerIterationClusteringExample.java
│ │ │ ├── JavaPrefixSpanExample.java
│ │ │ ├── JavaRandomForestClassificationExample.java
│ │ │ ├── JavaRandomForestRegressionExample.java
│ │ │ ├── JavaRankingMetricsExample.java
│ │ │ ├── JavaRecommendationExample.java
│ │ │ ├── JavaRegressionMetricsExample.java
│ │ │ ├── JavaSimpleFPGrowth.java
│ │ │ ├── JavaStratifiedSamplingExample.java
│ │ │ ├── JavaStreamingTestExample.java
│ │ │ ├── JavaSummaryStatisticsExample.java
│ │ │ ├── JavaSVDExample.java
│ │ │ └── JavaSVMWithSGDExample.java
│ │ ├── sql
│ │ │ ├── hive
│ │ │ │ └── JavaSparkHiveExample.java
│ │ │ ├── JavaSparkSQLExample.java
│ │ │ ├── JavaSQLDataSourceExample.java
│ │ │ └── streaming
│ │ │ ├── JavaStructuredKafkaWordCount.java
│ │ │ ├── JavaStructuredNetworkWordCount.java
│ │ │ └── JavaStructuredNetworkWordCountWindowed.java
│ │ └── streaming
│ │ ├── JavaCustomReceiver.java
│ │ ├── JavaDirectKafkaWordCount.java
│ │ ├── JavaFlumeEventCount.java
│ │ ├── JavaKafkaWordCount.java
│ │ ├── JavaNetworkWordCount.java
│ │ ├── JavaQueueStream.java
│ │ ├── JavaRecord.java
│ │ ├── JavaRecoverableNetworkWordCount.java
│ │ ├── JavaSqlNetworkWordCount.java
│ │ └── JavaStatefulNetworkWordCount.java
│ ├── python
│ │ ├── als.py
│ │ ├── avro_inputformat.py
│ │ ├── kmeans.py
│ │ ├── logistic_regression.py
│ │ ├── ml
│ │ │ ├── aft_survival_regression.py
│ │ │ ├── als_example.py
│ │ │ ├── binarizer_example.py
│ │ │ ├── bisecting_k_means_example.py
│ │ │ ├── bucketizer_example.py
│ │ │ ├── chisq_selector_example.py
│ │ │ ├── count_vectorizer_example.py
│ │ │ ├── cross_validator.py
│ │ │ ├── dataframe_example.py
│ │ │ ├── dct_example.py
│ │ │ ├── decision_tree_classification_example.py
│ │ │ ├── decision_tree_regression_example.py
│ │ │ ├── elementwise_product_example.py
│ │ │ ├── estimator_transformer_param_example.py
│ │ │ ├── gaussian_mixture_example.py
│ │ │ ├── generalized_linear_regression_example.py
│ │ │ ├── gradient_boosted_tree_classifier_example.py
│ │ │ ├── gradient_boosted_tree_regressor_example.py
│ │ │ ├── index_to_string_example.py
│ │ │ ├── isotonic_regression_example.py
│ │ │ ├── kmeans_example.py
│ │ │ ├── lda_example.py
│ │ │ ├── linear_regression_with_elastic_net.py
│ │ │ ├── logistic_regression_summary_example.py
│ │ │ ├── logistic_regression_with_elastic_net.py
│ │ │ ├── max_abs_scaler_example.py
│ │ │ ├── min_max_scaler_example.py
│ │ │ ├── multiclass_logistic_regression_with_elastic_net.py
│ │ │ ├── multilayer_perceptron_classification.py
│ │ │ ├── naive_bayes_example.py
│ │ │ ├── n_gram_example.py
│ │ │ ├── normalizer_example.py
│ │ │ ├── onehot_encoder_example.py
│ │ │ ├── one_vs_rest_example.py
│ │ │ ├── pca_example.py
│ │ │ ├── pipeline_example.py
│ │ │ ├── polynomial_expansion_example.py
│ │ │ ├── quantile_discretizer_example.py
│ │ │ ├── random_forest_classifier_example.py
│ │ │ ├── random_forest_regressor_example.py
│ │ │ ├── rformula_example.py
│ │ │ ├── sql_transformer.py
│ │ │ ├── standard_scaler_example.py
│ │ │ ├── stopwords_remover_example.py
│ │ │ ├── string_indexer_example.py
│ │ │ ├── tf_idf_example.py
│ │ │ ├── tokenizer_example.py
│ │ │ ├── train_validation_split.py
│ │ │ ├── vector_assembler_example.py
│ │ │ ├── vector_indexer_example.py
│ │ │ ├── vector_slicer_example.py
│ │ │ └── word2vec_example.py
│ │ ├── mllib
│ │ │ ├── binary_classification_metrics_example.py
│ │ │ ├── bisecting_k_means_example.py
│ │ │ ├── correlations_example.py
│ │ │ ├── correlations.py
│ │ │ ├── decision_tree_classification_example.py
│ │ │ ├── decision_tree_regression_example.py
│ │ │ ├── elementwise_product_example.py
│ │ │ ├── fpgrowth_example.py
│ │ │ ├── gaussian_mixture_example.py
│ │ │ ├── gaussian_mixture_model.py
│ │ │ ├── gradient_boosting_classification_example.py
│ │ │ ├── gradient_boosting_regression_example.py
│ │ │ ├── hypothesis_testing_example.py
│ │ │ ├── hypothesis_testing_kolmogorov_smirnov_test_example.py
│ │ │ ├── isotonic_regression_example.py
│ │ │ ├── kernel_density_estimation_example.py
│ │ │ ├── k_means_example.py
│ │ │ ├── kmeans.py
│ │ │ ├── latent_dirichlet_allocation_example.py
│ │ │ ├── linear_regression_with_sgd_example.py
│ │ │ ├── logistic_regression.py
│ │ │ ├── logistic_regression_with_lbfgs_example.py
│ │ │ ├── multi_class_metrics_example.py
│ │ │ ├── multi_label_metrics_example.py
│ │ │ ├── naive_bayes_example.py
│ │ │ ├── normalizer_example.py
│ │ │ ├── power_iteration_clustering_example.py
│ │ │ ├── random_forest_classification_example.py
│ │ │ ├── random_forest_regression_example.py
│ │ │ ├── random_rdd_generation.py
│ │ │ ├── ranking_metrics_example.py
│ │ │ ├── recommendation_example.py
│ │ │ ├── regression_metrics_example.py
│ │ │ ├── sampled_rdds.py
│ │ │ ├── standard_scaler_example.py
│ │ │ ├── stratified_sampling_example.py
│ │ │ ├── streaming_k_means_example.py
│ │ │ ├── streaming_linear_regression_example.py
│ │ │ ├── summary_statistics_example.py
│ │ │ ├── svm_with_sgd_example.py
│ │ │ ├── tf_idf_example.py
│ │ │ ├── word2vec_example.py
│ │ │ └── word2vec.py
│ │ ├── pagerank.py
│ │ ├── parquet_inputformat.py
│ │ ├── pi.py
│ │ ├── sort.py
│ │ ├── sql
│ │ │ ├── basic.py
│ │ │ ├── datasource.py
│ │ │ ├── hive.py
│ │ │ └── streaming
│ │ │ ├── structured_kafka_wordcount.py
│ │ │ ├── structured_network_wordcount.py
│ │ │ └── structured_network_wordcount_windowed.py
│ │ ├── status_api_demo.py
│ │ ├── streaming
│ │ │ ├── direct_kafka_wordcount.py
│ │ │ ├── flume_wordcount.py
│ │ │ ├── hdfs_wordcount.py
│ │ │ ├── kafka_wordcount.py
│ │ │ ├── network_wordcount.py
│ │ │ ├── network_wordjoinsentiments.py
│ │ │ ├── queue_stream.py
│ │ │ ├── recoverable_network_wordcount.py
│ │ │ ├── sql_network_wordcount.py
│ │ │ └── stateful_network_wordcount.py
│ │ ├── transitive_closure.py
│ │ └── wordcount.py
│ ├── r
│ │ ├── dataframe.R
│ │ ├── data-manipulation.R
│ │ ├── ml
│ │ │ ├── als.R
│ │ │ ├── gaussianMixture.R
│ │ │ ├── gbt.R
│ │ │ ├── glm.R
│ │ │ ├── isoreg.R
│ │ │ ├── kmeans.R
│ │ │ ├── kstest.R
│ │ │ ├── lda.R
│ │ │ ├── logit.R
│ │ │ ├── mlp.R
│ │ │ ├── ml.R
│ │ │ ├── naiveBayes.R
│ │ │ ├── randomForest.R
│ │ │ └── survreg.R
│ │ └── RSparkSQLExample.R
│ ├── resources
│ │ ├── full_user.avsc
│ │ ├── kv1.txt
│ │ ├── people.json
│ │ ├── people.txt
│ │ ├── user.avsc
│ │ ├── users.avro
│ │ └── users.parquet
│ └── scala
│ └── org
│ └── apache
│ └── spark
│ └── examples
│ ├── BroadcastTest.scala
│ ├── DFSReadWriteTest.scala
│ ├── DriverSubmissionTest.scala
│ ├── ExceptionHandlingTest.scala
│ ├── graphx
│ │ ├── AggregateMessagesExample.scala
│ │ ├── Analytics.scala
│ │ ├── ComprehensiveExample.scala
│ │ ├── ConnectedComponentsExample.scala
│ │ ├── LiveJournalPageRank.scala
│ │ ├── PageRankExample.scala
│ │ ├── SSSPExample.scala
│ │ ├── SynthBenchmark.scala
│ │ └── TriangleCountingExample.scala
│ ├── GroupByTest.scala
│ ├── HdfsTest.scala
│ ├── LocalALS.scala
│ ├── LocalFileLR.scala
│ ├── LocalKMeans.scala
│ ├── LocalLR.scala
│ ├── LocalPi.scala
│ ├── LogQuery.scala
│ ├── ml
│ │ ├── AFTSurvivalRegressionExample.scala
│ │ ├── ALSExample.scala
│ │ ├── BinarizerExample.scala
│ │ ├── BisectingKMeansExample.scala
│ │ ├── BucketedRandomProjectionLSHExample.scala
│ │ ├── BucketizerExample.scala
│ │ ├── ChiSqSelectorExample.scala
│ │ ├── CountVectorizerExample.scala
│ │ ├── DataFrameExample.scala
│ │ ├── DCTExample.scala
│ │ ├── DecisionTreeClassificationExample.scala
│ │ ├── DecisionTreeExample.scala
│ │ ├── DecisionTreeRegressionExample.scala
│ │ ├── DeveloperApiExample.scala
│ │ ├── ElementwiseProductExample.scala
│ │ ├── EstimatorTransformerParamExample.scala
│ │ ├── GaussianMixtureExample.scala
│ │ ├── GBTExample.scala
│ │ ├── GeneralizedLinearRegressionExample.scala
│ │ ├── GradientBoostedTreeClassifierExample.scala
│ │ ├── GradientBoostedTreeRegressorExample.scala
│ │ ├── IndexToStringExample.scala
│ │ ├── InteractionExample.scala
│ │ ├── IsotonicRegressionExample.scala
│ │ ├── KMeansExample.scala
│ │ ├── LDAExample.scala
│ │ ├── LinearRegressionExample.scala
│ │ ├── LinearRegressionWithElasticNetExample.scala
│ │ ├── LogisticRegressionExample.scala
│ │ ├── LogisticRegressionSummaryExample.scala
│ │ ├── LogisticRegressionWithElasticNetExample.scala
│ │ ├── MaxAbsScalerExample.scala
│ │ ├── MinHashLSHExample.scala
│ │ ├── MinMaxScalerExample.scala
│ │ ├── ModelSelectionViaCrossValidationExample.scala
│ │ ├── ModelSelectionViaTrainValidationSplitExample.scala
│ │ ├── MulticlassLogisticRegressionWithElasticNetExample.scala
│ │ ├── MultilayerPerceptronClassifierExample.scala
│ │ ├── NaiveBayesExample.scala
│ │ ├── NGramExample.scala
│ │ ├── NormalizerExample.scala
│ │ ├── OneHotEncoderExample.scala
│ │ ├── OneVsRestExample.scala
│ │ ├── PCAExample.scala
│ │ ├── PipelineExample.scala
│ │ ├── PolynomialExpansionExample.scala
│ │ ├── QuantileDiscretizerExample.scala
│ │ ├── RandomForestClassifierExample.scala
│ │ ├── RandomForestExample.scala
│ │ ├── RandomForestRegressorExample.scala
│ │ ├── RFormulaExample.scala
│ │ ├── SQLTransformerExample.scala
│ │ ├── StandardScalerExample.scala
│ │ ├── StopWordsRemoverExample.scala
│ │ ├── StringIndexerExample.scala
│ │ ├── TfIdfExample.scala
│ │ ├── TokenizerExample.scala
│ │ ├── UnaryTransformerExample.scala
│ │ ├── VectorAssemblerExample.scala
│ │ ├── VectorIndexerExample.scala
│ │ ├── VectorSlicerExample.scala
│ │ └── Word2VecExample.scala
│ ├── mllib
│ │ ├── AbstractParams.scala
│ │ ├── AssociationRulesExample.scala
│ │ ├── BinaryClassificationMetricsExample.scala
│ │ ├── BinaryClassification.scala
│ │ ├── BisectingKMeansExample.scala
│ │ ├── ChiSqSelectorExample.scala
│ │ ├── CorrelationsExample.scala
│ │ ├── Correlations.scala
│ │ ├── CosineSimilarity.scala
│ │ ├── DecisionTreeClassificationExample.scala
│ │ ├── DecisionTreeRegressionExample.scala
│ │ ├── DecisionTreeRunner.scala
│ │ ├── DenseKMeans.scala
│ │ ├── ElementwiseProductExample.scala
│ │ ├── FPGrowthExample.scala
│ │ ├── GaussianMixtureExample.scala
│ │ ├── GradientBoostedTreesRunner.scala
│ │ ├── GradientBoostingClassificationExample.scala
│ │ ├── GradientBoostingRegressionExample.scala
│ │ ├── HypothesisTestingExample.scala
│ │ ├── HypothesisTestingKolmogorovSmirnovTestExample.scala
│ │ ├── IsotonicRegressionExample.scala
│ │ ├── KernelDensityEstimationExample.scala
│ │ ├── KMeansExample.scala
│ │ ├── LatentDirichletAllocationExample.scala
│ │ ├── LBFGSExample.scala
│ │ ├── LDAExample.scala
│ │ ├── LinearRegression.scala
│ │ ├── LinearRegressionWithSGDExample.scala
│ │ ├── LogisticRegressionWithLBFGSExample.scala
│ │ ├── MovieLensALS.scala
│ │ ├── MulticlassMetricsExample.scala
│ │ ├── MultiLabelMetricsExample.scala
│ │ ├── MultivariateSummarizer.scala
│ │ ├── NaiveBayesExample.scala
│ │ ├── NormalizerExample.scala
│ │ ├── PCAExample.scala
│ │ ├── PCAOnRowMatrixExample.scala
│ │ ├── PCAOnSourceVectorExample.scala
│ │ ├── PMMLModelExportExample.scala
│ │ ├── PowerIterationClusteringExample.scala
│ │ ├── PrefixSpanExample.scala
│ │ ├── RandomForestClassificationExample.scala
│ │ ├── RandomForestRegressionExample.scala
│ │ ├── RandomRDDGeneration.scala
│ │ ├── RankingMetricsExample.scala
│ │ ├── RecommendationExample.scala
│ │ ├── RegressionMetricsExample.scala
│ │ ├── SampledRDDs.scala
│ │ ├── SimpleFPGrowth.scala
│ │ ├── SparseNaiveBayes.scala
│ │ ├── StandardScalerExample.scala
│ │ ├── StratifiedSamplingExample.scala
│ │ ├── StreamingKMeansExample.scala
│ │ ├── StreamingLinearRegressionExample.scala
│ │ ├── StreamingLogisticRegression.scala
│ │ ├── StreamingTestExample.scala
│ │ ├── SummaryStatisticsExample.scala
│ │ ├── SVDExample.scala
│ │ ├── SVMWithSGDExample.scala
│ │ ├── TallSkinnyPCA.scala
│ │ ├── TallSkinnySVD.scala
│ │ ├── TFIDFExample.scala
│ │ └── Word2VecExample.scala
│ ├── MultiBroadcastTest.scala
│ ├── pythonconverters
│ │ └── AvroConverters.scala
│ ├── SimpleSkewedGroupByTest.scala
│ ├── SkewedGroupByTest.scala
│ ├── SparkALS.scala
│ ├── SparkHdfsLR.scala
│ ├── SparkKMeans.scala
│ ├── SparkLR.scala
│ ├── SparkPageRank.scala
│ ├── SparkPi.scala
│ ├── SparkTC.scala
│ ├── sql
│ │ ├── hive
│ │ │ └── SparkHiveExample.scala
│ │ ├── RDDRelation.scala
│ │ ├── SparkSQLExample.scala
│ │ ├── SQLDataSourceExample.scala
│ │ └── streaming
│ │ ├── StructuredKafkaWordCount.scala
│ │ ├── StructuredNetworkWordCount.scala
│ │ └── StructuredNetworkWordCountWindowed.scala
│ └── streaming
│ ├── clickstream
│ │ ├── PageViewGenerator.scala
│ │ └── PageViewStream.scala
│ ├── CustomReceiver.scala
│ ├── DirectKafkaWordCount.scala
│ ├── FlumeEventCount.scala
│ ├── FlumePollingEventCount.scala
│ ├── HdfsWordCount.scala
│ ├── KafkaWordCount.scala
│ ├── NetworkWordCount.scala
│ ├── QueueStream.scala
│ ├── RawNetworkGrep.scala
│ ├── RecoverableNetworkWordCount.scala
│ ├── SqlNetworkWordCount.scala
│ ├── StatefulNetworkWordCount.scala
│ └── StreamingExamples.scala
├── jars
│ ├── activation-1.1.1.jar
│ ├── antlr-2.7.7.jar
│ ├── antlr4-runtime-4.5.3.jar
│ ├── antlr-runtime-3.4.jar
│ ├── aopalliance-1.0.jar
│ ├── aopalliance-repackaged-2.4.0-b34.jar
│ ├── apacheds-i18n-2.0.0-M15.jar
│ ├── apacheds-kerberos-codec-2.0.0-M15.jar
│ ├── apache-log4j-extras-1.2.17.jar
│ ├── api-asn1-api-1.0.0-M20.jar
│ ├── api-util-1.0.0-M20.jar
│ ├── arpack_combined_all-0.1.jar
│ ├── avro-1.7.7.jar
│ ├── avro-ipc-1.7.7.jar
│ ├── avro-mapred-1.7.7-hadoop2.jar
│ ├── base64-2.3.8.jar
│ ├── bcprov-jdk15on-1.51.jar
│ ├── bonecp-0.8.0.RELEASE.jar
│ ├── breeze_2.11-0.12.jar
│ ├── breeze-macros_2.11-0.12.jar
│ ├── calcite-avatica-1.2.0-incubating.jar
│ ├── calcite-core-1.2.0-incubating.jar
│ ├── calcite-linq4j-1.2.0-incubating.jar
│ ├── chill_2.11-0.8.0.jar
│ ├── chill-java-0.8.0.jar
│ ├── commons-beanutils-1.7.0.jar
│ ├── commons-beanutils-core-1.8.0.jar
│ ├── commons-cli-1.2.jar
│ ├── commons-codec-1.10.jar
│ ├── commons-collections-3.2.2.jar
│ ├── commons-compiler-3.0.0.jar
│ ├── commons-compress-1.4.1.jar
│ ├── commons-configuration-1.6.jar
│ ├── commons-crypto-1.0.0.jar
│ ├── commons-dbcp-1.4.jar
│ ├── commons-digester-1.8.jar
│ ├── commons-httpclient-3.1.jar
│ ├── commons-io-2.4.jar
│ ├── commons-lang-2.6.jar
│ ├── commons-lang3-3.5.jar
│ ├── commons-logging-1.1.3.jar
│ ├── commons-math3-3.4.1.jar
│ ├── commons-net-2.2.jar
│ ├── commons-pool-1.5.4.jar
│ ├── compress-lzf-1.0.3.jar
│ ├── core-1.1.2.jar
│ ├── curator-client-2.6.0.jar
│ ├── curator-framework-2.6.0.jar
│ ├── curator-recipes-2.6.0.jar
│ ├── datanucleus-api-jdo-3.2.6.jar
│ ├── datanucleus-core-3.2.10.jar
│ ├── datanucleus-rdbms-3.2.9.jar
│ ├── derby-10.12.1.1.jar
│ ├── eigenbase-properties-1.1.5.jar
│ ├── gson-2.2.4.jar
│ ├── guava-14.0.1.jar
│ ├── guice-3.0.jar
│ ├── guice-servlet-3.0.jar
│ ├── hadoop-annotations-2.7.3.jar
│ ├── hadoop-auth-2.7.3.jar
│ ├── hadoop-client-2.7.3.jar
│ ├── hadoop-common-2.7.3.jar
│ ├── hadoop-hdfs-2.7.3.jar
│ ├── hadoop-mapreduce-client-app-2.7.3.jar
│ ├── hadoop-mapreduce-client-common-2.7.3.jar
│ ├── hadoop-mapreduce-client-core-2.7.3.jar
│ ├── hadoop-mapreduce-client-jobclient-2.7.3.jar
│ ├── hadoop-mapreduce-client-shuffle-2.7.3.jar
│ ├── hadoop-yarn-api-2.7.3.jar
│ ├── hadoop-yarn-client-2.7.3.jar
│ ├── hadoop-yarn-common-2.7.3.jar
│ ├── hadoop-yarn-server-common-2.7.3.jar
│ ├── hadoop-yarn-server-web-proxy-2.7.3.jar
│ ├── hive-beeline-1.2.1.spark2.jar
│ ├── hive-cli-1.2.1.spark2.jar
│ ├── hive-exec-1.2.1.spark2.jar
│ ├── hive-jdbc-1.2.1.spark2.jar
│ ├── hive-metastore-1.2.1.spark2.jar
│ ├── hk2-api-2.4.0-b34.jar
│ ├── hk2-locator-2.4.0-b34.jar
│ ├── hk2-utils-2.4.0-b34.jar
│ ├── htrace-core-3.1.0-incubating.jar
│ ├── httpclient-4.5.2.jar
│ ├── httpcore-4.4.4.jar
│ ├── ivy-2.4.0.jar
│ ├── jackson-annotations-2.6.5.jar
│ ├── jackson-core-2.6.5.jar
│ ├── jackson-core-asl-1.9.13.jar
│ ├── jackson-databind-2.6.5.jar
│ ├── jackson-jaxrs-1.9.13.jar
│ ├── jackson-mapper-asl-1.9.13.jar
│ ├── jackson-module-paranamer-2.6.5.jar
│ ├── jackson-module-scala_2.11-2.6.5.jar
│ ├── jackson-xc-1.9.13.jar
│ ├── janino-3.0.0.jar
│ ├── JavaEWAH-0.3.2.jar
│ ├── javassist-3.18.1-GA.jar
│ ├── javax.annotation-api-1.2.jar
│ ├── javax.inject-1.jar
│ ├── javax.inject-2.4.0-b34.jar
│ ├── java-xmlbuilder-1.0.jar
│ ├── javax.servlet-api-3.1.0.jar
│ ├── javax.ws.rs-api-2.0.1.jar
│ ├── javolution-5.5.1.jar
│ ├── jaxb-api-2.2.2.jar
│ ├── jcl-over-slf4j-1.7.16.jar
│ ├── jdo-api-3.0.1.jar
│ ├── jersey-client-2.22.2.jar
│ ├── jersey-common-2.22.2.jar
│ ├── jersey-container-servlet-2.22.2.jar
│ ├── jersey-container-servlet-core-2.22.2.jar
│ ├── jersey-guava-2.22.2.jar
│ ├── jersey-media-jaxb-2.22.2.jar
│ ├── jersey-server-2.22.2.jar
│ ├── jets3t-0.9.3.jar
│ ├── jetty-6.1.26.jar
│ ├── jetty-util-6.1.26.jar
│ ├── jline-2.12.1.jar
│ ├── joda-time-2.9.3.jar
│ ├── jodd-core-3.5.2.jar
│ ├── jpam-1.1.jar
│ ├── json4s-ast_2.11-3.2.11.jar
│ ├── json4s-core_2.11-3.2.11.jar
│ ├── json4s-jackson_2.11-3.2.11.jar
│ ├── jsp-api-2.1.jar
│ ├── jsr305-1.3.9.jar
│ ├── jta-1.1.jar
│ ├── jtransforms-2.4.0.jar
│ ├── jul-to-slf4j-1.7.16.jar
│ ├── kryo-shaded-3.0.3.jar
│ ├── leveldbjni-all-1.8.jar
│ ├── libfb303-0.9.2.jar
│ ├── libthrift-0.9.2.jar
│ ├── log4j-1.2.17.jar
│ ├── lz4-1.3.0.jar
│ ├── mail-1.4.7.jar
│ ├── mesos-1.0.0-shaded-protobuf.jar
│ ├── metrics-core-3.1.2.jar
│ ├── metrics-graphite-3.1.2.jar
│ ├── metrics-json-3.1.2.jar
│ ├── metrics-jvm-3.1.2.jar
│ ├── minlog-1.3.0.jar
│ ├── mx4j-3.0.2.jar
│ ├── netty-3.8.0.Final.jar
│ ├── netty-all-4.0.42.Final.jar
│ ├── objenesis-2.1.jar
│ ├── opencsv-2.3.jar
│ ├── oro-2.0.8.jar
│ ├── osgi-resource-locator-1.0.1.jar
│ ├── paranamer-2.3.jar
│ ├── parquet-column-1.8.1.jar
│ ├── parquet-common-1.8.1.jar
│ ├── parquet-encoding-1.8.1.jar
│ ├── parquet-format-2.3.0-incubating.jar
│ ├── parquet-hadoop-1.8.1.jar
│ ├── parquet-hadoop-bundle-1.6.0.jar
│ ├── parquet-jackson-1.8.1.jar
│ ├── pmml-model-1.2.15.jar
│ ├── pmml-schema-1.2.15.jar
│ ├── protobuf-java-2.5.0.jar
│ ├── py4j-0.10.4.jar
│ ├── pyrolite-4.13.jar
│ ├── RoaringBitmap-0.5.11.jar
│ ├── scala-compiler-2.11.8.jar
│ ├── scala-library-2.11.8.jar
│ ├── scalap-2.11.8.jar
│ ├── scala-parser-combinators_2.11-1.0.4.jar
│ ├── scala-reflect-2.11.8.jar
│ ├── scala-xml_2.11-1.0.2.jar
│ ├── shapeless_2.11-2.0.0.jar
│ ├── slf4j-api-1.7.16.jar
│ ├── slf4j-log4j12-1.7.16.jar
│ ├── snappy-0.2.jar
│ ├── snappy-java-1.1.2.6.jar
│ ├── spark-catalyst_2.11-2.1.0.jar
│ ├── spark-core_2.11-2.1.0.jar
│ ├── spark-graphx_2.11-2.1.0.jar
│ ├── spark-hive_2.11-2.1.0.jar
│ ├── spark-hive-thriftserver_2.11-2.1.0.jar
│ ├── spark-launcher_2.11-2.1.0.jar
│ ├── spark-mesos_2.11-2.1.0.jar
│ ├── spark-mllib_2.11-2.1.0.jar
│ ├── spark-mllib-local_2.11-2.1.0.jar
│ ├── spark-network-common_2.11-2.1.0.jar
│ ├── spark-network-shuffle_2.11-2.1.0.jar
│ ├── spark-repl_2.11-2.1.0.jar
│ ├── spark-sketch_2.11-2.1.0.jar
│ ├── spark-sql_2.11-2.1.0.jar
│ ├── spark-streaming_2.11-2.1.0.jar
│ ├── spark-tags_2.11-2.1.0.jar
│ ├── spark-unsafe_2.11-2.1.0.jar
│ ├── spark-yarn_2.11-2.1.0.jar
│ ├── spire_2.11-0.7.4.jar
│ ├── spire-macros_2.11-0.7.4.jar
│ ├── ST4-4.0.4.jar
│ ├── stax-api-1.0.1.jar
│ ├── stax-api-1.0-2.jar
│ ├── stream-2.7.0.jar
│ ├── stringtemplate-3.2.1.jar
│ ├── super-csv-2.2.0.jar
│ ├── univocity-parsers-2.2.1.jar
│ ├── validation-api-1.1.0.Final.jar
│ ├── xbean-asm5-shaded-4.4.jar
│ ├── xercesImpl-2.9.1.jar
│ ├── xmlenc-0.52.jar
│ ├── xz-1.0.jar
│ └── zookeeper-3.4.6.jar
├── LICENSE
├── licenses
│ ├── LICENSE-AnchorJS.txt
│ ├── LICENSE-antlr.txt
│ ├── LICENSE-boto.txt
│ ├── LICENSE-cloudpickle.txt
│ ├── LICENSE-d3.min.js.txt
│ ├── LICENSE-dagre-d3.txt
│ ├── LICENSE-DPark.txt
│ ├── LICENSE-f2j.txt
│ ├── LICENSE-graphlib-dot.txt
│ ├── LICENSE-heapq.txt
│ ├── LICENSE-javolution.txt
│ ├── LICENSE-jbcrypt.txt
│ ├── LICENSE-jline.txt
│ ├── LICENSE-jpmml-model.txt
│ ├── LICENSE-jquery.txt
│ ├── LICENSE-junit-interface.txt
│ ├── LICENSE-kryo.txt
│ ├── LICENSE-minlog.txt
│ ├── LICENSE-Mockito.txt
│ ├── LICENSE-modernizr.txt
│ ├── LICENSE-netlib.txt
│ ├── LICENSE-paranamer.txt
│ ├── LICENSE-postgresql.txt
│ ├── LICENSE-protobuf.txt
│ ├── LICENSE-py4j.txt
│ ├── LICENSE-pyrolite.txt
│ ├── LICENSE-reflectasm.txt
│ ├── LICENSE-sbt-launch-lib.txt
│ ├── LICENSE-scalacheck.txt
│ ├── LICENSE-scala.txt
│ ├── LICENSE-scopt.txt
│ ├── LICENSE-slf4j.txt
│ ├── LICENSE-SnapTree.txt
│ ├── LICENSE-sorttable.js.txt
│ ├── LICENSE-spire.txt
│ └── LICENSE-xmlenc.txt
├── NOTICE
├── python
│ ├── dist
│ ├── docs
│ │ ├── conf.py
│ │ ├── epytext.py
│ │ ├── index.rst
│ │ ├── make2.bat
│ │ ├── make.bat
│ │ ├── Makefile
│ │ ├── pyspark.mllib.rst
│ │ ├── pyspark.ml.rst
│ │ ├── pyspark.rst
│ │ ├── pyspark.sql.rst
│ │ ├── pyspark.streaming.rst
│ │ ├── _static
│ │ │ ├── pyspark.css
│ │ │ └── pyspark.js
│ │ └── _templates
│ │ └── layout.html
│ ├── lib
│ │ ├── py4j-0.10.4-src.zip
│ │ ├── PY4J_LICENSE.txt
│ │ └── pyspark.zip
│ ├── MANIFEST.in
│ ├── pylintrc
│ ├── pyspark
│ │ ├── accumulators.py
│ │ ├── broadcast.py
│ │ ├── cloudpickle.py
│ │ ├── conf.py
│ │ ├── context.py
│ │ ├── daemon.py
│ │ ├── files.py
│ │ ├── find_spark_home.py
│ │ ├── heapq3.py
│ │ ├── __init__.py
│ │ ├── java_gateway.py
│ │ ├── join.py
│ │ ├── ml
│ │ │ ├── base.py
│ │ │ ├── classification.py
│ │ │ ├── clustering.py
│ │ │ ├── common.py
│ │ │ ├── evaluation.py
│ │ │ ├── feature.py
│ │ │ ├── __init__.py
│ │ │ ├── linalg
│ │ │ │ └── __init__.py
│ │ │ ├── param
│ │ │ │ ├── __init__.py
│ │ │ │ ├── _shared_params_code_gen.py
│ │ │ │ └── shared.py
│ │ │ ├── pipeline.py
│ │ │ ├── recommendation.py
│ │ │ ├── regression.py
│ │ │ ├── tests.py
│ │ │ ├── tuning.py
│ │ │ ├── util.py
│ │ │ └── wrapper.py
│ │ ├── mllib
│ │ │ ├── classification.py
│ │ │ ├── clustering.py
│ │ │ ├── common.py
│ │ │ ├── evaluation.py
│ │ │ ├── feature.py
│ │ │ ├── fpm.py
│ │ │ ├── __init__.py
│ │ │ ├── linalg
│ │ │ │ ├── distributed.py
│ │ │ │ └── __init__.py
│ │ │ ├── random.py
│ │ │ ├── recommendation.py
│ │ │ ├── regression.py
│ │ │ ├── stat
│ │ │ │ ├── distribution.py
│ │ │ │ ├── __init__.py
│ │ │ │ ├── KernelDensity.py
│ │ │ │ ├── _statistics.py
│ │ │ │ └── test.py
│ │ │ ├── tests.py
│ │ │ ├── tree.py
│ │ │ └── util.py
│ │ ├── profiler.py
│ │ ├── python
│ │ │ └── pyspark
│ │ │ └── shell.py
│ │ ├── rdd.py
│ │ ├── rddsampler.py
│ │ ├── resultiterable.py
│ │ ├── serializers.py
│ │ ├── shell.py
│ │ ├── shuffle.py
│ │ ├── sql
│ │ │ ├── catalog.py
│ │ │ ├── column.py
│ │ │ ├── conf.py
│ │ │ ├── context.py
│ │ │ ├── dataframe.py
│ │ │ ├── functions.py
│ │ │ ├── group.py
│ │ │ ├── __init__.py
│ │ │ ├── readwriter.py
│ │ │ ├── session.py
│ │ │ ├── streaming.py
│ │ │ ├── tests.py
│ │ │ ├── types.py
│ │ │ ├── utils.py
│ │ │ └── window.py
│ │ ├── statcounter.py
│ │ ├── status.py
│ │ ├── storagelevel.py
│ │ ├── streaming
│ │ │ ├── context.py
│ │ │ ├── dstream.py
│ │ │ ├── flume.py
│ │ │ ├── __init__.py
│ │ │ ├── kafka.py
│ │ │ ├── kinesis.py
│ │ │ ├── listener.py
│ │ │ ├── tests.py
│ │ │ └── util.py
│ │ ├── tests.py
│ │ ├── traceback_utils.py
│ │ ├── version.py
│ │ └── worker.py
│ ├── pyspark.egg-info
│ │ ├── dependency_links.txt
│ │ ├── PKG-INFO
│ │ ├── requires.txt
│ │ ├── SOURCES.txt
│ │ └── top_level.txt
│ ├── README.md
│ ├── run-tests
│ ├── run-tests.py
│ ├── setup.cfg
│ ├── setup.py
│ └── test_support
│ ├── hello
│ │ ├── hello.txt
│ │ └── sub_hello
│ │ └── sub_hello.txt
│ ├── SimpleHTTPServer.py
│ ├── sql
│ │ ├── ages.csv
│ │ ├── orc_partitioned
│ │ │ ├── b=0
│ │ │ │ └── c=0
│ │ │ │ └── part-r-00000-829af031-b970-49d6-ad39-30460a0be2c8.orc
│ │ │ ├── b=1
│ │ │ │ └── c=1
│ │ │ │ └── part-r-00000-829af031-b970-49d6-ad39-30460a0be2c8.orc
│ │ │ └── _SUCCESS
│ │ ├── parquet_partitioned
│ │ │ ├── _common_metadata
│ │ │ ├── _metadata
│ │ │ ├── _SUCCESS
│ │ │ ├── year=2014
│ │ │ │ └── month=9
│ │ │ │ └── day=1
│ │ │ │ └── part-r-00008.gz.parquet
│ │ │ └── year=2015
│ │ │ ├── month=10
│ │ │ │ ├── day=25
│ │ │ │ │ ├── part-r-00002.gz.parquet
│ │ │ │ │ └── part-r-00004.gz.parquet
│ │ │ │ └── day=26
│ │ │ │ └── part-r-00005.gz.parquet
│ │ │ └── month=9
│ │ │ └── day=1
│ │ │ └── part-r-00007.gz.parquet
│ │ ├── people1.json
│ │ ├── people.json
│ │ ├── streaming
│ │ │ └── text-test.txt
│ │ └── text-test.txt
│ ├── userlib-0.1.zip
│ └── userlibrary.py
├── R
│ └── lib
│ ├── SparkR
│ │ ├── DESCRIPTION
│ │ ├── help
│ │ │ ├── aliases.rds
│ │ │ ├── AnIndex
│ │ │ ├── paths.rds
│ │ │ ├── SparkR.rdb
│ │ │ └── SparkR.rdx
│ │ ├── html
│ │ │ ├── 00Index.html
│ │ │ ├── abs.html
│ │ │ ├── acos.html
│ │ │ ├── add_months.html
│ │ │ ├── AFTSurvivalRegressionModel-class.html
│ │ │ ├── alias.html
│ │ │ ├── ALSModel-class.html
│ │ │ ├── approxCountDistinct.html
│ │ │ ├── approxQuantile.html
│ │ │ ├── arrange.html
│ │ │ ├── array_contains.html
│ │ │ ├── ascii.html
│ │ │ ├── as.data.frame.html
│ │ │ ├── asin.html
│ │ │ ├── atan2.html
│ │ │ ├── atan.html
│ │ │ ├── attach.html
│ │ │ ├── avg.html
│ │ │ ├── base64.html
│ │ │ ├── between.html
│ │ │ ├── bin.html
│ │ │ ├── bitwiseNOT.html
│ │ │ ├── bround.html
│ │ │ ├── cache.html
│ │ │ ├── cacheTable.html
│ │ │ ├── cancelJobGroup.html
│ │ │ ├── cast.html
│ │ │ ├── cbrt.html
│ │ │ ├── ceil.html
│ │ │ ├── clearCache.html
│ │ │ ├── clearJobGroup.html
│ │ │ ├── collect.html
│ │ │ ├── coltypes.html
│ │ │ ├── columnfunctions.html
│ │ │ ├── column.html
│ │ │ ├── columns.html
│ │ │ ├── concat.html
│ │ │ ├── concat_ws.html
│ │ │ ├── conv.html
│ │ │ ├── corr.html
│ │ │ ├── cosh.html
│ │ │ ├── cos.html
│ │ │ ├── countDistinct.html
│ │ │ ├── count.html
│ │ │ ├── covar_pop.html
│ │ │ ├── cov.html
│ │ │ ├── crc32.html
│ │ │ ├── createDataFrame.html
│ │ │ ├── createExternalTable.html
│ │ │ ├── createOrReplaceTempView.html
│ │ │ ├── crossJoin.html
│ │ │ ├── crosstab.html
│ │ │ ├── cume_dist.html
│ │ │ ├── dapplyCollect.html
│ │ │ ├── dapply.html
│ │ │ ├── date_add.html
│ │ │ ├── datediff.html
│ │ │ ├── date_format.html
│ │ │ ├── date_sub.html
│ │ │ ├── dayofmonth.html
│ │ │ ├── dayofyear.html
│ │ │ ├── decode.html
│ │ │ ├── dense_rank.html
│ │ │ ├── dim.html
│ │ │ ├── distinct.html
│ │ │ ├── dropDuplicates.html
│ │ │ ├── drop.html
│ │ │ ├── dropTempTable-deprecated.html
│ │ │ ├── dropTempView.html
│ │ │ ├── dtypes.html
│ │ │ ├── encode.html
│ │ │ ├── endsWith.html
│ │ │ ├── except.html
│ │ │ ├── exp.html
│ │ │ ├── explain.html
│ │ │ ├── explode.html
│ │ │ ├── expm1.html
│ │ │ ├── expr.html
│ │ │ ├── factorial.html
│ │ │ ├── filter.html
│ │ │ ├── first.html
│ │ │ ├── fitted.html
│ │ │ ├── floor.html
│ │ │ ├── format_number.html
│ │ │ ├── format_string.html
│ │ │ ├── freqItems.html
│ │ │ ├── from_unixtime.html
│ │ │ ├── from_utc_timestamp.html
│ │ │ ├── gapplyCollect.html
│ │ │ ├── gapply.html
│ │ │ ├── GaussianMixtureModel-class.html
│ │ │ ├── GBTClassificationModel-class.html
│ │ │ ├── GBTRegressionModel-class.html
│ │ │ ├── GeneralizedLinearRegressionModel-class.html
│ │ │ ├── generateAliasesForIntersectedCols.html
│ │ │ ├── glm.html
│ │ │ ├── greatest.html
│ │ │ ├── groupBy.html
│ │ │ ├── GroupedData.html
│ │ │ ├── hashCode.html
│ │ │ ├── hash.html
│ │ │ ├── head.html
│ │ │ ├── hex.html
│ │ │ ├── histogram.html
│ │ │ ├── hour.html
│ │ │ ├── hypot.html
│ │ │ ├── ifelse.html
│ │ │ ├── initcap.html
│ │ │ ├── insertInto.html
│ │ │ ├── install.spark.html
│ │ │ ├── instr.html
│ │ │ ├── intersect.html
│ │ │ ├── isLocal.html
│ │ │ ├── is.nan.html
│ │ │ ├── IsotonicRegressionModel-class.html
│ │ │ ├── join.html
│ │ │ ├── KMeansModel-class.html
│ │ │ ├── KSTest-class.html
│ │ │ ├── kurtosis.html
│ │ │ ├── lag.html
│ │ │ ├── last_day.html
│ │ │ ├── last.html
│ │ │ ├── LDAModel-class.html
│ │ │ ├── lead.html
│ │ │ ├── least.html
│ │ │ ├── length.html
│ │ │ ├── levenshtein.html
│ │ │ ├── limit.html
│ │ │ ├── lit.html
│ │ │ ├── locate.html
│ │ │ ├── log10.html
│ │ │ ├── log1p.html
│ │ │ ├── log2.html
│ │ │ ├── log.html
│ │ │ ├── LogisticRegressionModel-class.html
│ │ │ ├── lower.html
│ │ │ ├── lpad.html
│ │ │ ├── ltrim.html
│ │ │ ├── match.html
│ │ │ ├── max.html
│ │ │ ├── md5.html
│ │ │ ├── mean.html
│ │ │ ├── merge.html
│ │ │ ├── min.html
│ │ │ ├── minute.html
│ │ │ ├── monotonically_increasing_id.html
│ │ │ ├── month.html
│ │ │ ├── months_between.html
│ │ │ ├── MultilayerPerceptronClassificationModel-class.html
│ │ │ ├── mutate.html
│ │ │ ├── nafunctions.html
│ │ │ ├── NaiveBayesModel-class.html
│ │ │ ├── nanvl.html
│ │ │ ├── ncol.html
│ │ │ ├── negate.html
│ │ │ ├── next_day.html
│ │ │ ├── nrow.html
│ │ │ ├── ntile.html
│ │ │ ├── orderBy.html
│ │ │ ├── otherwise.html
│ │ │ ├── over.html
│ │ │ ├── partitionBy.html
│ │ │ ├── percent_rank.html
│ │ │ ├── persist.html
│ │ │ ├── pivot.html
│ │ │ ├── pmod.html
│ │ │ ├── posexplode.html
│ │ │ ├── predict.html
│ │ │ ├── print.jobj.html
│ │ │ ├── printSchema.html
│ │ │ ├── print.structField.html
│ │ │ ├── print.structType.html
│ │ │ ├── quarter.html
│ │ │ ├── rand.html
│ │ │ ├── randn.html
│ │ │ ├── RandomForestClassificationModel-class.html
│ │ │ ├── RandomForestRegressionModel-class.html
│ │ │ ├── randomSplit.html
│ │ │ ├── rangeBetween.html
│ │ │ ├── rank.html
│ │ │ ├── rbind.html
│ │ │ ├── R.css
│ │ │ ├── read.df.html
│ │ │ ├── read.jdbc.html
│ │ │ ├── read.json.html
│ │ │ ├── read.ml.html
│ │ │ ├── read.orc.html
│ │ │ ├── read.parquet.html
│ │ │ ├── read.text.html
│ │ │ ├── regexp_extract.html
│ │ │ ├── regexp_replace.html
│ │ │ ├── registerTempTable-deprecated.html
│ │ │ ├── rename.html
│ │ │ ├── repartition.html
│ │ │ ├── reverse.html
│ │ │ ├── rint.html
│ │ │ ├── round.html
│ │ │ ├── row_number.html
│ │ │ ├── rowsBetween.html
│ │ │ ├── rpad.html
│ │ │ ├── rtrim.html
│ │ │ ├── sampleBy.html
│ │ │ ├── sample.html
│ │ │ ├── saveAsTable.html
│ │ │ ├── schema.html
│ │ │ ├── sd.html
│ │ │ ├── second.html
│ │ │ ├── selectExpr.html
│ │ │ ├── select.html
│ │ │ ├── setJobGroup.html
│ │ │ ├── setLogLevel.html
│ │ │ ├── sha1.html
│ │ │ ├── sha2.html
│ │ │ ├── shiftLeft.html
│ │ │ ├── shiftRight.html
│ │ │ ├── shiftRightUnsigned.html
│ │ │ ├── showDF.html
│ │ │ ├── show.html
│ │ │ ├── sign.html
│ │ │ ├── sinh.html
│ │ │ ├── sin.html
│ │ │ ├── size.html
│ │ │ ├── skewness.html
│ │ │ ├── sort_array.html
│ │ │ ├── soundex.html
│ │ │ ├── spark.addFile.html
│ │ │ ├── spark.als.html
│ │ │ ├── SparkDataFrame.html
│ │ │ ├── spark.gaussianMixture.html
│ │ │ ├── spark.gbt.html
│ │ │ ├── spark.getSparkFiles.html
│ │ │ ├── spark.getSparkFilesRootDirectory.html
│ │ │ ├── spark.glm.html
│ │ │ ├── spark.isoreg.html
│ │ │ ├── spark.kmeans.html
│ │ │ ├── spark.kstest.html
│ │ │ ├── spark.lapply.html
│ │ │ ├── spark.lda.html
│ │ │ ├── spark.logit.html
│ │ │ ├── spark.mlp.html
│ │ │ ├── spark.naiveBayes.html
│ │ │ ├── spark_partition_id.html
│ │ │ ├── spark.randomForest.html
│ │ │ ├── sparkR.callJMethod.html
│ │ │ ├── sparkR.callJStatic.html
│ │ │ ├── sparkR.conf.html
│ │ │ ├── sparkRHive.init-deprecated.html
│ │ │ ├── sparkR.init-deprecated.html
│ │ │ ├── sparkR.newJObject.html
│ │ │ ├── sparkR.session.html
│ │ │ ├── sparkR.session.stop.html
│ │ │ ├── sparkRSQL.init-deprecated.html
│ │ │ ├── sparkR.version.html
│ │ │ ├── spark.survreg.html
│ │ │ ├── sql.html
│ │ │ ├── sqrt.html
│ │ │ ├── startsWith.html
│ │ │ ├── stddev_pop.html
│ │ │ ├── stddev_samp.html
│ │ │ ├── storageLevel.html
│ │ │ ├── str.html
│ │ │ ├── structField.html
│ │ │ ├── struct.html
│ │ │ ├── structType.html
│ │ │ ├── subset.html
│ │ │ ├── substr.html
│ │ │ ├── substring_index.html
│ │ │ ├── sumDistinct.html
│ │ │ ├── sum.html
│ │ │ ├── summarize.html
│ │ │ ├── summary.html
│ │ │ ├── tableNames.html
│ │ │ ├── tables.html
│ │ │ ├── tableToDF.html
│ │ │ ├── take.html
│ │ │ ├── tanh.html
│ │ │ ├── tan.html
│ │ │ ├── to_date.html
│ │ │ ├── toDegrees.html
│ │ │ ├── toRadians.html
│ │ │ ├── to_utc_timestamp.html
│ │ │ ├── translate.html
│ │ │ ├── trim.html
│ │ │ ├── unbase64.html
│ │ │ ├── uncacheTable.html
│ │ │ ├── unhex.html
│ │ │ ├── union.html
│ │ │ ├── unix_timestamp.html
│ │ │ ├── unpersist.html
│ │ │ ├── upper.html
│ │ │ ├── var.html
│ │ │ ├── var_pop.html
│ │ │ ├── var_samp.html
│ │ │ ├── weekofyear.html
│ │ │ ├── when.html
│ │ │ ├── window.html
│ │ │ ├── windowOrderBy.html
│ │ │ ├── windowPartitionBy.html
│ │ │ ├── WindowSpec.html
│ │ │ ├── withColumn.html
│ │ │ ├── with.html
│ │ │ ├── write.df.html
│ │ │ ├── write.jdbc.html
│ │ │ ├── write.json.html
│ │ │ ├── write.ml.html
│ │ │ ├── write.orc.html
│ │ │ ├── write.parquet.html
│ │ │ ├── write.text.html
│ │ │ └── year.html
│ │ ├── INDEX
│ │ ├── Meta
│ │ │ ├── hsearch.rds
│ │ │ ├── links.rds
│ │ │ ├── nsInfo.rds
│ │ │ ├── package.rds
│ │ │ └── Rd.rds
│ │ ├── NAMESPACE
│ │ ├── profile
│ │ │ ├── general.R
│ │ │ └── shell.R
│ │ ├── R
│ │ │ ├── SparkR
│ │ │ ├── SparkR.rdb
│ │ │ └── SparkR.rdx
│ │ ├── tests
│ │ │ └── testthat
│ │ │ ├── jarTest.R
│ │ │ ├── packageInAJarTest.R
│ │ │ ├── test_binaryFile.R
│ │ │ ├── test_binary_function.R
│ │ │ ├── test_broadcast.R
│ │ │ ├── test_client.R
│ │ │ ├── test_context.R
│ │ │ ├── test_includePackage.R
│ │ │ ├── test_jvm_api.R
│ │ │ ├── test_mllib.R
│ │ │ ├── test_parallelize_collect.R
│ │ │ ├── test_rdd.R
│ │ │ ├── test_Serde.R
│ │ │ ├── test_shuffle.R
│ │ │ ├── test_sparkR.R
│ │ │ ├── test_sparkSQL.R
│ │ │ ├── test_take.R
│ │ │ ├── test_textFile.R
│ │ │ ├── test_utils.R
│ │ │ └── test_Windows.R
│ │ └── worker
│ │ ├── daemon.R
│ │ └── worker.R
│ └── sparkr.zip
├── README.md
├── RELEASE
├── sbin
│ ├── slaves.sh
│ ├── spark-config.sh
│ ├── spark-daemon.sh
│ ├── spark-daemons.sh
│ ├── start-all.sh
│ ├── start-history-server.sh
│ ├── start-master.sh
│ ├── start-mesos-dispatcher.sh
│ ├── start-mesos-shuffle-service.sh
│ ├── start-shuffle-service.sh
│ ├── start-slave.sh
│ ├── start-slaves.sh
│ ├── start-thriftserver.sh
│ ├── stop-all.sh
│ ├── stop-history-server.sh
│ ├── stop-master.sh
│ ├── stop-mesos-dispatcher.sh
│ ├── stop-mesos-shuffle-service.sh
│ ├── stop-shuffle-service.sh
│ ├── stop-slave.sh
│ ├── stop-slaves.sh
│ └── stop-thriftserver.sh
└── yarn
└── spark-2.1.0-yarn-shuffle.jar
100 directories, 1256 files
标签：
好例子网口号：伸出你的我的手 — 分享！
小贴士
感谢您为本站写下的评论，您的评论对其它用户来说具有重要的参考价值，所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字，对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙，所以请不要反馈意义不大的重复字符，也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明，或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦，又没人会搭理，于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享，对搜索内容的合法性不具有预见性、识别性、控制性，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论平台是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定，若资源存在侵权或相关问题请联系本站客服人员，点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论