xgboost源代码

【实例简介】
本人通过亲自实践，教大家一步步在win下安装xgboost(http://blog.csdn.net/jingyi130705008/article/details/71435562)，这个是之前的xgboost的C++版本，是在python使用xgboost之前必须的包。
【实例截图】
【核心代码】
xgboost-master
└── xgboost-master
├── appveyor.yml
├── build.sh
├── CHANGES.md
├── CONTRIBUTORS.md
├── demo
│   ├── binary_classification
│   │   ├── agaricus-lepiota.data
│   │   ├── agaricus-lepiota.fmap
│   │   ├── agaricus-lepiota.names
│   │   ├── mapfeat.py
│   │   ├── mknfold.py
│   │   ├── mushroom.conf
│   │   ├── README.md
│   │   └── runexp.sh
│   ├── data
│   │   ├── agaricus.txt.test
│   │   ├── agaricus.txt.train
│   │   ├── featmap.txt
│   │   └── README.md
│   ├── guide-python
│   │   ├── basic_walkthrough.py
│   │   ├── boost_from_prediction.py
│   │   ├── cross_validation.py
│   │   ├── custom_objective.py
│   │   ├── evals_result.py
│   │   ├── external_memory.py
│   │   ├── generalized_linear_model.py
│   │   ├── predict_first_ntree.py
│   │   ├── predict_leaf_indices.py
│   │   ├── README.md
│   │   ├── runall.sh
│   │   ├── sklearn_evals_result.py
│   │   ├── sklearn_examples.py
│   │   └── sklearn_parallel.py
│   ├── kaggle-higgs
│   │   ├── higgs-cv.py
│   │   ├── higgs-numpy.py
│   │   ├── higgs-pred.py
│   │   ├── higgs-pred.R
│   │   ├── higgs-train.R
│   │   ├── README.md
│   │   ├── run.sh
│   │   ├── speedtest.py
│   │   └── speedtest.R
│   ├── kaggle-otto
│   │   ├── otto_train_pred.R
│   │   ├── README.MD
│   │   └── understandingXGBoostModel.Rmd
│   ├── multiclass_classification
│   │   ├── README.md
│   │   ├── runexp.sh
│   │   └── train.py
│   ├── rank
│   │   ├── mq2008.conf
│   │   ├── README.md
│   │   ├── runexp.sh
│   │   ├── trans_data.py
│   │   └── wgetdata.sh
│   ├── README.md
│   ├── regression
│   │   ├── machine.conf
│   │   ├── machine.data
│   │   ├── machine.names
│   │   ├── mapfeat.py
│   │   ├── mknfold.py
│   │   ├── README.md
│   │   └── runexp.sh
│   └── yearpredMSD
│   ├── csv2libsvm.py
│   ├── README.md
│   ├── runexp.sh
│   └── yearpredMSD.conf
├── doc
│   ├── build.md
│   ├── conf.py
│   ├── dev-guide
│   │   └── contribute.md
│   ├── external_memory.md
│   ├── faq.md
│   ├── img
│   │   ├── cart.png
│   │   ├── split_find.png
│   │   ├── step_fit.png
│   │   ├── struct_score.png
│   │   └── twocart.png
│   ├── index.md
│   ├── input_format.md
│   ├── Makefile
│   ├── model.md
│   ├── parameter.md
│   ├── param_tuning.md
│   ├── python
│   │   ├── python_api.rst
│   │   └── python_intro.md
│   ├── README
│   └── sphinx_util.py
├── java
│   ├── create_wrap.bat
│   ├── create_wrap.sh
│   ├── doc
│   │   └── xgboost4j.md
│   ├── README.md
│   ├── xgboost4j
│   │   ├── LICENSE
│   │   ├── pom.xml
│   │   ├── README.md
│   │   └── src
│   │   ├── main
│   │   │   └── java
│   │   │   └── org
│   │   │   └── dmlc
│   │   │   └── xgboost4j
│   │   │   ├── Booster.java
│   │   │   ├── DMatrix.java
│   │   │   ├── IEvaluation.java
│   │   │   ├── IObjective.java
│   │   │   ├── util
│   │   │   │   ├── CVPack.java
│   │   │   │   ├── ErrorHandle.java
│   │   │   │   ├── Initializer.java
│   │   │   │   ├── NativeUtils.java
│   │   │   │   ├── Trainer.java
│   │   │   │   └── XGBoostError.java
│   │   │   └── wrapper
│   │   │   └── XgboostJNI.java
│   │   └── test
│   │   └── java
│   │   └── org
│   │   └── dmlc
│   │   └── xgboost4j
│   │   ├── BoosterTest.java
│   │   └── DMatrixTest.java
│   ├── xgboost4j-demo
│   │   ├── LICENSE
│   │   ├── pom.xml
│   │   ├── README.md
│   │   └── src
│   │   └── main
│   │   └── java
│   │   └── org
│   │   └── dmlc
│   │   └── xgboost4j
│   │   └── demo
│   │   ├── BasicWalkThrough.java
│   │   ├── BoostFromPrediction.java
│   │   ├── CrossValidation.java
│   │   ├── CustomObjective.java
│   │   ├── ExternalMemory.java
│   │   ├── GeneralizedLinearModel.java
│   │   ├── PredictFirstNtree.java
│   │   ├── PredictLeafIndices.java
│   │   └── util
│   │   ├── CustomEval.java
│   │   ├── DataLoader.java
│   │   └── Params.java
│   ├── xgboost4j_wrapper.cpp
│   └── xgboost4j_wrapper.h
├── LICENSE
├── Makefile
├── multi-node
│   ├── col-split
│   │   ├── mushroom-col.conf
│   │   ├── mushroom-col-rabit-mock.sh
│   │   ├── mushroom-col-rabit.sh
│   │   ├── README.md
│   │   └── splitsvm.py
│   └── README.md
├── python-package
│   ├── build
│   │   └── lib
│   │   └── xgboost
│   │   ├── build-python.sh
│   │   ├── compat.py
│   │   ├── core.py
│   │   ├── __init__.py
│   │   ├── libpath.py
│   │   ├── plotting.py
│   │   ├── sklearn.py
│   │   ├── training.py
│   │   └── VERSION
│   ├── build_trouble_shooting.md
│   ├── dist
│   │   └── xgboost-0.4-py2.7.egg
│   ├── MANIFEST.in
│   ├── README.rst
│   ├── setup.cfg
│   ├── setup_pip.py
│   ├── setup.py
│   ├── xgboost
│   │   ├── build-python.sh
│   │   ├── compat.py
│   │   ├── core.py
│   │   ├── __init__.py
│   │   ├── libpath.py
│   │   ├── plotting.py
│   │   ├── sklearn.py
│   │   ├── training.py
│   │   └── VERSION
│   └── xgboost.egg-info
│   ├── dependency_links.txt
│   ├── not-zip-safe
│   ├── PKG-INFO
│   ├── requires.txt
│   ├── SOURCES.txt
│   └── top_level.txt
├── README.md
├── R-package
│   ├── data
│   │   ├── agaricus.test.rda
│   │   └── agaricus.train.rda
│   ├── demo
│   │   ├── 00Index
│   │   ├── basic_walkthrough.R
│   │   ├── boost_from_prediction.R
│   │   ├── caret_wrapper.R
│   │   ├── create_sparse_matrix.R
│   │   ├── cross_validation.R
│   │   ├── custom_objective.R
│   │   ├── early_stopping.R
│   │   ├── generalized_linear_model.R
│   │   ├── poisson_regression.R
│   │   ├── predict_first_ntree.R
│   │   ├── predict_leaf_indices.R
│   │   ├── README.md
│   │   └── runall.R
│   ├── DESCRIPTION
│   ├── LICENSE
│   ├── man
│   │   ├── agaricus.test.Rd
│   │   ├── agaricus.train.Rd
│   │   ├── edge.parser.Rd
│   │   ├── getinfo.Rd
│   │   ├── get.paths.to.leaf.Rd
│   │   ├── multiplot.Rd
│   │   ├── nrow-xgb.DMatrix-method.Rd
│   │   ├── predict-xgb.Booster.handle-method.Rd
│   │   ├── predict-xgb.Booster-method.Rd
│   │   ├── setinfo.Rd
│   │   ├── slice.Rd
│   │   ├── xgb.create.features.Rd
│   │   ├── xgb.cv.Rd
│   │   ├── xgb.DMatrix.Rd
│   │   ├── xgb.DMatrix.save.Rd
│   │   ├── xgb.dump.Rd
│   │   ├── xgb.importance.Rd
│   │   ├── xgb.load.Rd
│   │   ├── xgb.model.dt.tree.Rd
│   │   ├── xgboost.Rd
│   │   ├── xgb.plot.deepness.Rd
│   │   ├── xgb.plot.importance.Rd
│   │   ├── xgb.plot.multi.trees.Rd
│   │   ├── xgb.plot.tree.Rd
│   │   ├── xgb.save.raw.Rd
│   │   ├── xgb.save.Rd
│   │   └── xgb.train.Rd
│   ├── NAMESPACE
│   ├── R
│   │   ├── getinfo.xgb.DMatrix.R
│   │   ├── nrow.xgb.DMatrix.R
│   │   ├── predict.xgb.Booster.handle.R
│   │   ├── predict.xgb.Booster.R
│   │   ├── setinfo.xgb.DMatrix.R
│   │   ├── slice.xgb.DMatrix.R
│   │   ├── utils.R
│   │   ├── xgb.create.features.R
│   │   ├── xgb.cv.R
│   │   ├── xgb.DMatrix.R
│   │   ├── xgb.DMatrix.save.R
│   │   ├── xgb.dump.R
│   │   ├── xgb.importance.R
│   │   ├── xgb.load.R
│   │   ├── xgb.model.dt.tree.R
│   │   ├── xgboost.R
│   │   ├── xgb.plot.deepness.R
│   │   ├── xgb.plot.importance.R
│   │   ├── xgb.plot.multi.trees.R
│   │   ├── xgb.plot.tree.R
│   │   ├── xgb.save.R
│   │   ├── xgb.save.raw.R
│   │   └── xgb.train.R
│   ├── README.md
│   ├── src
│   │   ├── Makevars
│   │   ├── Makevars.win
│   │   ├── xgboost_assert.c
│   │   ├── xgboost_R.cpp
│   │   └── xgboost_R.h
│   ├── tests
│   │   ├── testthat
│   │   │   ├── test_basic.R
│   │   │   ├── test_custom_objective.R
│   │   │   ├── test_glm.R
│   │   │   ├── test_helpers.R
│   │   │   ├── test_lint.R
│   │   │   └── test_poisson_regression.R
│   │   └── testthat.R
│   └── vignettes
│   ├── discoverYourData.Rmd
│   ├── vignette.css
│   ├── xgboost.bib
│   ├── xgboostPresentation.Rmd
│   └── xgboost.Rnw
├── scripts
│   ├── travis_after_failure.sh
│   ├── travis_java_script.sh
│   ├── travis_osx_install.sh
│   ├── travis_R_script.sh
│   └── travis_script.sh
├── src
│   ├── data.h
│   ├── gbm
│   │   ├── gblinear-inl.hpp
│   │   ├── gbm.cpp
│   │   ├── gbm.h
│   │   └── gbtree-inl.hpp
│   ├── io
│   │   ├── dmlc_simple.cpp
│   │   ├── io.cpp
│   │   ├── io.h
│   │   ├── libsvm_parser.h
│   │   ├── page_dmatrix-inl.hpp
│   │   ├── page_fmatrix-inl.hpp
│   │   ├── simple_dmatrix-inl.hpp
│   │   ├── simple_fmatrix-inl.hpp
│   │   └── sparse_batch_page.h
│   ├── learner
│   │   ├── dmatrix.h
│   │   ├── evaluation.h
│   │   ├── evaluation-inl.hpp
│   │   ├── helper_utils.h
│   │   ├── learner-inl.hpp
│   │   ├── objective.h
│   │   └── objective-inl.hpp
│   ├── README.md
│   ├── sync
│   │   └── sync.h
│   ├── tree
│   │   ├── model.h
│   │   ├── param.h
│   │   ├── updater_basemaker-inl.hpp
│   │   ├── updater_colmaker-inl.hpp
│   │   ├── updater.cpp
│   │   ├── updater_distcol-inl.hpp
│   │   ├── updater.h
│   │   ├── updater_histmaker-inl.hpp
│   │   ├── updater_prune-inl.hpp
│   │   ├── updater_refresh-inl.hpp
│   │   ├── updater_skmaker-inl.hpp
│   │   └── updater_sync-inl.hpp
│   ├── utils
│   │   ├── base64-inl.h
│   │   ├── bitmap.h
│   │   ├── config.h
│   │   ├── fmap.h
│   │   ├── group_data.h
│   │   ├── io.h
│   │   ├── iterator.h
│   │   ├── math.h
│   │   ├── omp.h
│   │   ├── quantile.h
│   │   ├── random.h
│   │   ├── thread_buffer.h
│   │   ├── thread.h
│   │   └── utils.h
│   └── xgboost_main.cpp
├── subtree
│   ├── rabit
│   │   ├── doc
│   │   │   ├── conf.py
│   │   │   ├── cpp_api.md
│   │   │   ├── Doxyfile
│   │   │   ├── guide.md
│   │   │   ├── index.md
│   │   │   ├── Makefile
│   │   │   ├── parameters.md
│   │   │   ├── python_api.md
│   │   │   ├── python-requirements.txt
│   │   │   └── sphinx_util.py
│   │   ├── guide
│   │   │   ├── basic.cc
│   │   │   ├── basic.py
│   │   │   ├── broadcast.cc
│   │   │   ├── broadcast.py
│   │   │   ├── lazy_allreduce.cc
│   │   │   ├── lazy_allreduce.py
│   │   │   ├── Makefile
│   │   │   └── README
│   │   ├── include
│   │   │   ├── dmlc
│   │   │   │   ├── io.h
│   │   │   │   └── README.md
│   │   │   ├── rabit
│   │   │   │   ├── engine.h
│   │   │   │   ├── io.h
│   │   │   │   ├── rabit-inl.h
│   │   │   │   ├── timer.h
│   │   │   │   └── utils.h
│   │   │   ├── rabit.h
│   │   │   ├── rabit_serializable.h
│   │   │   └── README.md
│   │   ├── lib
│   │   │   └── README.md
│   │   ├── LICENSE
│   │   ├── Makefile
│   │   ├── README.md
│   │   ├── scripts
│   │   │   ├── travis_runtest.sh
│   │   │   └── travis_script.sh
│   │   ├── src
│   │   │   ├── allreduce_base.cc
│   │   │   ├── allreduce_base.h
│   │   │   ├── allreduce_mock.h
│   │   │   ├── allreduce_robust.cc
│   │   │   ├── allreduce_robust.h
│   │   │   ├── allreduce_robust-inl.h
│   │   │   ├── engine_base.cc
│   │   │   ├── engine.cc
│   │   │   ├── engine_empty.cc
│   │   │   ├── engine_mock.cc
│   │   │   ├── engine_mpi.cc
│   │   │   ├── README.md
│   │   │   └── socket.h
│   │   ├── test
│   │   │   ├── lazy_recover.cc
│   │   │   ├── local_recover.cc
│   │   │   ├── local_recover.py
│   │   │   ├── Makefile
│   │   │   ├── model_recover.cc
│   │   │   ├── README.md
│   │   │   ├── speed_runner.py
│   │   │   ├── speed_test.cc
│   │   │   └── test.mk
│   │   ├── tracker
│   │   │   ├── rabit_demo.py
│   │   │   ├── rabit_hadoop_streaming.py
│   │   │   ├── rabit_mpi.py
│   │   │   ├── rabit_sge.py
│   │   │   ├── rabit_tracker.py
│   │   │   ├── rabit_yarn.py
│   │   │   └── README.md
│   │   ├── windows
│   │   │   ├── basic
│   │   │   │   └── basic.vcxproj
│   │   │   ├── rabit
│   │   │   │   ├── rabit.vcxproj
│   │   │   │   └── Release
│   │   │   │   ├── allreduce_base.obj
│   │   │   │   ├── allreduce_robust.obj
│   │   │   │   ├── engine.obj
│   │   │   │   ├── rabit.Build.CppClean.log
│   │   │   │   ├── rabit.log
│   │   │   │   ├── rabit.tlog
│   │   │   │   │   ├── cl.command.1.tlog
│   │   │   │   │   ├── CL.read.1.tlog
│   │   │   │   │   ├── CL.write.1.tlog
│   │   │   │   │   ├── lib.command.1.tlog
│   │   │   │   │   ├── Lib-link.read.1.tlog
│   │   │   │   │   ├── Lib-link.write.1.tlog
│   │   │   │   │   └── rabit.lastbuildstate
│   │   │   │   └── vc120.pdb
│   │   │   ├── rabit.sln
│   │   │   ├── rabit_wrapper
│   │   │   │   └── rabit_wrapper.vcxproj
│   │   │   └── README.md
│   │   ├── wrapper
│   │   │   ├── rabit.py
│   │   │   ├── rabit_wrapper.cc
│   │   │   └── rabit_wrapper.h
│   │   └── yarn
│   │   ├── build.sh
│   │   ├── README.md
│   │   ├── run_hdfs_prog.py
│   │   └── src
│   │   └── org
│   │   └── apache
│   │   └── hadoop
│   │   └── yarn
│   │   └── rabit
│   │   ├── ApplicationMaster.java
│   │   ├── Client.java
│   │   └── TaskRecord.java
│   └── README.md
├── tests
│   ├── python
│   │   ├── test_basic.py
│   │   ├── test_early_stopping.py
│   │   ├── test_eval_metrics.py
│   │   ├── test_models.py
│   │   ├── test_training_continuation.py
│   │   └── test_with_sklearn.py
│   └── README.md
├── windows
│   ├── README.md
│   ├── Release
│   │   ├── rabit.lib
│   │   ├── xgboost.exe
│   │   ├── xgboostjavawrapper.dll
│   │   ├── xgboostjavawrapper.exp
│   │   ├── xgboostjavawrapper.lib
│   │   ├── xgboostjavawrapper.pdb
│   │   ├── xgboost.pdb
│   │   ├── xgboost_wrapper.dll
│   │   ├── xgboost_wrapper.exp
│   │   ├── xgboost_wrapper.lib
│   │   └── xgboost_wrapper.pdb
│   ├── xgboost
│   │   ├── Release
│   │   │   ├── dmlc_simple.obj
│   │   │   ├── gbm.obj
│   │   │   ├── io.obj
│   │   │   ├── updater.obj
│   │   │   ├── vc120.pdb
│   │   │   ├── xgboost.Build.CppClean.log
│   │   │   ├── xgboost.log
│   │   │   ├── xgboost_main.obj
│   │   │   └── xgboost.tlog
│   │   │   ├── cl.command.1.tlog
│   │   │   ├── CL.read.1.tlog
│   │   │   ├── CL.write.1.tlog
│   │   │   ├── link.command.1.tlog
│   │   │   ├── link.read.1.tlog
│   │   │   ├── link.write.1.tlog
│   │   │   └── xgboost.lastbuildstate
│   │   └── xgboost.vcxproj
│   ├── xgboostjavawrapper
│   │   ├── Release
│   │   │   ├── dmlc_simple.obj
│   │   │   ├── engine_empty.obj
│   │   │   ├── gbm.obj
│   │   │   ├── io.obj
│   │   │   ├── updater.obj
│   │   │   ├── vc120.pdb
│   │   │   ├── xgboost4j_wrapper.obj
│   │   │   ├── xgboostj.20A0E4D7.tlog
│   │   │   │   ├── cl.command.1.tlog
│   │   │   │   ├── CL.read.1.tlog
│   │   │   │   ├── CL.write.1.tlog
│   │   │   │   ├── link.command.1.tlog
│   │   │   │   ├── link.read.1.tlog
│   │   │   │   ├── link.write.1.tlog
│   │   │   │   ├── xgboostjavawrapper.lastbuildstate
│   │   │   │   └── xgboostjavawrapper.write.1u.tlog
│   │   │   ├── xgboostjavawrapper.Build.CppClean.log
│   │   │   ├── xgboostjavawrapper.log
│   │   │   └── xgboost_wrapper.obj
│   │   └── xgboostjavawrapper.vcxproj
│   ├── xgboost.sdf
│   ├── xgboost.sln
│   ├── xgboost.v12.suo
│   └── xgboost_wrapper
│   ├── Release
│   │   ├── dmlc_simple.obj
│   │   ├── engine_empty.obj
│   │   ├── gbm.obj
│   │   ├── io.obj
│   │   ├── updater.obj
│   │   ├── vc120.pdb
│   │   ├── xgboost_wrapper.Build.CppClean.log
│   │   ├── xgboost_wrapper.log
│   │   ├── xgboost_wrapper.obj
│   │   └── xgboost_wrapper.tlog
│   │   ├── cl.command.1.tlog
│   │   ├── CL.read.1.tlog
│   │   ├── CL.write.1.tlog
│   │   ├── link.command.1.tlog
│   │   ├── link.read.1.tlog
│   │   ├── link.write.1.tlog
│   │   ├── xgboost_wrapper.lastbuildstate
│   │   └── xgboost_wrapper.write.1u.tlog
│   └── xgboost_wrapper.vcxproj
└── wrapper
├── jni.h
├── jni_md.h
├── README.md
├── xgboost_wrapper.cpp
└── xgboost_wrapper.h

106 directories, 471 files