实例介绍
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 hadoop 安装路径下的lib/native ,再把core-site.xml 增加 <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.GzipCodec,org.
【实例截图】
【核心代码】
hadoop-lzo-0.4.20.tar
└── hadoop-lzo-0.4.15
├── build.xml
├── docs
│ └── api
│ ├── allclasses-frame.html
│ ├── allclasses-noframe.html
│ ├── com
│ │ ├── hadoop
│ │ │ ├── compression
│ │ │ │ └── lzo
│ │ │ │ ├── CChecksum.html
│ │ │ │ ├── class-use
│ │ │ │ │ ├── CChecksum.html
│ │ │ │ │ ├── DChecksum.html
│ │ │ │ │ ├── DistributedLzoIndexer.html
│ │ │ │ │ ├── GPLNativeCodeLoader.html
│ │ │ │ │ ├── LzoCodec.html
│ │ │ │ │ ├── LzoIndexer.html
│ │ │ │ │ ├── LzoIndex.html
│ │ │ │ │ ├── LzoInputFormatCommon.html
│ │ │ │ │ ├── LzopCodec.html
│ │ │ │ │ ├── LzopDecompressor.html
│ │ │ │ │ ├── LzopInputStream.html
│ │ │ │ │ └── LzopOutputStream.html
│ │ │ │ ├── DChecksum.html
│ │ │ │ ├── DistributedLzoIndexer.html
│ │ │ │ ├── GPLNativeCodeLoader.html
│ │ │ │ ├── LzoCodec.html
│ │ │ │ ├── LzoIndexer.html
│ │ │ │ ├── LzoIndex.html
│ │ │ │ ├── LzoInputFormatCommon.html
│ │ │ │ ├── LzopCodec.html
│ │ │ │ ├── LzopDecompressor.html
│ │ │ │ ├── LzopInputStream.html
│ │ │ │ ├── LzopOutputStream.html
│ │ │ │ ├── package-frame.html
│ │ │ │ ├── package-summary.html
│ │ │ │ ├── package-tree.html
│ │ │ │ └── package-use.html
│ │ │ ├── mapred
│ │ │ │ ├── class-use
│ │ │ │ │ ├── DeprecatedLzoLineRecordReader.html
│ │ │ │ │ └── DeprecatedLzoTextInputFormat.html
│ │ │ │ ├── DeprecatedLzoLineRecordReader.html
│ │ │ │ ├── DeprecatedLzoTextInputFormat.html
│ │ │ │ ├── package-frame.html
│ │ │ │ ├── package-summary.html
│ │ │ │ ├── package-tree.html
│ │ │ │ └── package-use.html
│ │ │ └── mapreduce
│ │ │ ├── class-use
│ │ │ │ ├── LzoIndexOutputFormat.html
│ │ │ │ ├── LzoIndexRecordWriter.html
│ │ │ │ ├── LzoLineRecordReader.html
│ │ │ │ ├── LzoSplitInputFormat.html
│ │ │ │ ├── LzoSplitRecordReader.html
│ │ │ │ └── LzoTextInputFormat.html
│ │ │ ├── LzoIndexOutputFormat.html
│ │ │ ├── LzoIndexRecordWriter.html
│ │ │ ├── LzoLineRecordReader.html
│ │ │ ├── LzoSplitInputFormat.html
│ │ │ ├── LzoSplitRecordReader.html
│ │ │ ├── LzoTextInputFormat.html
│ │ │ ├── package-frame.html
│ │ │ ├── package-summary.html
│ │ │ ├── package-tree.html
│ │ │ └── package-use.html
│ │ └── quicklz
│ │ ├── class-use
│ │ │ └── QuickLZ.html
│ │ ├── package-frame.html
│ │ ├── package-summary.html
│ │ ├── package-tree.html
│ │ ├── package-use.html
│ │ └── QuickLZ.html
│ ├── constant-values.html
│ ├── deprecated-list.html
│ ├── help-doc.html
│ ├── index-all.html
│ ├── index.html
│ ├── org
│ │ └── apache
│ │ └── hadoop
│ │ └── io
│ │ └── compress
│ │ ├── class-use
│ │ │ └── LzoCodec.html
│ │ ├── LzoCodec.html
│ │ ├── package-frame.html
│ │ ├── package-summary.html
│ │ ├── package-tree.html
│ │ └── package-use.html
│ ├── overview-frame.html
│ ├── overview-summary.html
│ ├── overview-tree.html
│ ├── package-list
│ ├── script.js
│ └── stylesheet.css
├── hadoop-lzo-0.4.20.jar
├── ivy
│ ├── ivy-2.0.0-rc2.jar
│ ├── ivy-2.2.0.jar
│ ├── ivysettings.xml
│ └── libraries.properties
├── ivy.xml
├── lib
│ ├── commons-logging-1.0.4.jar
│ ├── commons-logging-api-1.0.4.jar
│ ├── junit-3.8.1.jar
│ └── native
│ └── Mac_OS_X-x86_64-64
│ ├── libgplcompression.0.dylib
│ ├── libgplcompression.a
│ ├── libgplcompression.dylib
│ └── libgplcompression.la
└── src
├── get_build_revision.sh
├── java
│ ├── com
│ │ ├── hadoop
│ │ │ ├── compression
│ │ │ │ └── lzo
│ │ │ │ ├── CChecksum.java
│ │ │ │ ├── DChecksum.java
│ │ │ │ ├── DistributedLzoIndexer.java
│ │ │ │ ├── GPLNativeCodeLoader.java
│ │ │ │ ├── LzoCodec.java
│ │ │ │ ├── LzoCompressor.java
│ │ │ │ ├── LzoDecompressor.java
│ │ │ │ ├── LzoIndexer.java
│ │ │ │ ├── LzoIndex.java
│ │ │ │ ├── LzoInputFormatCommon.java
│ │ │ │ ├── LzopCodec.java
│ │ │ │ ├── LzopDecompressor.java
│ │ │ │ ├── LzopInputStream.java
│ │ │ │ └── LzopOutputStream.java
│ │ │ ├── mapred
│ │ │ │ ├── DeprecatedLzoLineRecordReader.java
│ │ │ │ └── DeprecatedLzoTextInputFormat.java
│ │ │ └── mapreduce
│ │ │ ├── LzoIndexOutputFormat.java
│ │ │ ├── LzoIndexRecordWriter.java
│ │ │ ├── LzoLineRecordReader.java
│ │ │ ├── LzoSplitInputFormat.java
│ │ │ ├── LzoSplitRecordReader.java
│ │ │ └── LzoTextInputFormat.java
│ │ └── quicklz
│ │ └── QuickLZ.java
│ └── org
│ └── apache
│ └── hadoop
│ └── io
│ └── compress
│ └── LzoCodec.java
├── native
│ ├── aclocal.m4
│ ├── bootstrap.sh
│ ├── config
│ │ ├── config.guess
│ │ ├── config.sub
│ │ ├── depcomp
│ │ ├── install-sh
│ │ ├── ltmain.sh
│ │ └── missing
│ ├── configure
│ ├── configure.ac
│ ├── impl
│ │ ├── config.h.in
│ │ ├── gpl-compression.h
│ │ └── lzo
│ │ ├── LzoCompressor.c
│ │ ├── LzoDecompressor.c
│ │ └── lzo.h
│ ├── m4
│ │ ├── compression_utils.m4
│ │ ├── libtool.m4
│ │ ├── lt~obsolete.m4
│ │ ├── ltoptions.m4
│ │ ├── ltsugar.m4
│ │ └── ltversion.m4
│ ├── Makefile.am
│ ├── Makefile.in
│ └── packageNativeHadoop.sh
└── test
├── com
│ └── hadoop
│ ├── compression
│ │ └── lzo
│ │ ├── TestLzoCodec.java
│ │ ├── TestLzopInputStream.java
│ │ ├── TestLzopOutputStream.java
│ │ └── TestLzoRandData.java
│ └── mapreduce
│ └── TestLzoTextInputFormat.java
└── data
├── 0.txt
├── 0.txt.lzo
├── 100000.txt
├── 100000.txt.lzo
├── 1000.txt
├── 1000.txt.lzo
├── 100.txt
├── 100.txt.lzo
└── issue20-lzop.txt
50 directories, 154 files
标签:
相关软件
小贴士
感谢您为本站写下的评论,您的评论对其它用户来说具有重要的参考价值,所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字,对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙,所以请不要反馈意义不大的重复字符,也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明,或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦,又没人会搭理,于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享,对搜索内容的合法性不具有预见性、识别性、控制性,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论平台是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定,若资源存在侵权或相关问题请联系本站客服人员,点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论