Python中用于流式传输大文件的实用工具（S3、HDFS、gzip、bz2...）

【实例简介】
smart_open是一个针对Python 3的库，用于高效地从各种存储（如S3、GCS、Azure Blob Storage、HDFS、WebHDFS、HTTP、HTTPS、SFTP或本地文件系统）流式传输非常大的文件。它支持对各种不同格式的透明、即时（解）压缩。
smart_open是Python内置open()的即插即用替代品：它可以完成open能做的任何事情（100%兼容，在可能的情况下回退到本机open），并且在此基础上增加了许多聪明的额外功能。

【实例截图】
【核心代码】
文件清单
└── smart_open-5a826134eb23c86087d06db3b78b25484e7e2e6d
    ├── benchmark
    │   ├── bytebuffer_bench.py
    │   └── read_s3.py
    ├── CHANGELOG.md
    ├── ci_helpers
    │   ├── doctest.py
    │   ├── helpers.sh
    │   ├── README.txt
    │   ├── run_benchmarks.py
    │   ├── run_integration_tests.py
    │   └── test_missing_dependencies.py
    ├── CONTRIBUTING.md
    ├── extending.md
    ├── help.txt
    ├── howto.md
    ├── integration-tests
    │   ├── initialize_s3_bucket.py
    │   ├── README.md
    │   ├── requirements.txt
    │   ├── test_184.py
    │   ├── test_207.py
    │   ├── test_azure.py
    │   ├── test_ftp.py
    │   ├── test_gcs.py
    │   ├── test_hdfs.py
    │   ├── test_http.py
    │   ├── test_minio.py
    │   ├── test_s3_buffering.py
    │   ├── test_s3_ported.py
    │   ├── test_s3.py
    │   ├── test_s3_readline.py
    │   ├── test_ssh.py
    │   ├── test_version_id.py
    │   └── test_webhdfs.py
    ├── LICENSE
    ├── MANIFEST.in
    ├── MIGRATING_FROM_OLDER_VERSIONS.rst
    ├── pyproject.toml
    ├── README.rst
    ├── release
    │   ├── annotate_pr.py
    │   ├── check_preamble.py
    │   ├── doctest.sh
    │   ├── hijack_pr.py
    │   ├── merge.sh
    │   ├── prepare.sh
    │   ├── README.md
    │   ├── update_help_txt.sh
    │   └── update_release_notes.py
    ├── sampledata
    │   └── hello.zip
    ├── setup.py
    └── smart_open
        ├── azure.py
        ├── bytebuffer.py
        ├── compression.py
        ├── concurrency.py
        ├── constants.py
        ├── doctools.py
        ├── ftp.py
        ├── gcs.py
        ├── hdfs.py
        ├── http.py
        ├── __init__.py
        ├── local_file.py
        ├── s3.py
        ├── smart_open_lib.py
        ├── ssh.py
        ├── tests
        │   ├── fixtures
        │   │   ├── good_transport.py
        │   │   ├── __init__.py
        │   │   ├── missing_deps_transport.py
        │   │   └── no_schemes_transport.py
        │   ├── __init__.py
        │   ├── test_azure.py
        │   ├── test_bytebuffer.py
        │   ├── test_compression.py
        │   ├── test_data
        │   │   ├── 1984.txt.bz2
        │   │   ├── 1984.txt.gz
        │   │   ├── 1984.txt.gzip
        │   │   ├── 1984.txt.xz
        │   │   ├── cp852.tsv.txt
        │   │   ├── crime-and-punishment.txt
        │   │   ├── crime-and-punishment.txt.gz
        │   │   ├── crime-and-punishment.txt.xz
        │   │   ├── crlf_at_1k_boundary.warc.gz
        │   │   └── ssh.cfg
        │   ├── test_gcs.py
        │   ├── test_hdfs.py
        │   ├── test_http.py
        │   ├── test_package.py
        │   ├── test_s3.py
        │   ├── test_s3_version.py
        │   ├── test_smart_open.py
        │   ├── test_ssh.py
        │   ├── test_transport.py
        │   └── test_utils.py
        ├── transport.py
        ├── utils.py
        ├── version.py
        └── webhdfs.py

10 directories, 94 files