ProxyPool用于网络爬虫

【实例简介】
Python代理池项目，主要功能为定时采集网上发布的免费代理验证入库，定时验证入库的代理保证代理的可用性，提供API和CLI两种使用方式。同时你也可以扩展代理源以增加代理池IP的质量和数量。
【实例截图】
【核心代码】
文件清单
└── proxy_pool-f8b9575f7f50edc36efa60f56b46deab4c212972
    ├── api
    │   ├── __init__.py
    │   └── proxyApi.py
    ├── _config.yml
    ├── db
    │   ├── dbClient.py
    │   ├── __init__.py
    │   ├── redisClient.py
    │   └── ssdbClient.py
    ├── docker-compose.yml
    ├── Dockerfile
    ├── docs
    │   ├── changelog.rst
    │   ├── conf.py
    │   ├── dev
    │   │   ├── ext_fetcher.rst
    │   │   ├── ext_validator.rst
    │   │   └── index.rst
    │   ├── index.rst
    │   ├── make.bat
    │   ├── Makefile
    │   └── user
    │       ├── how_to_config.rst
    │       ├── how_to_run.rst
    │       ├── how_to_use.rst
    │       └── index.rst
    ├── fetcher
    │   ├── __init__.py
    │   └── proxyFetcher.py
    ├── handler
    │   ├── configHandler.py
    │   ├── __init__.py
    │   ├── logHandler.py
    │   └── proxyHandler.py
    ├── helper
    │   ├── check.py
    │   ├── fetch.py
    │   ├── __init__.py
    │   ├── launcher.py
    │   ├── proxy.py
    │   ├── scheduler.py
    │   └── validator.py
    ├── LICENSE
    ├── proxyPool.py
    ├── README.md
    ├── requirements.txt
    ├── setting.py
    ├── start.sh
    ├── test
    │   ├── __init__.py
    │   ├── testConfigHandler.py
    │   ├── testDbClient.py
    │   ├── testLogHandler.py
    │   ├── testProxyClass.py
    │   ├── testProxyFetcher.py
    │   ├── testProxyValidator.py
    │   ├── testRedisClient.py
    │   └── testSsdbClient.py
    ├── test.py
    └── util
        ├── __init__.py
        ├── lazyProperty.py
        ├── singleton.py
        ├── six.py
        └── webRequest.py

11 directories, 55 files