实例介绍
【实例简介】leopardv:分布式爬虫管理系统
分布式爬虫管理系统
介绍
SpiderMAN是基于Django scrapyd bootstrap的分布式爬虫管理系统,能实现分布式任务调度,对数据的监控等
功能
用户登录
管理服务器节点
管理爬虫,爬虫部署
查看数据统计
容器快速部署
用户登录
官员管理
查看所有上游服务器得状态,在上游上部署scrapy项目
官方清单
查看摘要详细情况
爬虫管理
可以启动,停止爬虫,选择爬虫
作业管理
查看爬虫的作业情况
日志查看
查看作业日志
【实例截图】
【核心代码】
【核心代码】
.
├── Python-leopardv分布式爬虫管理系统_leopardv-master.zip
└── leopardv-master
├── README.md
├── anything
│ ├── __init__.py
│ ├── admin.py
│ ├── apps.py
│ ├── migrations
│ │ ├── 0001_initial.py
│ │ ├── 0002_node.py
│ │ ├── 0003_delete_node.py
│ │ ├── 0004_delete_userporfile.py
│ │ └── __init__.py
│ ├── models.py
│ ├── tests.py
│ └── views.py
├── api
│ ├── __init__.py
│ ├── admin.py
│ ├── apps.py
│ ├── migrations
│ │ ├── 0001_initial.py
│ │ ├── 0002_deploy.py
│ │ ├── 0003_project.py
│ │ ├── 0004_project_add_date.py
│ │ ├── 0005_auto_20190928_0844.py
│ │ ├── 0006_project_node.py
│ │ ├── 0007_remove_project_node.py
│ │ ├── 0008_auto_20190928_1416.py
│ │ ├── 0009_auto_20190928_1439.py
│ │ ├── 0010_auto_20190929_1438.py
│ │ ├── 0011_auto_20190930_1142.py
│ │ ├── 0012_job_node.py
│ │ ├── 0013_auto_20191011_1819.py
│ │ ├── 0014_auto_20191012_1746.py
│ │ ├── 0015_job_jid.py
│ │ └── __init__.py
│ ├── models.py
│ ├── serializers.py
│ ├── tests.py
│ ├── urls.py
│ ├── utils.py
│ └── views.py
├── client
│ ├── __init__.py
│ └── client.py
├── db.sqlite3
├── leopardv
│ ├── __init__.py
│ ├── settings.py
│ ├── urls.py
│ └── wsgi.py
├── manage.py
├── requirements.txt
├── server
│ ├── __init__.py
│ └── server.py
├── statics
│ ├── css
│ │ ├── AdminLTE.css
│ │ ├── AdminLTE.min.css
│ │ ├── adminlte.css.map
│ │ ├── adminlte.min.css.map
│ │ ├── alt
│ │ │ ├── AdminLTE-bootstrap-social.css
│ │ │ ├── AdminLTE-bootstrap-social.min.css
│ │ │ ├── AdminLTE-fullcalendar.css
│ │ │ ├── AdminLTE-fullcalendar.min.css
│ │ │ ├── AdminLTE-select2.css
│ │ │ ├── AdminLTE-select2.min.css
│ │ │ ├── AdminLTE-without-plugins.css
│ │ │ └── AdminLTE-without-plugins.min.css
│ │ ├── blue.css
│ │ ├── blue.png
│ │ ├── blue@2x.png
│ │ ├── bootstrap.min.css
│ │ ├── dataTables.bootstrap.min.css
│ │ ├── font-awesome.min.css
│ │ ├── ionicons.min.css
│ │ ├── select2.min.css
│ │ └── skins
│ │ ├── _all-skins.css
│ │ ├── _all-skins.min.css
│ │ ├── skin-black-light.css
│ │ ├── skin-black-light.min.css
│ │ ├── skin-black.css
│ │ ├── skin-black.min.css
│ │ ├── skin-blue-light.css
│ │ ├── skin-blue-light.min.css
│ │ ├── skin-blue.css
│ │ ├── skin-blue.min.css
│ │ ├── skin-green-light.css
│ │ ├── skin-green-light.min.css
│ │ ├── skin-green.css
│ │ ├── skin-green.min.css
│ │ ├── skin-purple-light.css
│ │ ├── skin-purple-light.min.css
│ │ ├── skin-purple.css
│ │ ├── skin-purple.min.css
│ │ ├── skin-red-light.css
│ │ ├── skin-red-light.min.css
│ │ ├── skin-red.css
│ │ ├── skin-red.min.css
│ │ ├── skin-yellow-light.css
│ │ ├── skin-yellow-light.min.css
│ │ ├── skin-yellow.css
│ │ └── skin-yellow.min.css
│ ├── fonts
│ │ ├── FontAwesome.otf
│ │ ├── fontawesome-webfont.eot
│ │ ├── fontawesome-webfont.svg
│ │ ├── fontawesome-webfont.ttf
│ │ ├── fontawesome-webfont.woff
│ │ ├── fontawesome-webfont.woff2
│ │ ├── glyphicons-halflings-regular.eot
│ │ ├── glyphicons-halflings-regular.svg
│ │ ├── glyphicons-halflings-regular.ttf
│ │ ├── glyphicons-halflings-regular.woff
│ │ └── glyphicons-halflings-regular.woff2
│ ├── img
│ │ ├── default-50x50.gif
│ │ ├── job.PNG
│ │ ├── log.PNG
│ │ ├── login.PNG
│ │ ├── node.PNG
│ │ ├── node_detail.PNG
│ │ ├── spider.PNG
│ │ └── spider1.PNG
│ └── js
│ ├── adminlte.js
│ ├── adminlte.min.js
│ ├── bootstrap.min.js
│ ├── dataTables.bootstrap.min.js
│ ├── demo.js
│ ├── echarts.common.min.js
│ ├── fastclick.js
│ ├── icheck.min.js
│ ├── jquery.dataTables.min.js
│ ├── jquery.min.js
│ ├── jquery.slimscroll.min.js
│ ├── jquery.validate.js
│ ├── macarons.js
│ ├── pages
│ │ ├── dashboard.js
│ │ └── dashboard2.js
│ └── select2.full.min.js
└── templates
├── index.html
├── job.html
├── log.html
├── login.html
├── node.html
├── node_detail.html
└── project.html
17 directories, 137 files
小贴士
感谢您为本站写下的评论,您的评论对其它用户来说具有重要的参考价值,所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字,对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙,所以请不要反馈意义不大的重复字符,也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明,或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦,又没人会搭理,于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享,对搜索内容的合法性不具有预见性、识别性、控制性,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论平台是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定,若资源存在侵权或相关问题请联系本站客服人员,点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论