实例介绍
【实例简介】
设计并实现crawler 程序 对 crawler 的功能要求如下，但不限于此： （1） 能够搜集本站内的所有网页，能提取出其中的URL 并加入到待搜集的URL 队列 中，对非本网站域名的URL，只允许搜集首页，记录发现的URL 即可；对搜集的结果，产 生2 个URL 列表：站内搜集URL、非站内（站外）发现URL； （2）使用User-agent 向服务器表明自己的身份； （3）能对HTML 网页进行解析，提取出链接URL，能判别提取的URL 是否已处理过， 不重复下载和解析已搜集过的网页； （4）能够对crawler 的一些基本参数进行设置，包括：搜集深度（depth）、文件类型、 文件大小等。 （5）对搜集的过程生成日志文本文件，格式为三元组： 时间戳(timestamp) Action URL Action 可表示当前的处理动作，例如processing（处理），parsing（解析），downloading （下载）等。对Action 的定义，请在实验报告中详细说明。 （6）遵循礼貌规则。必须分析robots.txt 文件和meta tag 有无限制；一个线程抓完一个 网页后要适当停顿（sleep）；最多允许与被搜集站点同时建立2 个连接（本地做网页解析的 线程数则不限）。 （7）采用多线程并行编程技术，提高搜集速度。
【实例截图】
【核心代码】
4744302542982090682.rar
└── crawler
└── 实验1
├── crawler
│ ├── CallBack.java
│ ├── Crawler.java
│ ├── Fetcher.java
│ ├── Parser.java
│ └── URLList.java
└── Crawler实验报告.doc
3 directories, 6 files
设计并实现crawler 程序 对 crawler 的功能要求如下，但不限于此： （1） 能够搜集本站内的所有网页，能提取出其中的URL 并加入到待搜集的URL 队列 中，对非本网站域名的URL，只允许搜集首页，记录发现的URL 即可；对搜集的结果，产 生2 个URL 列表：站内搜集URL、非站内（站外）发现URL； （2）使用User-agent 向服务器表明自己的身份； （3）能对HTML 网页进行解析，提取出链接URL，能判别提取的URL 是否已处理过， 不重复下载和解析已搜集过的网页； （4）能够对crawler 的一些基本参数进行设置，包括：搜集深度（depth）、文件类型、 文件大小等。 （5）对搜集的过程生成日志文本文件，格式为三元组： 时间戳(timestamp) Action URL Action 可表示当前的处理动作，例如processing（处理），parsing（解析），downloading （下载）等。对Action 的定义，请在实验报告中详细说明。 （6）遵循礼貌规则。必须分析robots.txt 文件和meta tag 有无限制；一个线程抓完一个 网页后要适当停顿（sleep）；最多允许与被搜集站点同时建立2 个连接（本地做网页解析的 线程数则不限）。 （7）采用多线程并行编程技术，提高搜集速度。
【实例截图】
【核心代码】
4744302542982090682.rar
└── crawler
└── 实验1
├── crawler
│ ├── CallBack.java
│ ├── Crawler.java
│ ├── Fetcher.java
│ ├── Parser.java
│ └── URLList.java
└── Crawler实验报告.doc
3 directories, 6 files
标签：
好例子网口号：伸出你的我的手 — 分享！
小贴士
感谢您为本站写下的评论，您的评论对其它用户来说具有重要的参考价值，所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字，对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙，所以请不要反馈意义不大的重复字符，也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明，或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦，又没人会搭理，于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享，对搜索内容的合法性不具有预见性、识别性、控制性，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论平台是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定，若资源存在侵权或相关问题请联系本站客服人员，点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论