实例介绍
这是一个C#实现的Web网页/网络爬虫程序(也叫网络蜘蛛或网络蚂蚁),它可以自动的对一个网站上的网页进行遍历,并自动下载。大多用于搜索引擎的前期数据获取,当然,也可以用来分析获取Email了
【实例截图】
【核心代码】
.
├── AboutForm.cs
├── AboutForm.resx
├── AssemblyInfo.cs
├── BrowseForFolder.cs
├── Crawler.aspx.htm
├── Crawler.aspx_files
│ ├── AddTo_Blink.png
│ ├── AddTo_Delicious.png
│ ├── AddTo_Digg.png
│ ├── AddTo_Facebook.png
│ ├── AddTo_Furl.png
│ ├── AddTo_Google.png
│ ├── AddTo_Live.png
│ ├── AddTo_MrWong.png
│ ├── AddTo_Newsvine.png
│ ├── AddTo_Reddit.png
│ ├── AddTo_Simpy.png
│ ├── AddTo_Technorati.png
│ ├── AddTo_Yahoo.png
│ ├── AddTo_stumbleupon.png
│ ├── Advanced.jpg
│ ├── CodeProject.css
│ ├── Connections.jpg
│ ├── Crawler.jpg
│ ├── DE70DBF1-48CE-462A-88A3-CBB50E4B4602.jpg
│ ├── EG.gif
│ ├── ForumClassic.css
│ ├── Matches.jpg
│ ├── Output.jpg
│ ├── Requests.jpg
│ ├── ServeThirdParty.htm
│ ├── ServeThirdParty_002.htm
│ ├── ServeThirdParty_003.htm
│ ├── ServeThirdParty_004.htm
│ ├── ServeThirdParty_005.htm
│ ├── ServeThirdParty_data
│ │ ├── InsertFlash.js
│ │ └── pageid6473564894.js
│ ├── ServeThirdParty_data_002
│ │ └── pageid3532117455.js
│ ├── ServeThirdParty_data_003
│ │ └── pageid4082160291.js
│ ├── ServeThirdParty_data_004
│ │ └── pageid3571057533.js
│ ├── ServeThirdParty_data_005
│ │ └── pageid6483715658.js
│ ├── ShortCuts.js
│ ├── Threads.jpg
│ ├── TogglePre.js
│ ├── TopNavBar.js
│ ├── WebCrawlerArchitecture.png
│ ├── addto.js
│ ├── ajax-loader.gif
│ ├── bookmark.js
│ ├── coffee.gif
│ ├── discuss.gif
│ ├── fave.gif
│ ├── forum_faq.gif
│ ├── forum_newmsg.gif
│ ├── forum_search.gif
│ ├── ga.js
│ ├── jxs.js
│ ├── link.png
│ ├── logo225x90.gif
│ ├── mail.gif
│ ├── member_sm.gif
│ ├── menu132_com.js
│ ├── minus.gif
│ ├── msg_admin.gif
│ ├── msg_answer.gif
│ ├── msg_general.gif
│ ├── msg_joke.gif
│ ├── msg_news.gif
│ ├── msg_question.gif
│ ├── msg_rant.gif
│ ├── oncopy.js
│ ├── pollcol.gif
│ ├── print.gif
│ ├── prize_winner.gif
│ ├── rateitem.js
│ ├── red.gif
│ ├── report.gif
│ ├── smiley_smile.gif
│ ├── staff_sm.gif
│ ├── t.gif
│ ├── t.htm
│ ├── t_002.gif
│ ├── thumbs_down.gif
│ ├── thumbs_up.gif
│ └── watchon.png
├── Crawler.csproj
├── Crawler.csproj.user
├── Crawler.sln
├── Crawler_demo.zip
├── Crawler_src.zip
├── FileTypeForm.cs
├── FileTypeForm.resx
├── MainForm.cs
├── MainForm.resx
├── Settings.cs
├── SettingsForm.cs
├── SettingsForm.resx
├── SortTree.cs
├── res
│ ├── App.ico
│ ├── Error.ICO
│ ├── Mem1.ICO
│ ├── Mem10.ICO
│ ├── Mem11.ICO
│ ├── Mem2.ICO
│ ├── Mem3.ICO
│ ├── Mem4.ICO
│ ├── Mem5.ICO
│ ├── Mem6.ICO
│ ├── Mem7.ICO
│ ├── Mem8.ICO
│ ├── Mem9.ICO
│ ├── Pause.ICO
│ ├── Proxy.ICO
│ ├── Request.ico
│ ├── Run.ICO
│ ├── Stop.ICO
│ ├── TOOLS.ICO
│ ├── TRFFC09.ICO
│ ├── TRFFC10A.ICO
│ ├── TRFFC10B.ICO
│ ├── TRFFC10C.ICO
│ ├── Thread.ico
│ └── mainfrm.ico
└── 基于Socket的多线程C#爬虫程序网_multi-thread-simple-crawler-socket.rar
7 directories, 123 files
小贴士
感谢您为本站写下的评论,您的评论对其它用户来说具有重要的参考价值,所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字,对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙,所以请不要反馈意义不大的重复字符,也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明,或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦,又没人会搭理,于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享,对搜索内容的合法性不具有预见性、识别性、控制性,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论平台是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定,若资源存在侵权或相关问题请联系本站客服人员,点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论