豆瓣电影大数据分析-【附带爬虫豆瓣，对数据处理，数据分析，可视化】.zip

【实例简介】
平台部分主要是hadoop分布式系统，基于该系统融合了组件Spark，Hbase，Hive，Sqoop，Mahout等。继而进行相关的数据分析 该项目主要分为以下几部分: 1:数据采集 主要是基于豆瓣电影的数据，进行分析，所以首先要爬取相关的电影数据，对应的源代码在DouBan_Spider目录下，主要是采用Python + BeautifulSoup + urllib进行数据采集 2:ETL预处理 3:数据分析 4:可视化 代码封装完好， 适用于对作影视感情分析，影评分析，电影类型分析，推荐系统的建立
【实例截图】
【核心代码】
4744300845375225528.zip
└── Douban_Movies_Analysic-master
├── DouBan_Spider
│   ├── download
│   │   ├── down_html.py
│   │   ├── __init__.py
│   │   └── __pycache__
│   │   ├── down_html.cpython-34.pyc
│   │   └── __init__.cpython-34.pyc
│   ├── file_output
│   │   ├── category.csv
│   │   ├── duanping
│   │   │   └── 5045678 .txt
│   │   ├── movie.csv
│   │   ├── movies_links.csv
│   │   ├── movie_summary.txt
│   │   └── yingping
│   │   └── 5045678 .txt
│   ├── main.py
│   ├── output
│   │   ├── __init__.py
│   │   ├── output_all.py
│   │   └── __pycache__
│   │   ├── __init__.cpython-34.pyc
│   │   └── output_all.cpython-34.pyc
│   ├── parase
│   │   ├── __init__.py
│   │   ├── parase_html.py
│   │   └── __pycache__
│   │   ├── __init__.cpython-34.pyc
│   │   └── parase_html.cpython-34.pyc
│   └── url_manager
│   ├── __init__.py
│   ├── manage_url.py
│   └── __pycache__
│   ├── __init__.cpython-34.pyc
│   └── manage_url.cpython-34.pyc
├── README.md
├── 数据etl
│   ├── all_need_sql_and_py.txt
│   ├── category_see.csv
│   ├── movie.csv
│   ├── moviesETL.py
│   ├── movie_summary.txt
│   ├── new_movies_load.csv
│   └── new_movies_see.csv
└── 数据展示
├── 分类and数目
│   ├── category.csv
│   ├── show_category.py
│   └── top10category.png
├── 剧情摘要分析
│   └── file
│   └── movie_summary.txt
├── 历年影片走势
│   ├── 000000_0
│   ├── HQL.txt
│   ├── Near20MovieNumber.png
│   ├── top10MovieNumber.png
│   └── 代码.txt
├── 影评分析(大鱼海棠为例)
│   ├── 剧透类影评分析
│   │   ├── HQL.txt
│   │   ├── jutouCountByTime.txt
│   │   ├── jutou_yingping.txt
│   │   ├── jutouYPAndYP_time.py
│   │   ├── jutouYP_time.py
│   │   ├── monthYP.png
│   │   ├── monthzoushi.png
│   │   └── yingping_time.txt
│   ├── 影评情感分析
│   │   ├── 分类
│   │   │   ├── 0.txt
│   │   │   ├── 1.txt
│   │   │   ├── 2.txt
│   │   │   ├── 3.txt
│   │   │   ├── 4.txt
│   │   │   ├── new_50455678.txt
│   │   │   ├── test.txt
│   │   │   └── yingping_qinggan.py
│   │   └── 得到切分后的影评和等级
│   │   ├── 0.txt
│   │   ├── 1.txt
│   │   ├── 2.txt
│   │   ├── 3.txt
│   │   ├── 4.txt
│   │   ├── getGradeContent.py
│   │   ├── new_50455678.txt
│   │   └── result
│   │   ├── 0.txt
│   │   ├── 1.txt
│   │   ├── 2.txt
│   │   ├── 3.txt
│   │   └── 4.txt
│   ├── 影评时间分析
│   │   ├── HQL.txt
│   │   ├── monthzoushi.png
│   │   ├── yingping_time.py
│   │   └── yingping_time.txt
│   ├── 影评等级比例
│   │   ├── grade.png
│   │   ├── grade_show.py
│   │   ├── HQL.txt
│   │   └── yingping_grade.txt
│   ├── 影评预处理并存储至hive表中
│   │   ├── 5045678.txt
│   │   ├── new_50455678.txt
│   │   ├── yingpingETL.py
│   │   └── 创建hive表并加载.txt
│   └── 影评高频词统计
│   ├── all_yingping
│   ├── HQL高频词.txt
│   ├── show_highword.py
│   ├── sort_result.txt
│   ├── top20highword.png
│   └── 分词结果+排序
│   ├── combine.py
│   ├── result.txt
│   ├── sort_result.txt
│   ├── top100.py
│   └── 原始结果
│   ├── part-00000
│   ├── part-00001
│   └── _SUCCESS
└── 电影类型分析
├── 000000_0.txt
├── HQL.txt
├── leixing.png
├── QQ图片20160810115634.png
├── x_movie_leixin.py
├── Y_leixing.png
└── y_movie_leixin.py

32 directories, 99 files