python爬取百度迁徙数据

【实例简介】

直接输入日期爬取全国热门城市人口迁徙数据

【实例截图】

【核心代码】

import requests
import time
import pandas as pd
import datetime

# 百度迁移方向 0迁入，1迁出
MOVE = ('move_in', 'move_out')


CITY = {'上海': '310000',
        '南京': '320100',
        '无锡': '320200',
        '常州': '320400',
        '苏州': '320500',
        '南通': '320600',
        '扬州': '321000',
        '镇江': '321100',
        '泰州': '321200',
        '杭州': '330100',
        '宁波': '330200',
        '嘉兴': '330400',
        '湖州': '330500',
        '绍兴': '320600',
        '舟山': '330900',
        '合肥': '340100',
        '芜湖': '340200',
        '马鞍山': '340500',
        '铜陵': '340700',
        '安庆': '340800',
        '池州': '341700',
        '南昌': '360100',
        '九江': '360400',
        '武汉': '420100',
        '黄石': '420200',
        '宜昌': '420500',
        '襄阳': '420600',
        '鄂州': '420700',
        '荆州': '421000',
        '黄冈': '421100',
        '咸宁': '421200',
        '恩施': '422800',
        '岳阳': '430600',
        '重庆': '500000',
        '成都': '510100',
        '攀枝花': '510400',
        '泸州': '510500',
        '宜宾': '511500'}


def get_data_from_url(url):
    print('请求http数据', url)
    resp = requests.get(url, timeout=5)
    j = resp.json()
    if j['errmsg'] == 'SUCCESS':
        data_list = j['data']['list']
        return data_list
    else:
        print('请求服务器数据失败!')

    return None


def get_data(city_code, direction, date):
    if city_code is None:
        # 根据日期获取当前全国热门的迁入/迁出城市
        url_nation = f'http://huiyan.baidu.com/migration/cityrank.json?dt=country&id=0&type={direction}&date={date}'
        return get_data_from_url(url_nation)
    else:
        # 根据城市码和日期获取当前城市的迁入/迁出数据
        url_city = f'http://huiyan.baidu.com/migration/cityrank.json?dt=city&id={city_code}&type={direction}&date={date}'
        return get_data_from_url(url_city)


def get_date(year, month, day):
    d = datetime.date(year, month, day)
    return d.__format__('%Y%m%d')


def main():
    # 拼接特定日期，年月日
    date = get_date(2020, 11, 11)

    # 获取给定日期全国热门城市迁入/迁出数据
    data = get_data(city_code=None, direction=MOVE[0], date=date)
    df = pd.DataFrame(data=data, columns=['city_name', 'province_name', 'value'])
    df.to_excel('1.xls', encoding='utf-8')  # 数据写入excel文件

    time.sleep(3)


if __name__ == '__main__':
    main()