全球即時：天佑武漢 天佑種花家！爬之分析之各省數(shù)據(jù)入口

一、前言

最近在家隔離，每天起床第一件事就是看看各地情況，好在目前情況有了些許好轉(zhuǎn)。天佑武漢！天佑種花家！ 偶然間在技術(shù)貼看到一數(shù)據(jù)入口，點開一看，如獲至寶，爬之分析之！

數(shù)據(jù)以json的模樣展現(xiàn)在我們面前，各省入口是省名稱。（因為一些原因不能在博客上貼出數(shù)據(jù)，可視化上也將數(shù)據(jù)屏蔽，畢竟實現(xiàn)方法是最重要的，見諒！） url = "https://lab.isaaclin.cn/nCoV/api/area?latest=0&province={0}".format(province)想要獲取全國的數(shù)據(jù)只要遍歷省份進行請求解析就好了。各省的數(shù)據(jù)我只截取到1月24號（除夕）。 現(xiàn)在開始請求

(資料圖片僅供參考)

二、爬蟲

1. 請求

def spider_virus(url):    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"    }    html = requests.get(url=url,headers=headers)    html.encoding = "utf-8"    html.raise_for_status()

只要掛個UA就能請求通~ 推薦給大伙一個UA包，很好用，不用每次都去粘UA，省了很多事

from fake_useragent import UserAgent

只要"User-Agent": UserAgent().random,就可以了，方便得很。

2. Json解析

解析json這里就很簡單了

# 省級            provinceName = results["provinceName"]            provinceShortName = results["provinceShortName"]+"全部統(tǒng)計"            confirmedCount = results["confirmedCount"]            suspectedCount = results["suspectedCount"]            curedCount = results["curedCount"]            deadCount = results["deadCount"]            # locationId = results["locationId"]            #  13位時間戳轉(zhuǎn)換            updateTimenum = results["updateTime"]            timeStamp = float(int(updateTimenum) / 1000)            timeArray = time.localtime(timeStamp)            # otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)            updateTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)            province_list.append((provinceName, provinceShortName, confirmedCount, suspectedCount,                                  curedCount, deadCount,updateTime))

# 市級            try:                cities = results["cities"]                for city_data in cities:                    # print(city_data)                    cityName = city_data["cityName"]                    confirmedCount = city_data["confirmedCount"]  # 確診人數(shù)                    suspectedCount = city_data["suspectedCount"]  # 疑似感染人數(shù)                    curedCount = city_data["curedCount"]  # 治愈人數(shù)                    deadCount = city_data["deadCount"]  # 死亡人數(shù)                    # locationId = city_data["locationId"]                    province_list.append((provinceName, cityName, confirmedCount, suspectedCount,                                          curedCount, deadCount, updateTime))            except Exception as e :                cities = "未知"                cityName = "未知"                confirmedCount = 0000                suspectedCount = 0000                curedCount = 0000                deadCount = 0000                province_list.append((provinceName, cityName, confirmedCount, suspectedCount,                                      curedCount, deadCount, updateTime))    To_MySQL("Virus", province_list)

3. 數(shù)據(jù)存儲（Mysql）

最后的數(shù)據(jù)我存到了mysql里，建表也是在python里寫好的，就不貼了

def Insert_Data(datas_into, table_name):    try:        # print(datas_into)        db = pymysql.connect(host="手動打碼", user="root", password="*******", db="liu*手動打碼", charset="utf8")        cursor = db.cursor()        # for data_tups in list(datas_into):        sql_insert = """insert into {0} (Province,city,confirmedCount,suspectedCount,curedCount,deadCount,updataTime) values (%s, %s, %s, %s, %s, %s, %s);""".format(table_name)        cursor.executemany(sql_insert, datas_into)        db.commit()    except Exception as e:        db.rollback()        print(e)    finally:        cursor.close()        db.close()

因為采集下來的數(shù)據(jù)有各省總?cè)藬?shù)及其地級市、區(qū)等，所以在city這一列總體水平我用了“全部的統(tǒng)計”，以便區(qū)分。

截止目前只有40000多條數(shù)據(jù)，時間設(shè)的2秒，沒寫多進程，就是單機這樣跑，畢竟自己用嘛~

三、可視化與分析

我使用的是Jupyter notebook

1. 數(shù)據(jù)處理

import time,pymysqlimport pandas as pdimport numpy as npfrom pyecharts.charts import Pie, Bar, Map, WordCloud,Line,Gridfrom pyecharts import options as optsfrom pyecharts.globals import SymbolTypefrom pyecharts.globals import ThemeType

db = pymysql.connect(host="*****",                      user="root",                      password="*****",                      db="liu*****",                      charset="utf8")df_all = pd.read_sql("SELECT * FROM virus", con=db)df_all = pd.read_sql("SELECT * FROM virus", con=db)db.close()df_all.to_excel("原始數(shù)據(jù).xls")

修改了中文列名，方便識別，但是實際開發(fā)中并不推薦

df_all.columns = ["id","省份","城市","確診人數(shù)","疑似感染人數(shù)","治愈人數(shù)","死亡人數(shù)","更新時間"]df_all.isnull().sum()df_all.info()df_all["更新時間"] = pd.to_datetime(df_all["更新時間"])df_all.head()

修改日期格式，增加了周幾一列

df_all["更新日期"] = pd.to_datetime(df_all["更新時間"].map(str).str[0:10], format ="%Y-%m-%d")df_all["更新日期"]=df_all["更新日期"].dt.strftime("%m-%d")df_all["周幾"]=df_all["更新時間"].dt.dayofweek+1

提取各省總體數(shù)據(jù)

df_ProAll = pd.DataFrame(columns=["id","省份","城市","確診人數(shù)","疑似感染人數(shù)",                                  "治愈人數(shù)","死亡人數(shù)","更新時間","更新日期","周幾"])for province in province_list:    df_pro=df_pro_all.loc[df_pro_all["省份"]==province,:]    #提取相同日期第一條    df_pro=df_pro.drop_duplicates(subset=["更新日期"],keep="first")    df_ProAll = pd.concat([df_ProAll,df_pro],ignore_index=False,axis=0)col=["id","省份","城市","確診人數(shù)","疑似感染人數(shù)","治愈人數(shù)","死亡人數(shù)","更新時間","更新日期","周幾"]df_ProAll=df_ProAll[col]#修改類型df_ProAll[["確診人數(shù)","疑似感染人數(shù)","治愈人數(shù)","死亡人數(shù)"]]=df_ProAll[["確診人數(shù)","疑似感染人數(shù)","治愈人數(shù)","死亡人數(shù)"]].astype(int)#重置索引df_ProAll.index = range(len(df_ProAll.index))

gp_time=df_ProAll.groupby("更新日期")[["確診人數(shù)","疑似感染人數(shù)","治愈人數(shù)","死亡人數(shù)"]].sum()cols = gp_time.columns.tolist()for col in cols:    num_list = gp_time[col].tolist()    new_list = [0]    for i in range(len(num_list)-1):        b= num_list[i+1]-num_list[i]        new_list.append(b)    gp_time["{}增減".format(col)]=new_listgp_time

2. 可視化

2.1 全國情況

2.1.1) 全國治愈與死亡走勢

line = (        Line()        .add_xaxis(gp_time.index.tolist())        .add_yaxis("治愈人數(shù)", gp_time["治愈人數(shù)"].tolist())        .add_yaxis("死亡人數(shù)", gp_time["死亡人數(shù)"].tolist())        .set_global_opts(            title_opts=opts.TitleOpts(title="全國治愈與死亡走勢"),            tooltip_opts=opts.TooltipOpts(trigger="axis", axis_pointer_type="cross"),            yaxis_opts=opts.AxisOpts(name="人數(shù)"),            xaxis_opts=opts.AxisOpts(name="時間(日)")            )            .set_series_opts(label_opts=opts.LabelOpts(is_show=False))        )line.render_notebook()

2.1.2) 全國確診、死亡、治愈增幅

line = (        Line()        .add_xaxis(gp_time.index.tolist())        .add_yaxis("確診", gp_time["確診人數(shù)增減"].tolist())        .add_yaxis("治愈", gp_time["治愈人數(shù)增減"].tolist())        .add_yaxis("死亡", gp_time["死亡人數(shù)增減"].tolist())        .set_global_opts(            title_opts=opts.TitleOpts(title="全國確診、死亡增幅"),            tooltip_opts=opts.TooltipOpts(trigger="axis", axis_pointer_type="cross"),            yaxis_opts=opts.AxisOpts(name="人數(shù)"),            xaxis_opts=opts.AxisOpts(name="時間(日)")            )        )line.render_notebook()

2.1.3) 全國確診走勢

2.1.4) 全國top10省份

time_list = [list(z) for z in zip(df_pro_new["省份"].tolist()[:10],                                  df_pro_new["確診人數(shù)"].tolist()[:10])]pie = (    Pie()            .add("", time_list).set_global_opts(title_opts=opts.TitleOpts(title=""))        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}")))pie.render_notebook()

2.1.5) 全國確診/治愈/死亡對比

gp_timeday = gp_time.index.tolist()aaa=gp_time["確診人數(shù)增減"].tolist()bbb=gp_time["治愈人數(shù)增減"].tolist()ccc=gp_time["死亡人數(shù)增減"].tolist()ddd=gp_time["疑似感染人數(shù)增減"].tolist()grid = Grid()bar = Bar()# grid.theme = ThemeType.PURPLE_PASSIONline = Line()bar.add_xaxis(day)bar.add_yaxis("治愈增減",bbb,label_opts=opts.LabelOpts(is_show=False))bar.add_yaxis("死亡增減",ccc,label_opts=opts.LabelOpts(is_show=False))bar.extend_axis(yaxis=opts.AxisOpts(type_="value",                                     name="確診人數(shù)增減",                                     min_=0,                                     max_=16000,                                     position="right",                                                         axislabel_opts=opts.LabelOpts(formatter="{value}人"),                                     ))bar.set_global_opts(yaxis_opts=opts.AxisOpts(                                            name="治愈/死亡增減",                                            type_="value",                                            axislabel_opts=opts.LabelOpts(formatter="{value}人")                                            ), #                     xaxis_opts=opts.AxisOpts(name="日期"),# 太擠不好顯示                    title_opts=opts.TitleOpts("全國每日確診/治愈/死亡對比"),                    tooltip_opts=opts.TooltipOpts(trigger="axis", axis_pointer_type="cross"),                   ) # 交叉指向工具line.add_xaxis(day)line.add_yaxis("確診增減",aaa,yaxis_index = 1,label_opts=opts.LabelOpts(is_show=False))# line.add_yaxis("疑似感染增減",ddd,yaxis_index = 1,label_opts=opts.LabelOpts(is_show=False))# 把line添加到bar上bar.overlap(line)# 這里如果不需要grid也可以，直接設(shè)置bar的格式，然后顯示bar即可#bar.render_notebook()grid.add(chart = bar,grid_opts = opts.GridOpts(),is_control_axis_index = True)grid.render_notebook()

2.1.6) 除湖北省,各省市情況

gp_pro_time_cop=gp_pro_time.copy().reset_index()df_no_hubei=gp_pro_time_cop.loc[gp_pro_time_cop["省份"]!="湖北省",:]# df_no_hubei["省份"].value_counts()gp_no_hubei=df_no_hubei.groupby("更新日期")[["確診人數(shù)","治愈人數(shù)","死亡人數(shù)",                                         "確診人數(shù)增減","治愈人數(shù)增減","死亡人數(shù)增減"]].sum()gp_no_hubei

2.1.7) 全國情況結(jié)論

2月1號后治愈水平逐步與離開水平拉大距離。在連續(xù)三天下降后，2月13號，確診病例突然增加15139例，武漢市那天將疑似未確診病例計入，這是件好事，相關(guān)報道也做了說明。top10中北方省份只有兩個，河南和山東，也是兩個勞務(wù)輸出大省，其中河南省因為緊鄰湖北省，達到914例，人們也更愿意選擇離家近的發(fā)達地區(qū)工作。自2月4號開始各省確診病例逐漸下降，死亡人數(shù)增幅較緩

2.2 天津市情況

數(shù)據(jù)處理

"""天津市基本情況"""df_tianjin_all=df_all.loc[(df_all["省份"]=="天津市")&(df_all["城市"]!="全部統(tǒng)計"),:]df_tianjin_all.index = range(len(df_tianjin_all.index))df_tianjin_all.head()city_list=[]for city in df_tianjin_all["城市"].tolist():    if city=="外地來津":        city="外地來津人員"        city_list.append(city)    elif city=="待明確":        city="待明確地區(qū)"        city_list.append(city)      else:        city_list.append(city)df_tianjin_all["城市"]=city_list"""檢索天津市現(xiàn)有數(shù)據(jù)每區(qū)每日最后一條數(shù)據(jù)"""df_tianjin_last=df_tianjin_all.iloc[df_tianjin_all.groupby(["城市",                                   "更新日期"]).apply(lambda x: x["確診人數(shù)"].idxmax())]df_tianjin_last.index = range(len(df_tianjin_last.index))df_tianjin_last.head()"""檢索天津市各區(qū)最新確診數(shù)據(jù)"""gp_tianjin=df_tianjin_last.groupby(["城市","更新日期"])["確診人數(shù)","疑似感染人數(shù)",                                                  "治愈人數(shù)","死亡人數(shù)"].sum()df_tj_daynew=gp_tianjin.reset_index()df_tj_daynew=df_tj_daynew.iloc[df_tj_daynew.groupby(["城市"]).apply(lambda x: x["確診人數(shù)"].idxmax())]df_tj_daynew=df_tj_daynew.sort_values(by="確診人數(shù)",ascending=False)df_tj_daynew

首先對數(shù)據(jù)做了下處理，把外地和待明確歸納

2.2.1) 各區(qū)縣最新確診人數(shù)

2.2.2) 確診、治愈、死亡情況

2.2.3) 寶坻區(qū)與天津市各區(qū)趨勢

2.2.4) 天津市情況結(jié)論

寶坻區(qū)有50病例，占到天津1/3，緊接著是河?xùn)|區(qū)15例天津市市內(nèi)6區(qū) top占了4位，較為發(fā)達的和平、南開也在之內(nèi)，河?xùn)|，河北相對其他區(qū)，外來人口也相對較多。

以上代碼就是對此次疫情的很粗略分析，其實可以分析的地方太多了，也能獲得很多別的信息，比如，按各省面積人口算一下致病率，各省確診連續(xù)下滑時長等等，方法其實都是一樣，就看分析的思路了。 可視化使用的pyecharts，畫出來的圖也比較好看。 云玩家第一次發(fā)博，見笑~·