Python爬取+BI可视化分析教程：以微博疫情求助数据分析为案例

这一个多月以来，相信大部分人都跟小编我一样：早上打开手机的第一件事是看有关疫情的最新新闻，看今日有没有新增人数，新增了多少。眼看着全球疫情数据从一开始的几十发展到现在的几百W，渐渐地数据在我们眼里就只是一串数字。

我们从数字中、新闻报道里都可以看出它的严重性，但是，如果我们通过数字仔细观察每一个患者的经历，真实的惨烈程度总是可以超乎我们的认知。其中，微博“肺炎患者求助”超话上的求助者经历，便是这场疫情惨烈程度的一个缩影。

到底哪些人会在“微博超话”这个原本的追星聚集地来进行求助呢？他们是否都得到了帮助？从求助到获得帮助，他们都经历了什么，等了多久？

一、Python爬取

这些数据怎么来？那肯定是只能通过python爬虫来获取（前提是不要获取别的东西，否则….），具体的过程我这里就不赘述了，有需要的可以看到文末自取。

我们获取了微博“肺炎患者求助”超话上的1055条求助信息（时间节点：2020年2月20日23时），并且对这些求助的患者求助时的状况、是否得到救助、得到救助的时间等信息进行了进一步的数据整理，去掉重复数据后得到638条数据，来解答以上的问题。

二、怎么分析

python可以进行数据分析吗？完全可以！

其实，Python这种伪代码性质的语言入门并不难，但是深入进去就不是什么简单的事情了，而且Python语言不能加密，但是目前国内市场纯粹靠编写软件卖给客户的越来越少，网站和移动应用不需要给客户源代码，所以这个问题就是问题了。

有什么东西能和python结合呢？于是我想到了BI工具！

BI工具的话，简单上手、灵活快捷，尤其敏捷BI，是不需要代码建模的。举个例子，FineBI等敏捷自助式工具，傻瓜式的操作很适合现在的数据分析小白入手，就算是掌握了R这种编程语言，也很适合拿来做分析工具。

关于FineBI，可能很多小伙伴或多或少了解过这款BI工具，这是目前市面上应用最为广泛的自助式BI工具之一，类似于国外的Tableau等BI分析工具，但FineBI在协同配合，数据权限上，能更好的解决国内企业的情况。

•你可以把它视作为可视化工具，因为它里面自带几十种常用图表，以及动态效果

•你也可以把它作为报表工具，因为它能接入各种OA、ERP、CRM等系统数据，各种数据库简直毫无压力，不写代码不写SQL就能批量化做报表

•你还可以把它看作数据分析工具，其内置等常见的数据分析模型、以及各式图表，可以借助FineBI做一些探索性的分析

有了这一款工具之后，IT部门只需要将数据按照业务模块分类准备好，业务部门即可在浏览器前端通过鼠标点击拖拽操作，就能得到自己想要的数据分析结果。

三、数据可视化结果

以下所有都是为FineBI分析，我从开始做到结束，只用了3分钟的样子，自带ETL，就是这么快！

1、哪些天求助的人最多？

可以看到，2月4日到2月7日为这些患者集中在网上求助的时间，其中求助最多的是在2月5日。这个时间刚好跟爆发的数据相吻合。

↑新增确诊趋势

2、哪些人在微博求助？

在全国的救助力量都投入到一个地区之后，到底是哪些人会采用“微博”这个社交平台，并且在“微博超话”这个粉丝们用来追星的地方来进行救助呢？

我们对求助患者的年龄进行了统计，发现50岁以上的中老年人占了绝大多数的比例（81.9%）。

图片来自于网络

在微博上求助的人，更倾向于年龄大的患者。然而，年龄大的患者怎么会在微博超话上求助呢？我们对求助患者的信息进行统计，发现只有3.4%的求助信息是患者本人通过微博发出来的，有95.3%的求助信息都是别人代发的。

也就是说，这些老人因为信息不通畅、行动不方便等原因，只能由小辈帮忙发求助信息。

3、求助者多为重症患者，且带有基础疾病

他们在求助时的自身状况如何呢？我们从求助信息中提取出了这些求助者所描述的病症。

可以看到，“发烧”、“呼吸困难”、“咳嗽”、“乏力”、“胸闷”、“腹泻”、“呕吐”等都属于高频词汇，其中求助信息中出现“呼吸困难”症状的患者占了35.8%，有呼吸问题的患者占了48.2%。

这说明微博上的这些求助者多是危重症患者。另外，从这些患者的救助信息中可知，有21.1%的患者还带有“高血压”、“糖尿病”、“心脏病”、“冠心病”、“肾衰竭”等基础疾病。

4、他们等了多久？

从之前的察觉患病到最终获救，总共平均的时间是13天。

在这13天里，患者们以及患者的家人们到底经历了什么样寻求治疗的过程，遇到了多少的碰壁最后才得到救助呢？几乎每份求助信息中的患者“病情描述”都可以告诉我们答案。我们把患者的描述制作成了词云图，里面的每一个字，都写满了沉重和无奈。

5、是否每位求助者都得到了帮助？

在微博上求助的效果怎么样呢？从转发效果上看，即使有40%的微博求助者，其微博的粉丝数都小于50人，甚至有21.4%的求助者是为了求助刚注册了微博的微博新人，仍然有57.2%的微博获得了超过10次以上的转发，有30%的微博获得了超过50次的转发。

然而，最终这些求助者是否获取到了救助，才是救助的最终意义。根据我们的统计发现，只有26.5%的求助者最终在微博上反馈得到了救助。

所以，并不是每一位微博求助者都幸运地得到了帮助。由于病情的发展，一部分患者在没有等到救助之前，便凋零了。

四、总结

以上便是这些微博求助者在微博上求助的经历。这些数据背后的每一位救助者，都是承受者，他们是每一位平凡普通的人，他们有的等来了救助，有的没有。

很显然在目前的信息时代，借助类似于FineBI的这些工具，可以让企业加速融入企业数据分析的趋势。备受市场认可的软件其实有很多，选择时必须要结合实际的情况。一般的情况下，都建议选择市面上较主流的产品，比较容易达到好的效果，目前企业数据分析BI软件市场占有率前列的，就是帆软BI软件——FineBI。