推广 热搜: p2p  EIA  BOSE  office  Hermes  MaxMara  jbl  celine  office2016  chloe 

黑科技!当会爬虫的Python遇上会画图的FineBI

   日期:2019-03-04     来源:网络    作者:真实性未知    浏览:6163    评论:0    
核心提示:前言

前言

大家平时在用Python爬取网页上的数据时,对爬取到到的数据做数据分析展现有很多种方式,比如可以通过echart图表接口、python提供的第三方库甚至还可以用matlab工具来进行数据统计和图表可视化展现。可是无论是以上的哪一种方式,都需要通过代码来调用Python爬好的数据来进行画图,图表样式属性设置等方面还是比较繁琐的。

今天呢,小编将给大家推荐一件轻量级数据分析可视化展现的神器——FineBI(个人使用完全免费,仅对企业收费),操作简单上手快,无须任何代码,直接在浏览器端通过FineBI工具的鼠标拖拽和点击操作即可生成色彩绚丽的可视化图表效果。特别是对于企业的业务人员来说,有了这一款只需托拖拽拽的数据分析统计神器,老板再也不用盯着之前做的密密麻麻和单调的excel图表看啦!

原理介绍

在此之前简单给大家讲讲我们这次给大家分享的Python爬虫+FineBI数据展现的系统原理,如上图所示,数据层方面我们先通过Python抓取到WEB端的网页数据,之后对爬取到数据进行解析再而存储到MYSQL数据入库;最后应用层的数据处理、数据计算统计、图表可视化呈现等工作全都交由我们的FineBI工具完成。

最近因为想看看南京房价数据,但是网站上的很多数据都是以HTM5的形式进行呈现的,所以考虑通过Python来进行网页数据抓取和入库,数据分析方面通过FineBI工具直接和数据库进行无缝对接和可视化呈现,空想不如行动~说干就干。

实现步骤

网络

首先新建python工程,引入本次爬取网页数据和写入MySQL数据库所需要的requests、pymysql、bs4这三个包:

网络

然后如下图所示,通过编写Python代码获取到某一个房产网页的南京售房平台的网页信息:

网络

接着再对DIV样式下的HTML数据包进行逐一解析,获取到我想看的房源名称、地址、小区、户型、面积、总价、单价、区域等数据:

其中对应网页的标签样式可以通过浏览器的F12开发选项进行快速获取,如下图所示的定位房源信息截图,我们只需要右键浏览器在所需要获取标签样式名称的地方点击检查元素即可(房源名称的标签即位house-title的title元素)。

网络

解析好数据之后,再将解析好的数据写入到MySQL数据库中:

美林数据技术股份有限公司(简称“美林数据”),专业生产各种售后服务规范数据可视化分析、数据可视化分析、bi工具、数据可视化分析平台等产品。美林数据坚持“质量第一,用户至上,精益求精”的质量方针,以科技进步为先导,以用户需求为目标,在发展中不断自我完善,追求大数据分析服务品牌的更高品质。网络。

循环遍历该平台在南京最近七天的网页售房信息数据,页面17页,共计377条数据:

网络;&验证数据入库

通过FineBI官网下载并按照引导安装好软件:

直接通过FineBI提供的数据配置端的功能,添加SQL数据集(或者直接添加表也行),查看我和验证刚刚爬取并且入库的数据是否已经真正成功入库到MySQL中了。

如下图所示,Python果然不辱使命,我要的该平台的七天南京的房价售房数据都已经成功写入到了我的MySQL数据库中了。

网络;&成果展示

通过FineBI的简单拖拽,我这边以南京各小区房价分布图为例给大家简单展示FineBI的可视化呈现过程(操作真的非常简单,小白可以通过FineBI官网的帮助文档或者视频快速入门~会用excel的,基本半个小时就能上手):

仅仅简单十分钟,刷刷的就将我想要看的南京售房信息(房源面积均价、套房总均价、小区房价四象限分布图、区域房价分析、房型价格分析)以可视化的形式呈现出来了。

最后就是本次成果展示啦,也晒出来跟大家分享下,如下所示:

网络,网络,总体上还是比较高的。

网络,果然房价还是紧跟国家政策啊,建邺目前城区开发建设政府的扶持力度在南京都是走在前面的。鼓楼、玄武、秦淮分别排在二、三、四的位置,雨花台和江宁房价相对较低,综合市区位置来看,还是秦淮区性价比最高啊 。

网络,6室3厅的豪华大宅总均价接近一千万,比如紫檀雅居、碧水湾别墅、滨江奥城听雨苑这一类土豪小区,多集中在建邺和鼓楼区域;一室一厅的房子均价大概在150万的样子,比如托乐嘉单身公寓、经纬城市花园等小区,适合单身贵族或者情侣小夫妇居住,南京各个大区都有;比较主流的三室一厅房价在300万左右,比如乔虹苑小区、良辰美景家园、白云园,多集中在秦淮和鼓楼区域。

后记

Python完成对网页数据的抓取和解析存储之后,配合FineBI强大的数据可视化呈现能力则圆满地完成了我本次对南京售房数据的统计和分析需求,绝对是良心软件!

网页爬虫数据抓取,Python首屈一指,对于数据统计和可视化展现方面来说,操作简单便捷、拖拽式的FineBI绝对是数据分析小白的入门上佳之选,小编在此给大家强烈推荐学习。

最后特别是对于企业经营来说,FineBI的企业级数据管控和自助分析经营能力更加强大,由于篇幅有限,感兴趣的可以自行到FineBI产品的官网进行学习试用。

 
打赏
 
更多>同类资讯
0相关评论

推荐图文
推荐资讯
点击排行

网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  粤ICP备18128725号-1
POWERED BY DT 站点地图