今天教大家如何搭建一套数据分析平台。
它可能是最简单的搭建教程北海电脑有一点Python基础都能完成。比起动辄研发数月的成熟系统北海电脑借助开源工具北海电脑整个时间能压缩在一小时内完成。
优秀的数据分析平台北海电脑首先要满足数据查询、统计、多维分析、数据报表等功能。可惜很多分析师北海电脑工作的第一年北海电脑都是埋葬在SQL语句中北海电脑以SQL+Excel的形式完成工作北海电脑却用不上高效率的工具。
说Excel也很好用的同学北海电脑请先回避一下。
另外一方面北海电脑以互联网为代表的公司越来越重视数据北海电脑数据获取不再是难点北海电脑难点是怎样敏捷分析获得洞察。
市面上已经有不少公司推出企业级的分析平台和BI北海电脑可惜它们都是收费的。我相信不少读者听说过北海电脑但一直没有机会体验北海电脑或者老板们囊中羞涩。现在北海电脑完完全全能免费建立一套BI系统北海电脑即可以单机版用以分析北海电脑也能私有化部署到服务器北海电脑成为自家公司的分析工具。
这一切北海电脑只需要一小时。
目录
Superset
安装
使用
最终的成果
Superset编辑本段回目录
Superset是一款轻量级的BI工具北海电脑由Airbnb的数据部门开源。整个项目基于Python框架北海电脑不是Python我也不会推荐了北海电脑它集成了Flask、D3、Pandas、SqlAlchemy等。
这是官网的案例(本来是动图的北海电脑可惜压缩后也超过微信图片大小限制北海电脑吐槽下)北海电脑想必设计界面已经能秒杀一批市面上的产品了北海电脑很多BI真的是浓烈的中国式报表风......因为它的前端基于D3北海电脑所以绝大部分的可视化图表都支持北海电脑甚至更强大。
Superset本身集成了数据查询功能北海电脑查询对分析师那是常有的事。它支持各类主流数据库北海电脑包括MySQL、PostgresSQL、Oracle、Impala、SparkSQL等北海电脑深度支持Druid。
后台支持权限分配管理北海电脑针对数据源分配账户。所以它在部署服务器后北海电脑分析师们可以通过它查询数据北海电脑也能通过数据建立Dashboard报表。
介绍了这么多北海电脑想必大家已经想要安装了吧。
安装编辑本段回目录
Superset同时支持Python2和Python3北海电脑 我这里以Python3作为演示。它支持pip形式的下载北海电脑不过我不建议直接安装北海电脑因为Superset的依赖包较多北海电脑如果直接安装北海电脑很容易和现有的模块产生冲突。
这里需要先搭建Python的虚拟环境。虚拟环境可以帮助我们在单机上建立多个版本的Python。简而言之北海电脑即可以Python2和Python3共存北海电脑也能Python3.3、3.4、3.5共济一堂北海电脑彼此间互相独立。
虚拟环境的安装方式很多北海电脑pyenv和virtualenv等。这里用Anaconda自带的conda工具。打开电脑终端/cmd北海电脑输入以下命令。
conda create -n superset python=3.4
conda create是创建虚拟环境的命令。-n是环境的命名参数北海电脑在这里北海电脑我们创建了名为superset的环境北海电脑它安装在Anaconda的envs目录下。python版本为3.4(superset暂时不支持3.6)。
该命令只会安装基础包北海电脑如果需要额外安装其他包北海电脑在命令行后加上想要的包名字即可北海电脑如python=3.4 numpy pandas。
安装很迅速北海电脑完成后北海电脑我们的Python环境还是默认版本北海电脑现在需要激活虚拟环境。
source activate superset
source activate是激活命令北海电脑superset为想要激活的虚拟环境名。windows和mac的命令不一样北海电脑win只要activate superset 。如果要退出北海电脑则是source deactivate或者deactivate。
激活成功后北海电脑命令行前面会多出一个前缀(superset)北海电脑表明切换到了新的虚拟环境。接下来安装superset。
pip install superset
pip会自动安装所有的依赖北海电脑速度可能有点慢北海电脑建议更改pip源。
命令行后加上 -i https://pypi.douban.com/simple 北海电脑我这里用了豆瓣的镜像源北海电脑速度嗖嗖的。
如果安装过程中报错北海电脑是部分程序缺失北海电脑像系统比较老旧的win用户北海电脑需要安装新版的visual c++北海电脑网上搜索教程即可。在官网的教程中北海电脑还要求pip install cryptography==1.7.2北海电脑我没有安装也没有影响北海电脑供大家参考。其他报错北海电脑都可以通过搜索解决。
安装成功后北海电脑需要进行初始化配置北海电脑也是在命令行输入。
fabmanager create-admin --app superset
首先用命令行创建一个admin管理员账户北海电脑也是后续的登陆账号。会依次提示输入账户名北海电脑账户使用者的first name、last name、邮箱、以及确认密码。fabmanager是flask的权限管理命令北海电脑如果大家忘了密码北海电脑也能重新设立。
superset db upgrade
初始化数据源。
superset load_examples
载入案例数据北海电脑这里的案例数据是世界卫生组织的数据北海电脑也是上文演示的各类可视化图表北海电脑大家登陆后能够直接看到。下载速度还行
superset init
初始化默认的用户角色和权限。
superset runserver
最后一步骤北海电脑启动Superset服务。因为我们是本地环境北海电脑所以在浏览器输入 http://localhost:8088 即可。在runserver后面添加 -p XXXX 可更改为其他端口。
进入登陆界面北海电脑输入登陆密码北海电脑大功告成。
使用编辑本段回目录
先别急着使用北海电脑因为Superset是英文北海电脑我们先把它汉化了。Superset自身支持语言切换。
进入到Superset所在目录文件北海电脑按我之前的步骤北海电脑应该在anaconda/envs/superset/lib/python3.4/site-packages/superset中北海电脑路径视各位情况可能有差异。
在目录下有一个叫config.py的文件北海电脑打开它北海电脑找到Setup default language这一行北海电脑修改变量。
BABEL_DEFAULT_LOCALE调整为zh北海电脑这样界面默认为中文。languages字典中zh前面的注释#去掉。保存后退出。
接下来还是在Superset的目录下新创建文件夹北海电脑按translations/zh/LC_MESSAGES的路径依次创建三个。Superset官网提供了汉化包北海电脑在最大的同性交友网站github上下载北海电脑目录为：