北京治疗白癜风的费用多少钱 http://pf.39.net/bdfyy/bdfjc/150526/4629682.html

项目背景及目标

大数据时代，对海量数据的搜集、存储、分析、挖掘及应用已是大势所趋，因此需要有专门的平台及相应产品来专门进行大数据的分析和挖掘；保险公司沉淀了几十年的客户交易数据，随着保险业务模式的不断创新，数据量呈现指数级增长，数据来源也更加多元化；目前各个保险公司都在密切的搜集客户多方面数据，在营销、风控、核保、理赔、定价等方面进行更好的应用。

目前公司数据分析、挖掘等涉及计算资源分散，可利用的工具有限及计算资源和效率较低，不能进行大规模数据挖掘，且无法统一进行管理；需要一个集成相关多种数据分析工具的统一平台来完成整个数据解决方案；当前各个子公司的数据没有整合，数据分析人员仅能在不同的子平台进行数据分析，不能对客户进行更完整的刻画；跨平台、公司访问数据需要频繁申请，数据安全及工作效率不能保证因此需要提供一个综合统一的平台，提供为一整套数据解决方案实施的平台。

项目方案

平台架构

数据沙箱是客户统一平台的重要组成部分，沙箱整合产、寿等子公司各系统数据，在集团层面做客户打通，并相应的为子公司提供客户画像、保单查询、精准营销等方面工作；数据沙箱提供了为一整套数据解决方案实施的平台，链接平台各层数据源，集合多种数据分析、挖掘工具，支持数据探查、分析、建模及报表展示等多种工作。

下图为基于大数据平台的沙箱架构图:

下图为沙箱的一个物理架构图：

创新点

性能优越：沙箱计算资源庞大，整合了大数据平台计算资源，支持大规模数据并行计算，通过开通账号，使得整个集团人员能够集中在平台中进行数据分析挖掘；

数据全面：整合全集团数据，同时也可以接入外部数据，和平台共享一套数据源，与平台各层互通，保证数据可获得、一致、便捷高效；

多种数据挖掘工具：可实现一站式数据解决方案；多种数据挖掘工具可利用，如sql查询工具、excel、python、spark等；

支持业务报表查询：支持业务统计指标的web展示、提供BI工具协助进行数据分析、报表发布；

人员权限及数据安全：支持多租户分权限分资源管理；对敏感数据进行加密处理；

使用便捷：提供进入、使用沙箱环境的友好界面，方便非开发数据分析人员使用；

提供算法平台，支持可视化建模,降低建模门槛。

提供云办公桌面，解决个人电脑设备老、旧、性能差的问题

项目主要建设内容及功能

1、沙箱云服务办公环境

沙箱为每位用户提供一个远程的windows办公环境，并安装常用的数据分析工具，如office、notepad、anaconda等；在安全方面，为每个用户提供仅供个人访问的目录来保证个人数据的私密，同时提供共享文件夹，方便进行不同用户之间文件的传输。

云办公桌面展示如下：

2、沙箱数据挖掘notebook环境

当需要进行大批量数据分析、挖掘时，可使用沙箱专供的数据挖掘工具-jupterhub来执行；

沙箱安装了anaconda运行环境，集成了较新的python及相应的很多数据分析、建模包，jupterhub的notebook是一个数据图形化GUI展示工具，能够通过浏览器打开，方便数据挖掘人员使用。

沙箱数据挖掘notebook环境界面展示如下：

点击python3即可进入相应的交互式编程，沙箱针对该工具已安装常用的机器学习算法，包括目前主流的算法：scikit-learn的所有算法（如RandomForest、SVM等）、XGBoost、LightGBM等；深度学习如：pytorch、tensorflower（不支持GPU）；同时已为每位用户创建单独的文件夹；同时也安装了pyimpala、pyspark等，支持连接大数据平台，利用大数据平台资源进行快速的大数据分析及分布式建模等。

3、大数据分析交互平台HUE

沙箱为用户提供一个快速的大数据查询平台，通过Hue可使用Hive、impala进行数据分析，通过impala进行sql查询分析，性能优越，传统数据库查询耗时费力，而通过impala进行查询，速度一般都能提升10倍以上，同时可以通过python连接impala，通过python端进行sql查询，还可以将云办公桌面的客户端连接到大数据平台进行查询。

3、大数据分析交互平台HUE

沙箱提供了专门的BI工具，通过该工具，可以连接数据库，并对数据进行探查、分析并制作固定报表等。

BI工具展示如下：

沙箱AI算法平台工具

沙箱提供了专门的AI算法平台工具，通过该工具，大大降低算法使用的门槛，使得部分非专业人员能够自行建模，挖掘业务价值。

AI算法平台展示如下：

项目过程管理

1、需求分析和概要设计阶段

此阶段时间段为年9月至年2月，其间主要完成了业务需求分析、业务功能和技术构架的高层设计。提交了现状需求分析报告、各功能模块的高层设计、技术构架和接口的高层设计等文档。

2、系统详细设计阶段

此阶段起始时间为年2月至年3月，其间主要完成了沙箱系统详细设计工作，确定沙箱的主要建设方案及功能重点。

3、系统开发、测试和上线准备阶段

此阶段起始时间为年3月至年7月，完成了平台搭建、数据接入、数据加工整合、产品部署等，编写了测试用例和操作手册。

4、上线阶段

此阶段起始时间为年8月至今，沙箱处于正式上线使用状态，已开放给各个子公司相关部门人员使用

项目成效

沙箱平台旨在通过打造综合的数据挖掘平台，来提升整个集团的数字化运用、分析能力。沙箱主要服务于数据分析人员，通过提供强大的计算资源、整合多种分析工具，并实行统一的用户管理，方便数据分析人员进行有价值的数据挖掘，赋能于公司业务发展。在投入使用过程中得到了广大子公司及多部门的青睐，如下为部分沙箱的具体支持案例：

沙箱目前服务的部门有：集团精算部、集团综合创新部、集团内审部、集团资产管理部、财险的科创部、财险精算部、财险车险部、目前累计开通近个用户，并在持续推广中；

支持财险科创产寿交叉和车险续保率预测的相关数据挖掘、建模工作；

支持用户数据分析及财务报表ocr文本识别等具体工作；

支持集团综合创新部进行产寿交叉分析等方面的工作；

支持集团资产管理部相关性热力图展示的统计分析。

经验总结

让数据产生价值的重要一环就是搭建一个强大的分析挖掘平台，沙箱不直接面向市场，但通过提供分析平台来协助相关的业务及管理人员来支持运营决策；通过沙箱可以实现对客户的分类，筛选优质客户，预测客户产品偏好，更全面支持客户画像、统计报表分析、提供运营决策数据等等。

END