大数据分析平台功能与建设

随着网络普及度的提升，以及互联网行业的迅速发展，大家每天都会接收到数量庞大的信息，在这个信息爆炸的时代，如何管理这些数据，并从这些数据中提取有用的信息是首先要解决的问题，在这种背景下，大数据分析平台的使用就很有意义了。

大数据分析平台简介

大数据分析平台主要通过集成企业内部运营支撑系统和外部数据，包括交易型大数据(Big Transaction Data)和交互型大数据(Big Interaction Data)，通过多种云计算的技术将之集成和处理，向企业内部和外部企业客户提供有极大商业价值的信息支撑和智能解决方案，基于大数据平台建设的数据仓库的基础上，提供报表工具，分析工具，结合企业的实际需求进行的解决方案实施服务;企业的管理人员、业务分析人员等可以通过web、手机或其它移动设备访问，以便随时了解企业的关键指标和进行深度业务分析。

大数据分析平台

大数据分析平台的功能

(1)云计算环境：整个平台基于云计算环境，主要包括：云存储、云资源调度与管理、云计算编程模型、云计算执行引擎等核心功能，支持对海量数据的存储、处理、建模、分析、展现等全过程的分布式并行化开发与运行;

(2)面向 SaaS 服务的开放式体系架构：整个平台采用开放式体系架构，支持插件式开发与集成，提供底层核心功能的 API 调用接口，为第三方开发提供高可扩展的平台环境，基于平台开发的应用可以 SaaS 服务形式提供给用户使用;

(3)多源异构数据集成：平台提供丰富的数据集成接口，支持与传统的关系型数据库产品以及互联网、物联网应用系统的数据采集接口的无缝集成，便于将多源异构数据导入到平台数据存储系统;

(4)海量数据云存储管理：提供 PB 级结构化和非结构化数据云存储与管理，支持高效的数据查询、索引、提取等基本数据集操作;

(5)高效数据 ETL 处理：提供分布式并行的ETL处理工具，全面支持数据质量问题处理;

(6)基于 WEB 的分析建模：提供基于 WEB方式和基于工作流的数据挖掘建模系统，便于建模分析人员随时随地在线编辑和提交分析模型;

(7)离线分析与在线分析：提供以 Hadoop 为基础的离线分析环境和以 Spark 为基础的在线分析环境，满足不同应用场景下对数据分析响应效率的需求;

(8)知识库：平台提供算法库、模型库与案例库，支持用户将数据挖掘算法、分析模型及应用案例进行编辑和重用，不断积累成为用户知识库;

(9)可视化报表系统：平台提供可视化分析与报表系统，用户通过可视化分析工具、可视化引擎、报表模板等功能开展交互式可视化数据分析。

大数据分析平台

大数据分析平台的建设

首先创建数据集，在数据集创建后，由数据采集端采集，经由数据传输层进入数据存储层。

数据集还需要进一步划分。一般由业务部门及分析部门确定。数据集内数据格式应一致，方便进行处理。

接着，经过数据采集层和传输层之后，(这里的采集和传输具体技术操作就不提及了)，就是思考存储的问题。

对于海量数据的分布式存储，Hadoop/HDFS已经成为事实标准，目前不仅在各大互联网公司，甚至在电信领域以及银行也都开始陆续落地。

关于大数据分析。有统一的供数据分析开发人员使用的大数据处理平台Portal，作为唯一的用户授权、元数据访问、提交并管理作业、权限申请、集群资源使用情况查询、资源限额等等功能的入口。

关于监控层。统一使用Ganglia从采集端、传输层到存储层、分析层的基础资源指标、应用指标写入Ganglia，并使用Nagios进行报警。

以上就是对大数据分析平台的相关介绍内容，如果你对此还想了解更多信息的话，请继续关注本网站，之后也会继续为你提供更多最新资讯，除此之外，如若你在日常生活中经常使用PDF阅读文件，推荐你使用福昕阅读器，它会让你更轻松地操作注释PDF文件，为你提供满意的服务。