大数据解决方案

产品简介

 SBDP(SVI Bigdata Platform)是视维科技自主研发的大数据平台解决方案，包括ETL数据收集，数据存储，分析挖掘，业务应用四大模块体系。构建高效，安全，多维，融合，开放，统一管理的大数据平台。提供从终端到云端再到服务端一站式数据挖掘分析，覆盖全业务、全平台，以数字说话，支持决策运营的解决方案。建立“数据驱动型”发展模式，完善数据运营体系，落实大数据运营中心。战术层面上通过运营优化，管理提升，风险控制，对外服务等应用全面提升视频内容核心价值和竞争力。

 

1. SBDP平台体系

平台体系架构图：

 

2. SBDP平台优势

2.1 实时数据收集展示

 对所有业务平台及终端服务端的数据收集上报并传输到大数据平台进行流式整合处理再汇集到平台的数据仓库，实现实时的，数字化的，精准的展示所有业务平台运行情况。

2.2 大规模可伸缩存储和计算

 大数据平台构建云平台之上，基于于分布式存储和分布式计算集群技术框架的优势，可实现超大规模的存储和计算的吞吐能力。性能业界领先，大容量大集群资源池，自动化监控管理，并可弹性伸缩等。

2.3 安全

 端到端数据加密传输，安全加固，多种灾备方案等。在大数据平台之上，通过高效的数学模型算法，可提前防止蓄意的破坏攻击，提升服务体验。

2.4 深度挖掘

 大量的数据不断的迭代分析处理，构建出一套多维度，多方位，立体化的用户肖像系统，做到真正意义上的全面了解我们的客户喜好，再结合机器学习算法实现内容投放，精准推荐。且支持深度学习智能地对图像和语音进行识别分类。

2.5 对外服务

 对友商提供数据服务。

2.6 决策运营

 大数据强大的处理能结合专业的加工后产生更强决策力，洞察发现力，流程优化能力。数字化的指导运营决策，团队管理，风险管控，创造更多的机会，迎接更大的挑战。

3. SBDP功能简介

技术架构图与功能说明：

 

3.1 ETL数据收集

 数据采集到大数据中心加入Kafka分布式消息订阅系统，可实现时间先后顺序的信息持久化能力，高吞吐率，支持数据同步和异步处理，支持水平扩展。平滑对接Flume数据收集框架，也支持各种协议上报，再加上自定义接口的开放，可对接种类繁多的数据。Kafka消息是根据Topic进行归类,发送消息者成为Producer，消息接收者成为Consumer，赖于Zookeeper来保证系统可用性以及保存一些Meta信息，通讯都是基于TCP，非常轻量级。

3.2 数据存储计算

 大数据中心采用HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统作为存储方案。适用于保存多个副本机制，保证数据不丢失，运行在廉价的机器上，适合大数据的存储。分布式的架构扩展弹强，数据吞量大，GB，TB甚至PB都不是问题，数据存储格式支持主流的text、json、csv、parquet等。数据计算方案采用Spark分布式内存计算框架，其灵活的MapReduce编码模型，加之DAG（有向无环图）任务构建机制非常适合于数据的迭代计算，可实现数据不落盘即在内存中完成，有超低延时的计算特性，即使是离线计算只需从磁盘加载数据一次，有天生性能优势。

3.3 数据挖掘

 通过对数据特征的提取再结合数学计算模型，并通过统计，在线分析处理，机器学习，模式识别和深度学习等诸多方法来实现上数据挖掘。构建出一套全方位的，立体化的用户肖像系统，并实现统计报表，内容精准推荐，业务预测，决策支撑，风险管控，需求挖掘等特色功能。