SDC Hadoop数据存储计算软件V3.0

2017-07-25 ·   本站  阅读:1845 收藏
0
   
分布式存储:采用分布式存储,高度容错,可部署在廉价机器上,提供高吞吐量的数据访问。

产品名称SDC Hadoop数据存储计算软件V3.0

所属单位:成都四方伟业软件股份有限公司

所属类型:大数据基础设施类—本地部署

产品技术:Hadoop、Spark、Tez、Storm、HDFS、Hbase、hive

应用领域:通用

核心功能:

l  分布式存储:采用分布式存储,高度容错,可部署在廉价机器上,提供高吞吐量的数据访问。对于小文件,提供多种文件合并策略,最大限度降低磁盘IO,提供最大限度的读写效率。

l  数据处理技术:提供分布式计算引擎,用户可采用离线和实时两种计算模式来处理大规模数据集。另外,对于Hive数据处理,支持Hive on Spark、Hive on Tez和Hive on MapReduce三种模式。并提供查询引擎,支持对存储在Hadoop中的大规模数据以类SQL的方式进行查询,提高数据计算和查询性能。

l  可视化任务设计:整合的多种组件和可视化的工作流设计器,用户只需通过简单的拖拉拽操作即可完成数据处理流程设计。同时,具备调度配置管理能力,用户可根据数据处理频率灵活设置定时执行计划。

l  数据采集:提供实时采集和批量采集两种模式。其中,通过批量采集,实现传统型关系数据库和Hadoop之间的数据转换和传递;通过实时采集,实现对分布式的海量日志的采集、聚合和传输。

l  实时检索:基于ElasticSearch技术,实现数据实时检索。包括主流关系型数据库RDBMS、常用文件数据源、基于Hadoop的大数据平台数据源、Nosql数据库和Mango。

l  资源动态分配:集群CPU,内存动态分配,划分为不同的队列,支持多应用隔离运行。

l  开方式二次开发接口:SDC Hadoop针对HDFS、Hive、HBase、Kafka等组件进行API封装,为用户二次开发提供强有力支撑。

安全问题:

l  集中式安全管理技术:提供基于用户和角色的统一认证体系,并支持单点登录能力。同时,提供Kerberos安全认证,保证服务器与服务器、客户端到服务器之间的安全。支持对Hadoop生态组件进行细粒度的数据访问控制。并提供专门的加密组件,有效避免敏感数据泄露,提升数据安全性。




【本文为 本站原创,网页转载须在文首注明 来源与作者,微信转载须联系授权(original@bdinchina.com)。如不遵守,将向其追究法律责任。】
微信公众号联盟微信公众号联盟微信公众号新软件微信公众号新软件 回顶部