OLAP系统林林总总
创始人
2024-04-27 16:37:40
0

大数据需求通常可分为三大类:离线数据统计,实时数据计算,即席查询。

离线数据统计,通常是T+1出数,是最典型的数据仓库解决的问题。计算复杂性最高,所以是时间就不能要求太高,否则对资源的要求将是非常高。比如计算DAU、留存等指标。

实时数据计算,需要实时进行数据ETL过程,实时流计算,来计算出结果,这类计算复杂性不会太高但是对数据处理的吞吐量要求很高,比如典型的计算一个APP的实时在线人数,当天实时新增人数等。

即席查询,是现在OLAP分析越来越普遍的场景。随着现在计算能力的提升、成本的下降,选择合适的数据分析技术,可以实现相对复杂的即席查询。

细分OLAP,有以下几类:

ROLAP:关系型OLAP,基于明细数据进行聚合计算。系统比如:Presto,Impala,GreenPlum,Clickhouse,Elasticsearch,Hive,Spark SQL,Flink SQL,kudu。

先解析Query,生成执行计划,扫描数据,执行关系型算子,在原始数据上做过滤(Where)、聚合(Sum, Avg, Count)、关联(Join),分组(Group By)、排序(Order By)等。

好处是查询灵活、扩展性很好,对查询模式不固定情景支持更好;坏处是数据量大或者复杂计算时,耗费计算资源高,计算效率不稳定,存在潜在的重复计算。

MOLAP:多维OLAP,预聚合模式。系统比如:Kylin,Druid。

根据用户定义的数据维度、度量(也可以叫指标)在数据写入时生成预聚合数据;Query查询到来时,实际上查询的是预聚合的数据而不是原始明细数据。

好处是预结算,查询时效率高,能缓解重复计算但也带来维度爆炸问题。

Hybird OLAP:融合OLAP,结合上述两类。

分场景看下各类数据分析系统。

场景一:简单查询

 对查询响应时间要求毫秒级时,ElasticSearch、Druid/Kylin、Clickhouse符合,但是吞吐量依次降低。

场景二:复杂查询

秒级查询,即席查询这类场景,可选的方案Presto、Kudu,其他在复杂分析下基本做不到秒级,或者支持不了过于复杂的分析。 

相关内容

热门资讯

喜欢穿一身黑的男生性格(喜欢穿... 今天百科达人给各位分享喜欢穿一身黑的男生性格的知识,其中也会对喜欢穿一身黑衣服的男人人好相处吗进行解...
发春是什么意思(思春和发春是什... 本篇文章极速百科给大家谈谈发春是什么意思,以及思春和发春是什么意思对应的知识点,希望对各位有所帮助,...
网络用语zl是什么意思(zl是... 今天给各位分享网络用语zl是什么意思的知识,其中也会对zl是啥意思是什么网络用语进行解释,如果能碰巧...
为什么酷狗音乐自己唱的歌不能下... 本篇文章极速百科小编给大家谈谈为什么酷狗音乐自己唱的歌不能下载到本地?,以及为什么酷狗下载的歌曲不是...
家里可以做假山养金鱼吗(假山能... 今天百科达人给各位分享家里可以做假山养金鱼吗的知识,其中也会对假山能放鱼缸里吗进行解释,如果能碰巧解...
华为下载未安装的文件去哪找(华... 今天百科达人给各位分享华为下载未安装的文件去哪找的知识,其中也会对华为下载未安装的文件去哪找到进行解...
四分五裂是什么生肖什么动物(四... 本篇文章极速百科小编给大家谈谈四分五裂是什么生肖什么动物,以及四分五裂打一生肖是什么对应的知识点,希...
怎么往应用助手里添加应用(应用... 今天百科达人给各位分享怎么往应用助手里添加应用的知识,其中也会对应用助手怎么添加微信进行解释,如果能...
客厅放八骏马摆件可以吗(家里摆... 今天给各位分享客厅放八骏马摆件可以吗的知识,其中也会对家里摆八骏马摆件好吗进行解释,如果能碰巧解决你...
苏州离哪个飞机场近(苏州离哪个... 本篇文章极速百科小编给大家谈谈苏州离哪个飞机场近,以及苏州离哪个飞机场近点对应的知识点,希望对各位有...