大数据计算引擎

Spark SQL中Not in Subquery为何低效以及如何规避

虽然通过改写Not in Subquery的SQL，进行低效率的SQL到高效率的SQL过渡，能够避免上面所说的 […]

如果你比较熟悉JavaWeb应用开发，那么对Spring框架一定不陌生，并且JavaWeb通常是基于SSM搭起 […]

对于Spark的初学者，往往会有一个疑问：Spark（如SparkRDD、SparkSQL）在处理数据的时候， […]

众所周知，Catalyst Optimizer是Spark SQL的核心，它主要负责将SQL语句转换成最终的物 […]

在之前的文章《解析SparkStreaming和Kafka集成的两种方式》中已详细介绍SparkStreami […]

Catalyst是Spark SQL核心优化器，早期主要基于规则的优化器RBO，后期又引入基于代价进行优化的C […]

聊聊Spark的分区机制，以及通过spark.default.parallelism谈Spark并行度通过之 […]

Spark是典型的Master/Slave架构，集群主要包括以下4个组件： Driver：Spark框架中的驱 […]

笔者将分上下篇文章进行阐述Spark和MapReduce的对比，首篇侧重于”宏观”上的 […]

Spark算子主要划分为两类：transformation和action，并且只有action算子触发的时候才 […]

MapReduce是Hadoop核心三剑客之一，设计思想来源于谷歌三篇论文之一的《分布式计算模型》。作为一个分 […]