DorisDB升级为StarRocks,全面开源!
今天被朋友圈刷屏了,StarRocks开源——携手未来,星辰大海!
可能大家对StarRocks不太熟悉,但是DorisDB想必都是听说过的。
在过去相当长的一段时间,对于ClickHouse 与 DorisDB的性能之争一直经久不息。
对于实时OLAP引擎的选择,Doris也越来越多并企业所应用。
DorisDB是一款纯国产的高性能的, 分布式关系型列式数据库。
DorisDB脱胎于百度广告业务的实时分析场景, 于2018贡献给Apache开源社区, 之后在美团, 小米, 字节跳动, 京东等互联网企业被适用于核心业务实时数据分析。
DorisDB致力于满足企业用户的多种数据分析场景. 支持多种数据模型(明细表, 聚合表), 多种导入方式(批量, 可整合和接入多种现有系统(Spark, Flink, Hive, ElasticSearch)。
DorisDB特性
DorisDB的架构设计融合了MPP数据库,以及分布式系统的设计思想,具有以下特性:
架构简单
DorisDB集群的正常运行不需要依赖任何其他系统, 易部署, 易维护. 极简的架构设计, 降低了DorisDB系统的复杂度和维护成本, 同时也提升了系统的可靠性和扩展性。管理员只需要专注于DorisDB系统,无需学习和管理任何其他外部系统。
分布式架构
DorisDB采用分布式架构,存储容量和计算能力可近似线性水平扩展。DorisDB集群的规模可扩展到数百节点,支持的数据规模可达到10PB级别。元数据和数据管理采用热备保证高可用, 能够自愈, 服务和数据安全可靠。
自治系统,管理简单
DorisDB是一个自治的系统。节点的上下线,集群扩缩容都可通过一条简单的SQL命令来完成; 在此操作期间, DorisDB后台自动完成数据rebalance; 用户的查询和数据导入操作可同时正常运行。
另外DorisDB表模式热变更,可通过一条简单SQL命令动态地修改表的定义, 例如增加列、减少列、新建物化视图等。同时,处于模式变更中的表也可也正常导入和查询数据。
标准SQL
DorisDB支持标准的SQL语法,包括聚合,JOIN,排序,窗口函数,自定义函数等功能,用户可以通过标准的SQL对数据进行灵活的分析运算。 此外,DorisDB还兼容MySQL协议语法,可使用现有的各种客户端工具、BI软件访问DorisDB, 对DorisDB中的数据进行拖拽式分析。
MPP(Massively Parallel Processing)执行框架
DorisDB内部通过MPP计算框架完成SQL的具体执行工作。MPP框架本身能够充分的利用多节点、多CPU, 多核的算力,充分地将整个查询并行执行, 从而实现很好的交互式分析体验. DorisDB能够支持亚秒级查询,并且查询QPS可达10000以上。
流批导入
DorisDB支持实时和批量两种数据导入方式, 支持的数据源有Kafka, HDFS, 本地文件. 支持的数据格式有ORC, Parquet和CSV等. DorisDB可以实时消费Kafka数据来完成数据导入,保证数据不丢不重(exactly once)。DorisDB也可以从本地或者远程(HDFS)批量导入数据。
高可用
DorisDB的元数据和数据都是多副本存储,并且集群中服务有热备, 多实例部署,避免了单点故障。集群具有自愈能力, 可弹性恢复. 节点的宕机、下线、异常都不会影响DorisDB集群服务的整体稳定性。
DorisDB可以满足企业级用户的多种分析需求,包括OLAP多维分析,定制报表,实时数据分析,Ad-hoc数据分析等。
在企业对于大数据分析面临的越来越多的问题情况下。
DorisDB升级为StarRocks,并全面开源(Github搜索“StarRocks”)
Github:https://github.com/StarRocks/starrocks
另外,官方下载地址与文档,请关注下面的地址。
1.18.2社区版下载地址:
Https://www.dorisdb.com/zh-cn/download/request-download/1
发行说明:
Https://forum.dorisdb.com/t/topic/391
POC测试指南:
Https://www.bilibili.com/video/BV1SX4y1c7i4?share_source=copy_web
测试FAQ:https://docs.dorisdb.com/zh-cn/main/quick_start/Test_faq
也希望大家为国产开源软件贡献一份自己的力量。
获取更多StarRocks资料,欢迎关注 大数据流动 回复 “StarRocks”