DuckDB：从研究项目到广泛应用的数据库，为何如此之快？

引言从2019年阿姆斯特丹CWI的一个研究项目起步DuckDB发展成为过去十年中应用最广泛的数据库之一。它应用场景众多包括笔记本、ETL管道、仪表盘、CI测试运行器、SaaS产品内的嵌入式分析甚至能在iPhone上以100的规模因子运行TPC - H。许多公司围绕它开发出了实际产品如MotherDuck将其封装成云数据仓库Hex、Omni和Evidence等将其用作应用内执行引擎和缓存Fivetran在数据湖写入器中使用它进行合并和压缩Rill基于它构建开源BI工具Greybeam也用它处理数百万次查询。什么是DuckDBDuckDB是一个进程内分析型SQL数据库。“分析型”意味着它针对扫描数百万行数据进行过滤、聚合和连接的查询进行了优化而非通过主键查找单条记录的查询“进程内”表示它没有服务器可像加载NumPy或Polars一样作为库加载到程序中。它以单个小于20 MB的二进制文件形式发布无需外部依赖可通过pip install duckdb、brew install duckdb安装或在C项目中链接libduckdb。它能直接打开包含Parquet、CSV或JSON文件的目录将其视为SQL数据库。而且DuckDB还是目前最快的单节点分析引擎之一常能与花费数百万美元的集群相抗衡。查询在进程内运行将DuckDB指向笔记本电脑上一个6 GB的Parquet文件不到一秒就能得到结果无需集群、设置、迁移和CREATE TABLE。大多数分析型数据库是服务器如Snowflake、Postgres、BigQuery和Redshift需打开连接通过TCP发送SQL语句等待结果返回此过程中结果集记录要序列化、反序列化对于大型结果集这项工作耗时可能比查询本身还长。DuckDB是库无守护进程、端口和集群只需加载libduckdb到程序中调用函数即可。2017年Mark Raasveldt和Hannes Mühleisen研究发现客户端协议是查询过程中最慢的一步主要受带宽限制和每个值处理开销影响。DuckDB与客户端处于同一进程避开了这两个瓶颈。当Python脚本针对Pandas数据框执行查询时DuckDB可使用替换扫描功能理想情况下能直接读取Python进程的底层缓冲区实现零复制。以Arrow格式返回结果或查询基于Arrow的数据可避免传统API带来的逐行转换开销。从SQL到逻辑计划解析SQL语句进入DuckDB后第一步是解析为抽象语法树ASTDuckDB使用Postgres解析器的一个分支。AST是查询的树形表示解析过程将扁平字符串转换为引擎能理解的结构化对象。树形结构便于引擎其他部分工作绑定器、优化器和物理规划器都依赖它处理查询。绑定绑定阶段根据目录解析AST中的每个名称进行类型检查输出绑定树暴露未解析列、模糊引用和类型不匹配等错误将原始SQL文本转换为类型化的树。优化器DuckDB的优化器由一系列小型、专注的转换组成可单独检查和禁用。如过滤下推将WHERE谓词靠近扫描操作子查询展开将相关子查询重写为连接操作动态连接 - 过滤下推在哈希连接中利用构建侧数据计算边界推回到探测侧扫描操作连接顺序优化使用动态规划算法选择最优连接顺序。整个优化阶段通常在约一毫秒内完成之后得到逻辑计划。物理计划将逻辑步骤映射到物理操作符优化器输出的逻辑计划说明计算内容但未指定算法。DuckDB遍历逻辑计划根据节点输入形状和谓词选择物理操作符输出物理计划即由执行器知道如何运行的物理操作符组成的树。物理计划会拆分为多个管道。管道管道可想象成装配线数据从一端进入经过一系列站点处理后传递给下一个站点。如WHERE操作、投影操作、哈希连接的探测侧等可构成管道管道能并行执行。管道中断器有些操作符需看到整个输入数据才能产生输出如ORDER BY、GROUP BY、哈希连接的构建侧这些操作符是管道中断器或接收器标志着一个管道的结束和下一个管道的开始。物理计划由接收器连接起来的一系列管道组成。接收器中的操作接收器的操作分为接收、合并和最终处理三个阶段。接收阶段每个线程接收数据块并写入本地状态合并阶段将各线程本地状态合并到全局状态最终处理阶段合并后的全局状态作为下一个管道的输入。并行性是局部的管道和接收器通过为线程分配数据块和本地状态实现并行运行DuckDB一次只对一个管道进行并行处理这是分块驱动的并行处理和向量化执行能有效工作的原因之一。存储层DuckDB数据库DuckDB数据库是单一文件通常扩展名为.duckdb或.db数据分割成固定大小的块文件头包含元数据每个块带有校验和用于检测数据是否损坏。列、行组和区域映射块内部各列分开存储列存储在分析查询中更具优势。每列分割成行组行组是并行处理的基本单位。每个行组带有区域映射包含最小值、最大值和空值计数可用于跳过不满足谓词的数据。区域映射的有效性取决于列的排序方式。Parquet用户常将DuckDB指向Parquet文件进行查询。Parquet是列存的按列和行组存储最小/最大统计信息DuckDB可利用这些信息确定满足查询谓词的行组只读取所需列块。若文件在远程位置DuckDB可按需获取字节合理的WHERE子句可提高网络性能。CSVCSV文件无自我描述性DuckDB通过CSV嗅探器确定列的分隔符、值是否加引号、引号如何转义、第一行是否包含列名以及每列的类型。嗅探器包括方言检测、列类型检测和标题行检测基于采样数据工作可调整采样大小。执行查询运行前需进行大量工作包括解析、绑定、优化和编译成物理计划存储层也会提前做很多工作。第2部分将从执行阶段开始介绍。