Skip to content

datafusion

核心内容总结:
Apache DataFusion 是一个基于 Rust 的可扩展查询引擎,使用 Apache Arrow 作为内存格式,支持 SQL 和 DataFrame API,提供高性能数据处理能力。其主要特性包括:列式、流式、多线程、向量化执行引擎,支持 CSV、Parquet、JSON、Avro 等数据格式,可自定义数据源、函数及查询语言。适用于构建数据库、分析系统及数据管道。提供 Rust 和 Python 接口,包含安装指南、API 文档及示例代码。项目支持社区贡献,遵循 Apache 2.0 许可证,并通过 Cargo.lock 管理依赖。