专为 AI 工作负载设计的开源 ETL 框架。...
CocoIndex 是一个专为 AI 工作负载设计的开源 ETL 框架,核心引擎采用 Rust 编写。
该产品支持增量处理、自定义逻辑和超越传统 SQL 的重计算转换(如 LLM 推理、结构化提取、向量嵌入等),可轻松实现数据源与目标的同步。
【核心功能】
声明式数据流:约 100 行 Python 代码即可完成数据转换流程定义
增量处理:自动识别变更,最小化重复计算,复用缓存提升效率
模块化组件:提供数据摄取、索引处理、多类型数据库导出的标准化接口
多模式运行:支持批处理、长期任务和快速预览模式
CocoInsight:内置数据血缘追踪和可观测性工具,降低数据工程门槛
产品提供开源版本(Apache 2.0 协议)和企业版支持。