CocoIndex

专为 AI 工作负载设计的开源 ETL 框架。...

【产品介绍】

CocoIndex 是一个专为 AI 工作负载设计的开源 ETL 框架,核心引擎采用 Rust 编写。

该产品支持增量处理、自定义逻辑和超越传统 SQL 的重计算转换(如 LLM 推理、结构化提取、向量嵌入等),可轻松实现数据源与目标的同步。

【核心功能】

声明式数据流:约 100 行 Python 代码即可完成数据转换流程定义

增量处理:自动识别变更,最小化重复计算,复用缓存提升效率

模块化组件:提供数据摄取、索引处理、多类型数据库导出的标准化接口

多模式运行:支持批处理、长期任务和快速预览模式

CocoInsight:内置数据血缘追踪和可观测性工具,降低数据工程门槛

产品提供开源版本(Apache 2.0 协议)和企业版支持。