Tapdata

定义

Tapdata 是一款面向企业数据服务的实时数据平台，产品全称为钛铂实时数据平台(TapData Live Data Platform)，简称 Tapdata LDP^[1]。它以低延迟的数据移动为核心，用于实现核心数据系统之间的实时同步、实时交换和实时处理^[3]。

在官方英文文档中，Tapdata 被描述为一种实时运营数据平台，用于统一、标准化并交付企业内部的业务数据，为分析、API 和数字应用提供持续更新的数据^[4]。平台由深圳钛铂数据有限公司研发，该公司成立于 2019 年，由前 MongoDB 大中华区首席架构师唐建法创办^[1]。

原理

Tapdata 的数据同步建立在变更数据捕获(Change Data Capture，CDC)技术之上。它在数据源端通过读取数据库日志(如 MySQL 的 binlog、PostgreSQL 的 WAL)捕获行级的插入、更新和删除操作，避免整表扫描，从而实现亚秒级的同步延迟^[5]。除了日志方式，平台也支持基于触发器的同步方式，并提供自动重试机制以减少数据丢失^[6]。

平台在架构上大体可分为连接、转换和交付三个层次。连接层负责从数据库、SaaS 应用或消息流中采集数据；处理层以内存执行的方式进行过滤、合并、脱敏等转换，用户可通过可视化拖拽方式编排数据流，也可插入 JavaScript 脚本处理自定义逻辑；交付层则把结果以 REST 或 GraphQL 接口形式发布，或同步到下游系统与分析平台^[5]。

存储与查询加速依赖增量物化视图(Incremental Materialized View，IMV)。这种视图只处理发生变化的数据，通过 CDC 持续刷新，典型延迟在 500 毫秒以内，结果可持久化到 Redis、PostgreSQL 等高速存储中供查询使用，从而避免对生产库造成额外的读压力^[5]。平台内置的数据源连接器涵盖关系型数据库、云服务、SaaS 平台以及主机、FTP 等传统系统^[6]。

发展历程

Tapdata 的开发主体深圳钛铂数据有限公司成立于 2019 年 9 月，创始人为唐建法等，早期核心成员来自 MongoDB、Oracle、百度、阿里、腾讯等企业^[1]。公司名称中的 「Tap」 取自创始人希望数据像打开龙头一样随时可用的构想，产品口号为 Make Your Data on Tap^[2]。

公司成立当年即获得变量资本等机构近千万元人民币的天使轮投资，2021 年又获得由五源资本领投及 XVC、德联资本联合领投的数千万美元 Pre-A 及 Pre-A+ 轮融资^[1]。同期推出的 Tapdata Cloud 以 SaaS 形式提供无代码实时同步能力，并对其免费开放^[3]。

2022 年 6 月，Tapdata 宣布开源，社区版面向开发者逐步开放核心功能^[7]。此后平台增加了数据校验、类型映射等功能，并持续扩展数据源支持范围^[8]。其关联产品钛铂分布式文档数据库(TapDB)于 2024 年通过中国信通院组织的文档数据库基础能力测试^[3]。

应用

在数据集成与迁移场景中，Tapdata 用于同构或异构数据源之间的全量与增量同步，可用于数据迁移、数据灾备和读取性能扩展等用途^[9]。平台也可将分散的业务数据汇聚到统一的缓存层，为后续加工和业务提供基础数据，构成所谓的数据即服务(Data as a Service，DaaS)架构^[9]。

在业务侧，Tapdata 的典型用途包括构建运营数据中枢、统一客户与产品等主数据、为分布式微服务保持数据一致，以及通过增量物化视图加速复杂分析查询^[4]。在行业层面，其方案被应用于医疗领域的患者 360 视图、医院运营决策支持和电子病历共享等场景，需要对多源异构系统进行实时整合^[10]。

在生态与部署方面，Tapdata 支持私有化部署，可在客户数据中心或私有云环境中运行，并可与 Apache Kafka 等消息基础设施配合使用，承担 CDC 采集或消费的角色^[11]。平台也与多家数据库厂商和云服务商建立了合作关系^[1]。

局限

Tapdata 的实时能力依赖对源数据库日志的读取，因此对数据源的版本和配置有一定要求，部分数据源的支持范围和版本兼容性受限。在无法开启日志或权限受限的环境中，只能改用基于触发器等方式，其延迟和对源库的影响会相应增加^[6]。

平台面向的是实时数据集成与数据服务环节，并不等同于通用的消息中间件或批处理数仓工具。官方文档也将其与 Kafka、Informatica 等产品作了用途区分，说明二者面向的目标场景并不重合^[12]。此外，实时同步意味着数据会持续流向中心平台和下游系统，字段脱敏、权限控制与数据血缘追踪需要单独配置，否则存在敏感数据扩散的风险^[6]。

参见

• 变更数据捕获 —— Tapdata 实现实时同步所依赖的核心技术。

• 数据集成 —— Tapdata 所属的技术领域，涵盖数据抽取、转换与加载。

• Apache Kafka —— 常与 Tapdata 配合使用的分布式消息流平台。

• MongoDB —— Tapdata 创始人此前任职的企业，其存储层设计也与之相关。

• 数据即服务 —— Tapdata 遵循的架构理念，将数据以服务形式对外交付。

• 主数据管理 —— Tapdata 支持的典型应用方向之一。