定义
DataHub是一个开源的元数据管理平台，用于集中组织、搜索、发现和管理企业数据资产[1]。它将企业数据生态中的数据集、仪表板、数据管道、机器学习模型、指标、API 等对象，纳入一张相互连接的元数据图，并为每类对象记录结构、所有者、文档、质量与依赖关系[2]。在功能定位上，它同时承担数据目录、数据血缘追踪、数据治理与数据可观测性等职责[4]。
该平台的元数据模型由实体、方面和关系三类基本成分构成，每个实体由统一资源名称(URN)唯一标识[5]。它通过 GraphQL 与 REST 两类接口对外提供元数据的读写和查询能力，并提供命令行工具与 Python 软件开发工具包。
原理
DataHub 的架构按来源层、服务层与消费层划分。来源层负责从各类数据系统采集元数据，采集方式包括推送与拉取两类，既可以直接调用接口写入，也可以接收由数据源发出的标准化元数据变更事件[6]。元数据经采集后进入 Kafka 消息总线，再被写入服务层中不同用途的存储系统[4]。
服务层为不同类型的查询配备专门的存储组件：文档型查询与全文检索由 Elasticsearch 承担，关系与图结构查询由图数据库承担，涉及联表的复杂查询则由 MySQL 承担[6]。消费层则通过前端界面、GraphQL 接口、REST 接口和事件流向外提供元数据。其数据血缘可细化到字段级别，用 DAG 形式呈现上游与下游依赖，因此可以在修改表结构前评估影响范围[2]。
flowchart LR
A[数据源: 仓库/BI/ETL] --> B[元数据采集]
B --> C[Kafka 事件总线]
C --> D[元数据服务 GMS]
D --> E[Elasticsearch 检索]
D --> F[图数据库 关系]
D --> G[MySQL 事务]
E --> H[前端与 API]
F --> H
G --> H
发展历程
DataHub 的前身是 LinkedIn 于 2016 年发布的元数据采集工具 WhereHows，该工具是一个中央元数据存储库与数据集门户，用于存放位置、模式、分区、所有权等技术元数据以及血缘、作业执行、生命周期等过程元数据[6]。由于 WhereHows 在扩展性上存在局限，LinkedIn 于 2018 年以 DataHub 之名重建该项目[7]。
2019 年，LinkedIn 工程团队对外介绍了 DataHub，并于 2020 年将其开源。2021 年 6 月，由 DataHub 项目创建者 Shirshanka Das 与 Airbnb 前数据平台负责人 Swaroop Jagadish 共同创立的 Acryl Data 公司结束隐身状态，获得 900 万美元种子轮融资，用于对 DataHub 进行商业化[8]。该公司在 2023 年 6 月获得 2100 万美元 A 轮融资，并在 2025 年 5 月获得由 Bessemer Venture Partners 领投的 3500 万美元 B 轮融资，累计融资额达到 6500 万美元，同年公司品牌更名为 DataHub[9][3]。
应用
在数据发现场景中，DataHub 提供对数据资产名称、描述、所有权信息和细粒度属性的全文检索，用户也可以通过标签、术语、域等条件筛选结果，还可用通配与逻辑表达式构造较复杂的检索条件。在数据血缘场景中，它可以自动或经由 dbt、Superset、Airflow 等工具的集成获取血缘信息，并在变更代码前用于影响分析。
在数据治理场景中，该平台通过基于角色的访问控制，配合标签、术语表和域等业务元数据，对数据资产实施分级管理，并可将数据集归属到明确的所有者。其连接器覆盖主流数据仓库、数据湖、转换工具与商业智能工具，生产环境中的部署方式既可以是自托管的 Docker 或 Kubernetes，也可以是 Acryl Data 提供的托管云服务[2][10]。
在较早的公开资料中，采用该平台的组织包括 Netflix、Pinterest、Visa、Chime 等，覆盖数据、机器学习与软件资产的统一发现等用途[3]。此外，AWS 提供了将其托管于云端并从 Amazon Glue、Amazon Redshift 采集元数据的方案，用于把 ETL 作业的运行时血缘写入平台[1]。
局限
DataHub 的自托管部署对基础设施要求较高，需要运行 Java 服务并维护搜索引擎、消息队列与数据库等多个组件，因此需要专门的工程人员持续运维[4][10]。在需要多地部署或各团队自建服务的情况下，元数据一致性与运维成本会随之上升。
其元数据模型和界面相对复杂，学习曲线较陡，与非技术业务人员的日常使用习惯存在距离[4][10]。同时，平台只负责采集和记录数据结构、主键与关系等元数据，本身并不强制约束数据完整性[11]。此外，元数据图中所依赖的推送式采集方式，若有数据源未按约定上报变更，相关资产的元数据可能滞后或缺失[2]。
参见
参考资料
- amazon.com 上的网页 [引用日期2026-10-14]
- datahub [引用日期2026-10-14]
- securityboulevard.com 上的网页 [引用日期2026-10-14]
- 元数据管理平台搭建：从 Metastore 到统一元数据中心 [引用日期2026-10-14]
- Unity Catalog vs DataHub | Databricks [引用日期2026-10-14]
- DataHub——实时数据治理平台 [引用日期2026-10-14]
- heise.de 上的网页 [引用日期2026-10-14]
- Acryl Data [引用日期2026-10-14]
- businesswire.com 上的网页 [引用日期2026-10-14]
- DataHub [引用日期2026-10-14]
- DataHub [引用日期2026-10-14]