ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

5 分钟跑通 OpenMetadata 元数据管理:数据治理入门指南

5 分钟跑通 OpenMetadata 元数据管理:数据治理入门指南 5 分钟跑通 OpenMetadata 元数据管理数据治理入门指南【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata表散在 MySQL、MaxCompute、BigQuery 里血缘靠口口相传想治理又找不到抓手——这就是很多团队的日常。OpenMetadata 是一个开源的元数据管理平台把各数据源的表、列、血缘、质量测试集中到一处让你先看得到数据长什么样、从哪来、谁在管再谈治理。5 分钟跑起来 环境只要求三样装好 Docker 和 Docker Compose机器有 8GB 以上可用内存端口 8585 空闲。Java 环境不用操心服务都跑在容器里。git clone https://gitcode.com/GitHub_Trending/op/OpenMetadata cd OpenMetadata/docker/docker-compose-quickstart docker-compose up -d⚠️ 首次启动会先执行数据库迁移等几分钟再刷浏览器别急着下起不来的结论。浏览器打开http://localhost:8585用 admin / admin 登录官方文档对账号的说明为准。启动后的服务与端口如下服务端口说明OpenMetadata Server8585Web 界面 REST API 入口OpenMetadata Admin8586管理端口健康探测用MySQL3306元数据落库Elasticsearch9200全文检索与索引IngestionAirflow8080ingestion 摄取框架的运行环境调度元数据采集三个场景看懂它能干什么场景一新同事接手一张表。在 Explore 页搜表名表详情页直接给出列定义、数据类型、描述以及这张表的上游来源和下游消费者。以前要翻半天文档再找人问的这列到底存了什么现在页面上就有答案。场景二上游数据变了下游怎么第一时间知道把一张表加进数据质量测试——比如主键不能为空——测试失败会生成事件并出现在表的活动记录里。配合列级血缘图你能沿着边看到哪些下游表、管道被波及而不是等报表错了才倒查。场景三给数据贴上治理标签。在 Data Products 或 Domain数据域下把表归到业务域指定 Owner再打上敏感已认证这类标签术语表Glossary里的业务口径也可以直接挂到列上。治理不再是 PPT 概念而是落在每个实体页面上的动作。最常改的 3 个配置项 quickstart 全部默认值都能跑通真要动配置时90% 的情况只碰下面几项都在 docker-compose-quickstart 的环境变量里配置默认值什么时候改DB_HOST/DB_PORT/OM_DATABASEmysql / 3306 / openmetadata_db想用自带 PostgreSQL 时改跑同目录的docker-compose-postgres.yml驱动、端口会自动切换AUTHENTICATION_PROVIDERbasic接企业账号时换成 googleOIDC、saml、ldap对应的 OIDC_CLIENT_ID、SAML_、AUTHENTICATION_LDAP_一整套变量在同文件里都有注释模板OPENMETADATA_HEAP_OPTS-Xmx1G -Xms1G元数据量上万张表后按机器内存调大其余搜索集群地址、JWT 密钥、SMTP 等选项 compose 文件里都有默认值用到再查。用起来之后的事服务是否活着、日志在哪、启动失败先查什么一张表说清你想知道怎么做服务活着吗curl http://localhost:8585/api/v1/health返回 OK 即存活生产环境建议用 8586 管理口的/healthcheck日志在哪docker logs openmetadata_server容器日志即全部运行日志起不来先查哪端口 8585/3306/9200 是否被占MySQL、Elasticsearch 容器是否 healthyexecute_migrate_all迁移容器是否成功退出页面能开但搜不到数据Elasticsearch 索引还在写入稍等后重试搜索⚠️ 迁移容器execute_migrate_all没跑完之前Server 是不会起来的看日志前先确认它状态为 Exited (0)。下一步探索跑通只是入口按兴趣挑一条深入接入自己的数据源写一条 YAML 配置把 MySQL 或 PostgreSQL 的库表同步进来模板在 ingestion/examples摄取框架本身在 ingestion/src/metadata/ingestion质量测试与血缘进阶仓库里的 数据质量示例 给了从建服务到跑测试的完整样例深入架构openmetadata-service 是服务端核心docs/ 下有 API 参考与实体索引遇到问题再翻源码不迟先让数据被看见治理才有对象。把 quickstart 跑起来接进你自己的第一个库剩下的路会在用中自然展开。【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表