【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台
大家好，我是独孤风。
这几年数据治理爆火，但迟迟没有一个优秀的开源数据治理平台的出现。很多公司选择元数据管理平台作为基础，再构建数据质量，数据血缘等工具。
今天为大家推荐的开源项目，是一个一体化的数据治理平台，一个平台解决了大部分问题。让我们一起来看看吧~
OpenMetadata是一个用于数据治理的一体化平台，可以帮助我们发现，协作，并正确的获取数据。
OpenMetadata提供了数据发现、数据血缘、数据质量、数据探查、数据治理和团队协作的一体化平台。它是发展最快的开源项目之一，拥有充满活力的社区，并被各行业垂直领域的众多公司采用。 OpenMetadata 由基于开放元数据标准和API 的集中式元数据存储提供支持，支持各种数据服务的连接器，可实现端到端元数据管理，让您可以自由地释放数据资产的价值。
其UI非常美观，其操作和使用逻辑，也符合业务人员的习惯。
该项目的Github地址为：https://github.com/open-metadata/OpenMetadata
目前标星3.2K，最新版本为1.2.3
主要开发语言前端为TS，后端为Java和Python。
可在大数据流动后台回复“OpenMetadata”获取安装包与学习资料。
什么是OpenMetadata？
OpenMetadata 包括以下内容：
元数据模式- 使用类型、实体和实体之间关系的模式定义元数据的核心抽象和词汇。这是开放元数据标准的基础。还支持具有自定义属性的实体和类型的可扩展性。
元数据存储- 存储连接数据资产、用户和工具生成的元数据的元数据图。
元数据 API - 用于生成和使用基于用户界面模式以及工具、系统和服务集成构建的元数据。
摄取框架- 用于集成工具并将元数据摄取到元数据存储的可插入框架，支持大约 55 个连接器。摄取框架支持众所周知的数据仓库，如 Google BigQuery、Snowflake、Amazon Redshift 和 Apache Hive；MySQL、Postgres、Oracle 和 MSSQL 等数据库；Tableau、Superset 和 Metabase 等仪表板服务；消息服务，如 Kafka、Redpanda；以及 Airflow、Glue、Fivetran、Dagster 等管道服务。
OpenMetadata 用户界面- 用户发现所有数据并就所有数据进行协作的单一位置。
核心功能
数据协作- 通过活动源获取事件通知。使用 webhook 发送警报和通知。添加公告以通知团队即将发生的更改。添加任务以请求描述或术语表术语批准工作流程。添加用户提及并使用对话线程进行协作。
数据质量和分析器- 标准化测试和数据质量元数据。将相关测试分组为测试套件。支持自定义SQL数据质量测试。有一个交互式仪表板可以深入了解详细信息。
数据血缘- 支持丰富的列级沿袭。有效过滤查询以提取沿袭。根据需要手动编辑谱系，并使用无代码编辑器连接实体。
全面的角色和策略- 处理复杂的访问控制用例和分层团队。
连接器- 支持连接到各种数据库、仪表板、管道和消息传递服务的 55 个连接器。
术语表- 添加受控词汇来描述组织内的重要概念和术语。添加词汇表、术语、标签、描述和审阅者。
数据安全- 支持 Google、Okta、自定义 OIDC、Auth0、Azure、Amazon Cognito 和 OneLogin 作为 SSO 的身份提供商。此外，还支持 AWS SSO 和 Google 基于 SAML 的身份验证。
功能展示
请参考大数据流动视频号的功能演示：
如何安装？
OpenMetadata 的安装非常简单，可以使用Docker进行快速的安装，几分钟就可以搞定。
首先查看python版本。
python3 --version需要python 3.7 3.8 3.9三个版本都可以。
查看docker版本。
docker --version20.10.0或者更高的版本。
docker compose version需要docker compose 2.1.1或者更高的版本。
建立文件夹
mkdir openmetadata-docker && cd openmetadata-docker创建虚拟环境。
python3 -m venv env虚拟环境生效。
source env/bin/activate更新pip
pip3 install --upgrade pip setuptools获取openmetadata配置文件
wget https://github.com/open-metadata/OpenMetadata/releases/download/1.2.2-release/docker-compose.yml
wget https://github.com/open-metadata/OpenMetadata/releases/download/1.2.2-release/docker-compose-postgres.yml启动容器
docker compose -f docker-compose.yml up --detach启动postgre
docker compose -f docker-compose-postgres.yml up --detach随后访问
http://localhost:8585 成功！