新的用例和挑战

A comprehensive repository of Taiwan's data and information.
Post Reply
asimj1
Posts: 418
Joined: Tue Jan 07, 2025 4:35 am

新的用例和挑战

Post by asimj1 »

随着从数量、速度和种类不断增加的数据(通常称为 )中获取最大价值的动力,除了支持 的其他技术特性之外,所谓的现代数据堆栈或数据架构已经发展变得更加开放、灵活和可操作(有助于将见解转化为行动)。

元数据平台也必然会迎头赶上,并准备支持这种现代数据堆栈。请参阅 克罗地亚电话号码数据 此内容 非常有帮助的博客文章 来自 数据中心团队的关于元数据驱动的新用例以及支持这些用例的元数据平台架构的演变。

似乎现在也与元数据相关。为了支持合规性和访问控制方面的一些用例,我们需要支持所谓的“操作元数据”。因此,我们需要更新的元数据来源和类型,例如来自多个工具的查询日志以了解使用元数据和系统日志以了解资源消耗和性能。进入这个操作元数据领域自然也意味着速度和容量的增加。


现代元数据堆栈
为了支持这些新的用例和挑战,现代元数据平台需要满足以下要求:

元数据源: 连接到多种类型的元数据源(实际上是构成数据堆栈的任何事物)都是必不可少的。这可能是各种数据源、数据管道工具、数据目录工具、数据湖仓库、数据质量工具、分析工具、查询引擎、身份管理工具等等。如果不从所有这些来源获取和拼接元数据,我们就无法获得有关血统、数据质量影响、隐私等方面的任何有意义的见解。随着越来越多的数据平台通过定义明确的合同或 公开其元数据,这将变得更容易。当然,当工具关闭或需要使用代码解析器(例如,使用 或 代码构建的转换)导出核心元数据时,我们将面临挑战。
Post Reply