ELT测试：ETL和ELT之间的区别

本文概述

• ETL
• ELT
• ETL和ELT之间的区别是
• ETL何时是正确的选择？
• 结论

ETL

当我们将数据从源系统传输到数据仓库时, ETL是最常用的方法。提取, 转换和加载是一个过程, 涉及从外部源中提取数据并对其进行转换以适合运营需求, 然后将其加载到目标数据库或数据仓库中。当我们为数据仓库使用不同的数据库时, 使用这种方法是合理的。

在这种情况下, 我们必须将数据从一个地方转换到另一个地方, 因此这是在专用引擎中完成转换工作的一种适当方法。

提取, 加载和转换是一个提取数据并将其加载到数据库中的登台表中的过程。将其加载到登台表后, 将其转换为在数据库中的位置, 然后将其加载到目标数据库或数据仓库中。

ETL要求对原始数据进行管理, 其中包括提取所需信息并运行转换以满足业务需求。提取, 转换和加载等每个阶段都需要数据工程师和开发人员进行交互, 并处理传统数据仓库的容量限制。使用ETL, BI用户和分析人员变得习惯于等待, 直到完成整个ETL过程, 才可以简单地访问信息。

ELT

在ELT方法中, 提取数据后, 我们立即开始加载阶段, 将所有数据源移动到单个集中式数据存储库中。随着当今的基础架构技术正在使用云, 并且系统现在可以支持大型存储和可伸缩计算。因此, 一个庞大的扩展数据池和快速处理对于维护所有提取的原始数据几乎是无止境的。

这样, ELT方法提供了ETL的现代替代方案, 但是在某些情况下, 我们需要使用ELT。在各种情况下, 应使用ELT代替ETL：

• 当数据量很大时使用ELT。
• 当源数据库和目标数据库都相同时。
• 当数据库引擎在ELT的帮助下非常适合处理诸如PDW之类的数据时, 很容易非常快速地加载大量数据。

注意：当我们使用ETL时, 转换是由ETL工具处理的, 而在ELT中, 转换是由目标数据源处理的。

ELT的工作

提取, 加载和转换是从无限来源收集信息, 将信息加载到处理位置并将其转移到可操作的商业智能中的过程。

• 提取：从不同的数据源中提取数据, 这两种数据管理方法的工作原理相似。
• 负载：ELT将整个数据传递到将要存在的站点。 ELT缩短了提取和交付之间的周期, 但是在数据变得有用之前, 还有很多工作要做。
• 转换：这里, 数据仓库和数据库对数据进行排序和规范化。存储此数据的开销很高, 但是它带来了更多机会。

ETL和ELT之间的区别是

ETL何时是正确的选择？

这取决于公司现有的网络体系结构, 预算以及已经在使用云和大数据技术的程度。但是, 当三个重点领域中的任何一个或全部都至关重要时, 我们可以考虑使用ELT。

优先考虑摄取速度

当优先考虑摄取速度时, 我们必须使用ELT。因为ELT不必等待数据在站点外工作然后再加载（在这里, 数据的加载和转换可以并行进行）。在这里, 提取过程更快, 并且可以提供比ETL更快的原始信息。

什么是更好的英特尔

将数据转化为商业智能的优势在于能够将隐藏的模式转化为可操作的信息。通过保留所有历史数据, 组织可以挖掘时间轴, 销售模式, 季节性趋势或任何新兴指标, 这对于组织而言至关重要。在这种情况下, 我们可以访问原始数据, 因为数据在加载之前没有进行转换。通常, 在云数据湖中, 原始数据将被存储, 然后进行精炼或存储处理后的信息。例如, 数据科学家更喜欢使用原始数据的访问, 而业务用户则更喜欢使用规范化的数据进行商业智能。

当我们知道我们需要扩展时

当我们使用云数据仓库或Hadoop等高端数据处理引擎时, ELT可以利用本机处理能力的优势来实现更高的可扩展性。 ETL和ELT都是省时的方法, 可从原始数据中产生商业智能。但是云正在改变企业使用所有技术应对ELT挑战的方式。

结论

ETL代表提取转换和加载, 而ELT代表提取加载和转换。在ETL中, 数据从源流到阶段, 然后流到目标。在ELT目标系统中进行转换。分级系统不涉及ELT。在ELT中, 我们面临许多挑战, 但代价昂贵, 并且需要出色的技能来实施和维护。