我们可以不再使用ETL了吗-不建议-玄武百科知识网

我们可以不再使用ETL了吗

投稿- 2023-08-20 15:13:36

这篇文章给大家聊聊关于我们可以不再使用ETL了吗，以及不建议使用ETL对应的知识点，希望对各位有所帮助，不要忘了收藏本站哦。

本文目录

为什么建数据仓库需要使用ETL工具
自行印刷ETL标签为什么还要年费
我们可以不再使用ETL了吗
罗曼吹风机用了好吗

为什么建数据仓库需要使用ETL工具

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。既然要获取全部数据，必然涉及到多系统，各类型数据库的对接问题，还有数据抽取、整理的问题。

这时候ETL工具的作用就集中体现出来了，数据的抽取、转换、加载直到供人们去分析使用，ETL就是数据抽取、转换、加载的过程。

有些地方可能选择的是ELT，先加载在转换。对数仓来说，ETL首先要考虑业务需求，最后数据落地模型，要体现某种主题。

然后从数据源考虑哪些字段是可以用的，在进行ETL。现在ETL工具很多，所以编程能力很难在这方面体现出来，对于公司来说，更看重的是ETL的思路。通俗的想，数据仓库就像大水池，给水池蓄水需要泵和水管，那ETL就是承担泵和水管的功能。

自行印刷ETL标签为什么还要年费

自行印刷ETL标签需要年费的原因主要有两点。

首先，ETL认证机构需要用年费来维护和更新其认证标准，确保所标识的产品符合最新的安全标准和要求。

其次，自行印刷ETL标签需要购买ETL认证机构提供的授权和技术支持，这是非常关键的步骤，因为标签的质量和准确性直接关系到产品的安全性和质量，同时也增加消费者对产品的信任度。

因此，如果想要自行印刷ETL标签，需要支付一定的年费，以保证标签的合法性和可信度。

我们可以不再使用ETL了吗

说到ETL，很多开发伙伴可能会有些陌生，我也是在近几年的工作过程中才接触到ETL的，现在的项目是比较依赖于ETL，可以说是项目中重要的一部分。

先看一看ETL是做什么用的：ETL是将各个业务系统的数据，通过抽取、清洗、转换之后，加载到数据仓库的过程；ETL可以将分散、零乱、标准不统一的数据整合到一起。完整的ETL功能有很多（ETL是三个三次的缩写...），我只从我实际使用的场景出发，说明我对ETL的理解和实际应用。

我接触过的项目，使用ETL工具的场景有这个几种：

报表、BI系统：

在公司建设的初期，业务比较少，系统也比较少，一台数据库就搞定了；

随着公司业务的增加，业务系统被拆成很多系统；

随着数据量的继续增加，单个系统的数据增加到一定程度的时候，也做了分库分表；

这时候领导、业务人员在用数据做分析的时候，数据来源可能是多个系统的多张表，这时候企图通过一个复杂的SQL跑出来结果就很困难了；通常公司会建立一个数据仓库，通过ETL工具把数据抽取到数据仓库中，再做数据的拟合和展示。

跨系统的数据加工或查询：

我们现在所在公司，业务系统有几百个，由于业务流程比较复杂，前端系统在做业务操作的时候，在正式提交交易之前，有很多业务校验；比如要查询客户在A系统的交易历史，在B系统的交易历史，在C系统的交易历史；那么就需要分别调用A、B、C系统的接口，这个对前端系统很不友好，那么通常的解决方案是什么？

学阿里，建中台，、把A/B/C系统合并成一个大中台，对外提供服务；这种方法很好，但是非常难；很多公司，别说把A/B/C合成一个系统了，就是A系统本身的重构，都非常地困难；

第二种方案，在前段系统和A/B/C系统之间，增加一层，可以叫做服务中台，它的作用是整合A/B/C系统的服务，然后对外提供一个服务给前端系统调用；好处是前端系统只需要调用服务中台的一个接口即可；

我们现在采用的是第三个方案，把A/B/C系统的数据，通过ETL抽取到一起，并通过Java把数据提前加工好，保存到MongoDB中的同一个Collection中（利用了MongoDB数据结构的特点）；再对外提供服务的时候，相当于做了一次单表查询，就可以查询到三个系统的数据；好处是可以调一个接口查出三个系统的数据，并且缓解了三个系统的查询压力；

当然这个方案也有着一个很大的缺陷，就是有一定的延迟，需要根据业务场景进行评估，是否接受这个延迟。

ETL的工具也有不少，我们现在使用的是Informatica，这是收费的，开源的只接触过Kettle；

我们现在是根据数据表的时间戳，做增量抽取，在我看来，比较理想的方案是业务系统可以把数据“吐出来”，比如业务系统埋点发送MQ、MySQL可以监听binlog日志，不过在我们公司都非常难以实现；

所以，至少在我们项目，ETL是很难被替换掉的。

我将持续分享Java开发、架构设计、程序员职业发展等方面的见解，希望能得到你的关注。