基于ETL助睿平台的订单利润分流数据加工

一、实验背景1.1 实验目的实验旨在初步熟悉助睿零代码数据集成平台(ETL平台)的核心功能及操作方法主要包括下列内容掌握新建转换、添加组件、执行转换等基本操作流程熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法理解多表关联、数据过滤与分流处理的ETL设计思路1.2 实验环境零代码在线实验平台数据库MySQL数据准备订单表business_analysis.order_detail 和 产品表business_anaylsis.product1.3 数据加工流程将订单表和产品表按照产品ID进行左外连接移除重复ID字段按利润是否≥0进行分流分为盈利订单和亏损订单并进行输出二、实验步骤2.1 创建实验项目登录进入实验平台并完成团队创建后可以开始项目的创建。可以使用系统自带的默认项目但为了方便管理实验更推荐自行创建一个课程专属项目并将创建的项目归属到自己创建的团队中。2.2 同步数据源项目成功后可以打开。在项目目录页面可以看到左侧三个菜单资源库、文件、元数据。本次实验用到的是资源库和文件库。首先需要获取本次实验的数据集点击元数据右键关系数据库后同步数据源后切换到文件库菜单再切回到元数据即可看到成功同步的数据库即线上公共数据库。2.3 新建转换流本次实验将创建订单利润分流处理转换流整体逻辑已在1.3中给出涉及到的组件如下表输入订单/产品记录集连接字段选择过滤记录Excel输出具体操作如下首先切换到资源库菜单栏右键根目录新建名为”订单利润分流处理“的转换流可以进入到转换流的设计页面转换流页面每次打开都是锁定状态需要点击锁的图标进行解锁才可以进行编辑。2.4 添加组件1添加表输入组件我们需要用到两张表的数据进行合并计算因此需要读取两张表即添加两个表输入组件。点击组件库在搜索框中输入表输入将查询到的表组件拖拽至画布中共拖拽两个表输入组件。接下来右键其中的一个表输入组件将其步骤名称更改为”订单_详细订单”。类似地另一组表输入的步骤名称更名为“订单_产品信息”。2添加记录集连接组件在读取两张表的数据后我们需要通过记录集连接组件将表输入组件的数据进行关联。在输入框中输入“记录集连接”并将该组件拖拽至画布中。最后需要创建两个表输入到该组件的连线。3添加字段选择组件两张表连接后会出现重复的字段产品ID我们需要搜索字段选择组件将其拖拽至画布中并将该字段选择组件名更改为“移除产品ID_1字段”并创建记录集连接到该组件的连线。4添加过滤记录组件实验需要对订单的利润进行分流以此来分出盈利订单和亏损订单。因此我们需要过滤记录组件在搜索框中搜索并将其拖拽至画布中并创建字段选择字段到过滤记录组件的连接线。5添加excel输出组件记录经过我们的过滤后会分流成两个excel表输出因此我们需要添加两个excel输出组件。搜索框中输入“excel输出”并将该组件拖拽两个至画布中其中一个更名为“盈利订单”另一个更名为”亏损订单“。最后需要创建过滤记录到输出组件的连线其中连接线的类型True表示满足过滤条件的记录输出False则为不满足过滤条件的输出。至此完整的转换流构建完毕整体流程如下图所示。2.5 配置组件信息2.5.1 表输入组件配置双击“订单_详细订单”表输入组件我们选择线上公共数据源作为数据库连接并点击获取SQL查询语句后自动生成语句。接下来点开线上公共数据源-表的目录选择“business_anaylsis.order_detail”最后点击确认即可。另一张输入表“订单_产品信息”的配置也类似只是我们获取的表应为business_analysis.product。2.5.2 记录集连接组件配置双击该组件选择第一个Transform为“订单_详细订单”第二个Transform为“订单_产品信息”选择左连接分别获得连接字段后在第一个Transform的连接字段内除了product_id其余均删除。类似地第二个Transform在获取连接字段后删除除了id以外的所有字段。2.5.3 字段选择配置经连接后可以发现product_id和id字段的内容是相同的因此我们需要使用该组件移除其中的一个字段。双击该组件选择移除并在获取完所有字段后删除除了ID以外所有的字段。2.5.4 过滤记录组件配置由于我们需要将订单分为盈利订单和亏损订单因此可以使用字段利润来区分他们。双击过滤记录组件选择发送匹配的记录给盈利订单当profit利润字段0时我们认为这个订单是盈利订单具体配置如下图所示。配置完成后点击确认即可。2.5.5 Excel输出组件配置双击盈利订单表输出组件我们更改文件名为“盈利订单“扩展名为”xlsx excel 2007 and above“。配置弹窗中点击输出字段并右键获取字段获取后点击确认。类似地亏损订单的excel输出组件也进行同样的设置。2.6 执行转换我们点击画布上方的三角形按钮启动转换流在弹出的窗口点击启动。2.7 查看执行日志执行转换流后可以看到执行结果以及日志。如下图所示。2.8 查看结果点击文件库右键根目录刷新后可以看到任务的输出结果即两章表单”盈利订单“和”亏损订单“。三、实验总结本次实验熟悉了助睿零代码ETL平台的基本操作与方法通过实践能够熟练完成从项目创建、数据源同步、转换流构建到组件配置、执行及结果查看的全链路操作。重点掌握了表输入、记录集连接、字段选择、过滤记录及Excel输出等关键组件的配置技巧并深刻理解了多表关联与条件分流在复杂数据处理逻辑中的应用。与传统的SQL编写或脚本开发模式相比助睿平台的可视化拖拽操作具有显著优势。其数据流向清晰透明极大地提升了逻辑理解与调试效率。对于初学者而言这种零代码模式有效降低了技术门槛使其能够迅速具备处理常规数据加工任务的能力。