DataX是什么
DataX是由阿里巴巴研发并开源的一个异构数据源离线同步工具，技术人员能够通过DataX实现不同数据源之间的同步。
这里所指的数据源既包括关系型数据库、NoSQL数据存储、无结构化数据存储、时间序列数据库，同时也包含了阿里的云数仓数据存储。
DataX这套工具采用的是离线数据同步的方式，其框架为Framework + plugin。
数据同步的步骤即是将数据的读取、写入操作抽象成为由Reader/Writer插件进行处理步骤，最后纳入到整个同步框架中。
- Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
- Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
- Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。
DataX使用教程
在本教程，你可以学到如何利用DataX工具的插件体系，通过这些插件使用教程的学习，你可以了解到在不同数据源情况下DataX的运用方式。
此外，插件体系的使用教程中也会尽量提供具体的DataX实例，以便于您在学习过程中进行实践操作。
DataX还支持自定义开发插件，在学完本教程之后，您可以根据实际情况的需要来创建自己的插件，如kafla、es等。
评论区（0）