MySQL中Datax如何实现离线数据抽取

这篇文章将为大家详细讲解有关MySQL中Datax如何实现离线数据抽取，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。Datax下载地址：https://github.com/alibaba/DataXDatax MySQL读：

https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.mdDatax MySQL写：

https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md1.下载安装Datax软件(必须安装jdk 1.8版本以上)
[root@localhost ~]# tar xvfjdk-8u65-linux-x64.tar.gz
[root@localhost ~]# mv jdk1.8.0_151 /usr/local/jdk1.8.0_151[root@localhost ~]# vim /etc/profileexport PATH=$PATH:/usr/local/jdk1.8.0_151/bin[root@localhost ~]# vim /etc/ld.so.conf.d/mysql-x86_64.conf/usr/local/jdk1.8.0_151/lib[root@localhost ~]# tar xvfdatax.tar.gz[root@localhost ~]# cd datax/job/2.编辑配置文件[root@localhost job]# vim job.json{ “job”: { “setting”: { “speed”: { “channel”: 5 } }, “content”: [ { “reader”: { “name”: “mysqlreader”, “parameter”: { “username”: “taf”, “password”: “taf2015”, “column”: [“*”], “connection”: [ { “table”: [“t2”], “jdbcUrl”: [“jdbc:mysql://172.16.8.160:3306/test?useUnicode=true&characterEncoding=utf8”] } ] } }, “writer”: { “name”: “mysqlwriter”, “parameter”: { “writeMode”: “update”, “username”: “wangying”, “password”: “wangying”, “column”: [“*”], “connection”: [ { “jdbcUrl”: “jdbc:mysql://172.16.8.93:3306/db_stktag”, “table”: [“t2”] } ] } } } ] }}[root@localhost job]#3.mysql两边表结果必须一至，使用python2抽取数据[root@lo免费主机域名calhost job]# python2 /root/datax/bin/datax.py job.jsonDataX (DATAX-OPENSOURCE-3.0), From Alibaba !Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.2019-01-29 11:18:50.569 [main] INFO VMInfo – VMInfo# operatingSystem class => sun.management.OperatingSystemImpl2019-01-29 11:18:50.615 [main] INFO Engine – the machine info =>osInfo:Oracle Corporation 1.8 25.151-b12jvmInfo:Linux amd64 3.10.0-123.el7.x86_64cpu num:8totalPhysicalMemory:-0.00GfreePhysicalMemory:-0.00GmaxFileDescriptorCount:-1currentOpenFileDescriptorCount:-1。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
。。。。免费主机域名。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。任务启动时刻 : 2019-01-29 11:18:50任务结束时刻 : 2019-01-29 11:19:04任务总计耗时 : 13s任务平均流量 : 1B/s记录写入速度 : 0rec/s读出记录总数 : 7读写失败总数 : 0[root@localhost job]#关于“MySQL中Datax如何实现离线数据抽取”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。

相关推荐: MySQL中GROUP BY分组排序获取topN相关的示例分析

这篇文章主要介绍MySQL中GROUP BY分组排序获取topN相关的示例分析，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！ MySQL VERSION ： 5.5.45ENGINE ： InnoDB问题描述： 获取成绩表中每位同学成绩…