binlog2sql使用总结-权威的-20201020
binlog2sql是一款用于解析binlog的工具，在测试环境试用了下，还不错。
其具有以下功能
1. 提取SQL
2. 生成回滚SQL
关于该工具的使用方法可参考github操作文档：https://github.com/danfengcao/binlog2sql
个人感觉该文档已相当简单明了。
使用该工具的前提
1. binlog_format为ROW，且binlog_row_image为full或noblog，默认为full。
2. 必须开启MySQL Server，理由有如下两点：
1> 它是基于BINLOG_DUMP协议来获取binlog内容
2> 需要读取server端information_schema.COLUMNS表，获取表结构的元信息，拼接成可视化的sql语句
该工具所需权限如下：
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO
因为是伪装成slave来获取主的二进制事件，故无需对binlog有可读权限。
提取SQL示例
# python binlog2sql.py -h192.168.244.10 -P3306 -uadmin -p123456 -dtest -ttest --start-file='mysql-bin.000028'
INSERT INTO `test`.`test`(`id`, `name`) VALUES (10, 'a'); #start 4 end 284 time 2017-02-17 15:36:27
INSERT INTO `test`.`test`(`id`, `name`) VALUES (11, 'b'); #start 4 end 376 time 2017-02-17 15:36:31UPDATE `test`.`test` SET `id`=11, `name`='c' WHERE `id`=11 AND `name`='b' LIMIT 1; #start 4 end 476 time 2017-02-17 15:36:40DELETE FROM `test`.`test` WHERE `id`=11 AND `name`='c' LIMIT 1; #start 4 end 568 time 2017-02-17 15:36:48INSERT INTO `test`.`test`(`id`, `name`) VALUES (12, 'd'); #start 599 end 763 time 2017-02-17 15:37:09INSERT INTO `test`.`test`(`id`, `name`) VALUES (13, 'c'); #start 794 end 958 time 2017-02-17 15:37:15UPDATE `test`.`test` SET `id`=13, `name`='d' WHERE `id`=13 AND `name`='c' LIMIT 1; #start 989 end 1161 time 2017-02-17 15:37:23DELETE FROM `test`.`test` WHERE `id`=13 AND `name`='d' LIMIT 1; #start 1192 end 1356 time 2017-02-17 15:37:30
生成回滚SQL示例
# python binlog2sql.py --flashback -h192.168.244.10 -P3306 -uadmin -p123456 -dtest -ttest --start-file='mysql-bin.000028'
INSERT INTO `test`.`test`(`id`, `name`) VALUES (13, 'd'); #start 1192 end 1356 time 2017-02-17 15:37:30UPDATE `test`.`test` SET `id`=13, `name`='c' WHERE `id`=13 AND `name`='d' LIMIT 1; #start 989 end 1161 time 2017-02-17 15:37:23DELETE FROM `test`.`test` WHERE `id`=13 AND `name`='c' LIMIT 1; #start 794 end 958 time 2017-02-17 15:37:15DELETE FROM `test`.`test` WHERE `id`=12 AND `name`='d' LIMIT 1; #start 599 end 763 time 2017-02-17 15:37:09INSERT INTO `test`.`test`(`id`, `name`) VALUES (11, 'c'); #start 4 end 568 time 2017-02-17 15:36:48UPDATE `test`.`test` SET `id`=11, `name`='b' WHERE `id`=11 AND `name`='c' LIMIT 1; #start 4 end 476 time 2017-02-17 15:36:40DELETE FROM `test`.`test` WHERE `id`=11 AND `name`='b' LIMIT 1; #start 4 end 376 time 2017-02-17 15:36:31DELETE FROM `test`.`test` WHERE `id`=10 AND `name`='a' LIMIT 1; #start 4 end 284 time 2017-02-17 15:36:27
总结
1. 看了下源代码，它本身的核心代码比较少，主要是在pymysqlreplication的基础上进行了二次开发。
pymysqlreplication实现了MySQL复制协议，可捕捉不同类型的EVENT事件。
2. 个人感觉，直接解析文本格式的binlog，也未尝不是一个好办法。
理由如下：
1> binlog2sql强烈依赖于MySQL复制协议，如果复制协议发生改变，则该工具将不可用。
虽然，复制协议发生改变的可能性很小（一般都会保持向前兼容），但相对而言，自带的mysqlbinlog肯定更懂binlog，基于mysqlbinlog解析后的结果进行处理，
可完全屏蔽复制协议等底层细节。
2> 用python来解析文本格式的binlog，本身也不是件难事。
譬如，update语句在binlog中的对应的文本
在得到表结构的情况下，基本上可离线解析。
### UPDATE `test`.`test`
### WHERE
### @1=13 /* INT meta=0 nullable=0 is_null=0 */
### @2='c' /* VARSTRING(20) meta=20 nullable=1 is_null=0 */
### SET
### @1=13 /* INT meta=0 nullable=0 is_null=0 */
### @2='d' /* VARSTRING(20) meta=20 nullable=1 is_null=0 */
内网环境如何使用该工具呢？
该工具的使用依赖以下三个包：
PyMySQL==0.7.8
wheel==0.24.0
mysql-replication==0.9
其中，每个包又会依赖其它包，所以安装这些包是一个比较麻烦的事情。
如果是在外网的环境下，可直接通过pip install安装，它会自动下载并安装依赖包的。
在内网环境下，可手动安装这些包，目前，这些包已下载打包，并上传到百度云盘中，大家可自行下载。
安装教程：
# tar xvf binlog2sql.tar.gz
# cd binlog2sql/binlog2sql_dependencies/
# tar xvf setuptools-0.6c11.tar.gz
# cd setuptools-0.6c11
# python setup.py install
# cd ..
# tar xvf pip-9.0.1.tar.gz
# cd pip-9.0.1
# python setup.py install
# cd ..
# pip install *.whl mysql-replication-0.9.tar.gz
DEPRECATION: Python 2.6 is no longer supported by the Python core team, please upgrade your Python. A future version of pip will drop
support for Python 2.6Processing ./mysql-replication-0.9.tar.gz
Processing ./argparse-1.4.0-py2.py3-none-any.whl
Processing ./linecache2-1.0.0-py2.py3-none-any.whl
Requirement already satisfied: PyMySQL==0.7.8 from file:///root/binlog2sql/binlog2sql_dependencies/PyMySQL-0.7.8-py2-none-any.whl in
/usr/lib/python2.6/site-packagesProcessing ./six-1.10.0-py2.py3-none-any.whl
Processing ./traceback2-1.4.0-py2.py3-none-any.whl
Processing ./unittest2-1.1.0-py2.py3-none-any.whl
Processing ./wheel-0.24.0-py2.py3-none-any.whl
Installing collected packages: argparse, linecache2, six, traceback2, unittest2, wheel, mysql-replication
Running setup.py install for mysql-replication ... done
Successfully installed argparse-1.4.0 linecache2-1.0.0 mysql-replication-0.9 six-1.10.0 traceback2-1.4.0 unittest2-1.1.0 wheel-0.24.0
至此，所有依赖包安装完毕。
测试一下
# cd ..
# cd binlog2sql
# python binlog2sql.py -h 192.168.244.20 -u root -p 123456 -d test -t test --start-file mysql-bin.000022
INSERT INTO `test`.`test`(`id`, `name`) VALUES (4, 'd'); #start 4 end 284 time 2017-02-21 10:44:02INSERT INTO `test`.`test`(`id`, `name`) VALUES (5, 'f'); #start 315 end 479 time 2017-02-21 10:44:05DELETE FROM `test`.`test` WHERE `id`=4 AND `name`='d' LIMIT 1; #start 510 end 674 time 2017-02-21 10:44:09UPDATE `test`.`test` SET `id`=5, `name`='t' WHERE `id`=5 AND `name`='f' LIMIT 1; #start 705 end 877 time 2017-02-21 10:44:22
Tips，如何有效率的下载依赖包？
pip-9.0.1新增了一个选项download，可以只下载包（自动下载相关依赖包）而不安装它。
创建时间：2021-12-22 09:19
넶浏览量：0
