news 2026/9/15 22:56:38

mysql数据迁移

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
mysql数据迁移

背景:随着时间的推移,交易系统中的订单表越来越大,目前达到500w+数据。为了防止数据量过大导致的查询性能问题,现将订单表进行拆分,分为实时库和历史库。实时库保留近6个月的数据,用于退款业务需求,其余订单数据全部迁移到历史库中。

方式一:复制表(结构与数据)

可通过navicat右键选择复制表(结构与数据)进行全量同步数据。但是该操作会锁表,导致其他事务的新增、修改、删除操作都被挂起,慎用!

方式二:dbf文件方式导入导出数据

可通过navicat菜单进行dbf格式导出。此操作数据完整性最高;导出文件大(500w数据可达到30G);不锁表(导出过程中可新增、修改、删除)。
测试:500w数据
导出时间:30min+
导入时间:字段映射存在问题(导入失败)

方式三:txt文件方式

可通过navicat菜单进行txt格式导出。数据完整性中等;导出文件不大(500w数据不到1G);不锁表。
测试:500w数据
导出时间:8min
导入时间:约2h

方式四:导入导出命令(推荐)

注意:当前用于需要有该导入导出命令权限,。

导出时不锁T_UNION_ORDER

select * from T_UNION_ORDER into outfile 'b.txt';

导入时锁T_UNION_ORDER_copy1表

load data infile 'b.txt' into table T_UNION_ORDER_copy1;

测试:500w数据
导出时间:1min
导入时间:8min

方式五:程序迁移(推荐)

先插入数据到新表中,再删除原表数据,两组操作作为一个事务来处理。可参考以下步骤执行:
步骤一:定时任务开启时间:2点~3点 1小时内每10s触发一次同步任务。

步骤二:一个批次的数据量为300条,1h同步10.8w条数据。

insert_time 条件值取第前180天。insert_time没有创建索引走的全表扫描,sql语句耗时时间和符合条件的记录条数占全量数据的百分比相关,占比越大耗时越短,占比越小耗时越长。因此程序上线初期一次同步任务的执行时间较短,后期随着需要同步的数据越来越少,sql执行的时间也越来越长。
select * from T_UNION_ORDER where insert_time < '2023-01-01 00:00:00' limit 300;

批量进行数据插入,一个批次的数据量要适中,太大会导致字符串长度超长报错,太小频繁访问数据库导致可能的性能问题。
insert into T_UNION_ORDER_HISTORY ('') values (''),(''),('');

批量删除,删除操作会加锁。虽然是行锁,如果in的数据量太大可能会造成索引失效,行锁升级为表锁。
delete from T_UNION_ORDER where order_no in ('');

步骤三:增加手工触发订单数据同步机制。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/15 22:56:10

开源大模型技术手册:原理、实践与优化全解析

1. 开源大模型技术手册的价值解析《大模型基础》这本由浙江大学团队推出的开源技术书籍&#xff0c;近期在开发者社区引发了热烈讨论。作为一本系统讲解大语言模型&#xff08;LLM&#xff09;技术原理与实践指南的公开资料&#xff0c;它的出现正好填补了当前中文技术文档生态…

作者头像 李华
网站建设 2026/9/15 22:56:05

TC275 UDS Bootloader开发避坑指南:三核协同与Flash安全刷写

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/15 22:54:40

Oracle MOS登录改版全指南:新旧账号迁移与统一身份认证实操

上午九点&#xff0c;我照例打开support.oracle.com准备查一个 Oracle 19c 的补丁&#xff0c;结果登录页面完全不认识我了。第一反应是打错了网址&#xff0c;第二反应是账号被风控&#xff0c;第三反应是浏览器缓存坏了。冷静下来仔细看了一圈才发现&#xff0c;Oracle 把 MO…

作者头像 李华
网站建设 2026/9/15 22:53:42

深圳网站建设公司评论避坑指南:从零搭建安全防线防被割韭菜

深圳网站建设公司评论避坑指南:从零搭建安全防线防被割韭菜 找深圳建站公司怕被坑高价?别慌,很多低价陷阱其实藏着安全漏洞,让你从零搭建后天天修 bug。我干了十年网站安全,见过太多独立站长因忽略防护,被拖垮成本。 威胁场景:低价建站的隐形炸弹…

作者头像 李华
网站建设 2026/9/15 22:51:35

深圳网站建设公司评论:小白从零搭建避坑全记录

深圳网站建设公司评论:小白从零搭建避坑全记录 手里拿着营业执照,脑子却一团浆糊,连域名后缀都分不清。这是去年深圳某初创科技团队负责人老张找上门时的真实状态。他不想花几万块找外包,但自己完全不会代码,只想 从零搭建 一个能看、能用、还能被百度搜到的官网。…

作者头像 李华