当前位置:网站首页 > 数据科学与大数据 > 正文

mysql导入sql文件过大(mysql 导入大量数据)



怎么搞呢?我最开始打算用的办法是先新建一个专门用来存路径的表,先写一个文件搜索脚本把文件路径信息序列化成json文件,在用 mybatis 标签进行批量导入,后来发现这么大数据量用 mybatis 这么搞太不现实,又慢又有风险。
遂开始思考, 一般情况下 MySQL 会涉及到超大规模数据导入的,那就是数据库的备份与恢复。
数据库的恢复会用到 source 命令,比如





说干就干,我们用 C# 写一个搜索程序用来生成 json(其实当时是用 Java 写的,这两天用 C# 重写了遍)

然后再用这些 json 生成 sql

生成 sql 后直接在 MySQL 里用 source 执行就行了,时间还挺快的,用了一两个小时左右

本来信心满满,在本地用数据量十万条的测试数据库进行了测试,但是用时让我傻眼了

这样就实现了批量的更新,试着生成用这个语法的 sql

用这样生成的 sql 去测试

只用了十多秒就完事了,挺不错,这就把脚本搬到服务器上开导,顺带写个博客。

到此这篇mysql导入sql文件过大(mysql 导入大量数据)的文章就介绍到这了,更多相关内容请继续浏览下面的相关 推荐文章,希望大家都能在编程的领域有一番成就!

版权声明


相关文章:

  • 3dtile数据制作(生成3dtiles)2026-04-14 22:45:05
  • sql文件转换成csv(sql 数据转换)2026-04-14 22:45:05
  • oppo手机数据迁移到小米新手机(oppo手机数据转移到小米手机)2026-04-14 22:45:05
  • 操作系统及其应用(操作系统及其应用设备管理中最重要的数据结构)2026-04-14 22:45:05
  • 锁表如何解锁 oracle(oracle表锁了还能插数据吗)2026-04-14 22:45:05
  • 自动驾驶数据服务(自动驾驶数据平台)2026-04-14 22:45:05
  • cmip5数据处理(cmip5数据介绍)2026-04-14 22:45:05
  • cmip5数据处理(icpms数据处理)2026-04-14 22:45:05
  • 小米手机数据迁移到苹果手机(小米手机数据迁移到苹果手机怎么弄的)2026-04-14 22:45:05
  • oracle数据库安装使用教程(oracle19数据库安装教程)2026-04-14 22:45:05
  • 全屏图片