当前位置:网站首页 > 大数据架构 > 正文

ifstream读取文件有什么要求(ifstream获取文件大小)



本人在导数据的时候发生了很多问题,比如千百万的数据量的表导了N久都没导完,要么就是导完了有一部分失败,又或者是表明对不上号,字段对不上,然后导出来的sql文件过大导致想打开文件修改一下sql文件的表明数据库名都打不开,很是难受,在别人的推荐下发现了这款工具,真的速度很快(没开车哦~)

接下来附上DataX的使用方式

首先附上官方文档的位置:Github地址

java使用xstream 大疆_json

注意环境 需要JDK1.8,mavaen Python 一定要使用2.6的 不要3+的 一定要配置好环境变量

接着配置我们的 json 文件,该 json 文件用来指定我们需要进行导入的数据源,数据写入的地点,以及连接信息等

接下来放上本人在用的配置文件,重要信息做了隐藏处理,大家可以根据自己的场景进行修改即可

解压好下载后的DataX压缩包后,将我们配置好的 json文件 放在bin目录下,接着执行指令

java使用xstream 大疆_java使用xstream 大疆_02

接着稍作等待即可,控制台是有日志的

java使用xstream 大疆_bc_03

可以看到260w条数据只用了两分钟!

对了,稍提一嘴,如果控制台乱码了,可以在cmd下面输入如下指定:

之后就能够解决DataX的乱码问题了!

如果有其他问题可以参考这篇文档:DataX常见问题

顺带提一嘴,DataX导入的时候暂时不支持MySQL8+的,所以如果大家的数据库版本过高的话,导数据的时候得自己手动去替换一下DataX的数据库的驱动~

到此这篇ifstream读取文件有什么要求(ifstream获取文件大小)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!

版权声明


相关文章:

  • ddu卖方责任最大(卖方责任最大的是)2025-09-04 22:45:04
  • autohotkey gui(autohotkey gui 大小)2025-09-04 22:45:04
  • github国内网站(github网址大全)2025-09-04 22:45:04
  • 免费海报模板网站大全下载(免费海报模板网站大全下载手机版)2025-09-04 22:45:04
  • 单片机课程设计题目大全(单片机课程设计题目大全及答案)2025-09-04 22:45:04
  • resnet网络(resnet网络架构)2025-09-04 22:45:04
  • wifite 字典(wifi字典包 大全个人收集80g)2025-09-04 22:45:04
  • nsenter命令详解(netterm命令大全)2025-09-04 22:45:04
  • 大话西游字体颜色代码怎么用(大话西游黑色字体代码)2025-09-04 22:45:04
  • 字体图标怎么设置大小尺寸(字体图标怎么设置大小尺寸不变)2025-09-04 22:45:04
  • 全屏图片