当前位置:网站首页 > 大数据架构 > 正文

ifstream读取文件有什么要求(ifstream获取文件大小)



本人在导数据的时候发生了很多问题,比如千百万的数据量的表导了N久都没导完,要么就是导完了有一部分失败,又或者是表明对不上号,字段对不上,然后导出来的sql文件过大导致想打开文件修改一下sql文件的表明数据库名都打不开,很是难受,在别人的推荐下发现了这款工具,真的速度很快(没开车哦~)

接下来附上DataX的使用方式

首先附上官方文档的位置:Github地址

java使用xstream 大疆_json

注意环境 需要JDK1.8,mavaen Python 一定要使用2.6的 不要3+的 一定要配置好环境变量

接着配置我们的 json 文件,该 json 文件用来指定我们需要进行导入的数据源,数据写入的地点,以及连接信息等

接下来放上本人在用的配置文件,重要信息做了隐藏处理,大家可以根据自己的场景进行修改即可

解压好下载后的DataX压缩包后,将我们配置好的 json文件 放在bin目录下,接着执行指令

java使用xstream 大疆_java使用xstream 大疆_02

接着稍作等待即可,控制台是有日志的

java使用xstream 大疆_bc_03

可以看到260w条数据只用了两分钟!

对了,稍提一嘴,如果控制台乱码了,可以在cmd下面输入如下指定:

之后就能够解决DataX的乱码问题了!

如果有其他问题可以参考这篇文档:DataX常见问题

顺带提一嘴,DataX导入的时候暂时不支持MySQL8+的,所以如果大家的数据库版本过高的话,导数据的时候得自己手动去替换一下DataX的数据库的驱动~

到此这篇ifstream读取文件有什么要求(ifstream获取文件大小)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!

版权声明


相关文章:

  • autohotkey gui(autohotkey gui 大小)2025-09-04 22:45:04
  • pointnet模型(pointnet模型需要什么样的环境.大概需要几个g)2025-09-04 22:45:04
  • 工具类品牌排行前十(工具品牌大全排名)2025-09-04 22:45:04
  • 大气分层图手绘图(大气分层图手绘图片)2025-09-04 22:45:04
  • 字体图标大全(字体图标大全图片)2025-09-04 22:45:04
  • wifite 字典(wifi字典包 大全个人收集80g)2025-09-04 22:45:04
  • 网页聊天代码大全(网页聊天代码大全图片)2025-09-04 22:45:04
  • wife字典(wife字典大全)2025-09-04 22:45:04
  • plc1200所有指令(plc1200指令大全)2025-09-04 22:45:04
  • 我的世界时间指令代码大全(我的世界时间指令代码大全下载)2025-09-04 22:45:04
  • 全屏图片