最近在学习中，需要用spark读取mysql数据，查阅了很多资料大多是java版本的，自己琢磨了半天，研究出python版本的，本人菜鸟，本博客只会记录学习过程，如有不妥请见谅。所用spark版本为1.4.1.
先上自己找到了一些相关资料，仅供参考~~~
http://www.thebigdata.cn/QiTa/15471.html
http://www.iteblog.com/archives/1560
官方文档中 http://spark.apache.org/docs/1.4.1/sql-programming-guide.html
有介绍Spark SQL与hive，json等数据的读写。而mysql等一些数据库可通过JDBC来读取。
或：
url含义：
url=jdbc:mysql://MYSQL_HOST/MYSQL_DBNAME?user=MYSQL_USER&password=MYSQL_PASSWD”,dbtable=”MYSQL_TABLE”
MYSQL_HOST为mysql的地址，本机为localhost，MYSQL_DBNAME为数据库名，MYSQL_USER为用户名，MYSQL_PASSW为登陆密码，MYSQL_TABLE为表名。MYSQL_DBNAME可放入url中，也可放入table中。
所遇到的错误情况有一下两种：
1.java.sql.SQLException: No suitable driver found for ...
解决办法：下载mysql-connector包，将其放到spark下，并指定jar包，即在spark-env.sh中添加
2.java.sql.SQLException: access denied for user'spider_user '@'...'(using password :Yes)
解决办法：mysql的密码输入错误，正确书写mysql密码。
到此这篇pyspark读取mysql（pyspark mysql）的文章就介绍到这了,更多相关内容请继续浏览下面的相关 推荐文章，希望大家都能在编程的领域有一番成就！版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/sqlbc/38848.html