当前位置:网站首页 > SQL数据库编程 > 正文

pyspark读取mysql(spark 读取mysql)



一、项目背景

二、项目需求

(1)需求

①各省销售指标,每个省份的销售额统计

②TOP3销售省份中,有多少家店铺日均销售额1000+

③TOP3省份中,各个省份的平均单价

④TOP3省份中,各个省份的支付类型比例

(2)要求

①将需求结果写出到mysql

②将数据写入到Spark On Hive中

三、代码实现

(1)需求1:

结果展示:

sparksql取余数_hive

MySQL数据展示:

sparksql取余数_spark_02

Hive数据展示:

sparksql取余数_hive_03

sparksql取余数_sparksql取余数_04

   (2)需求2:

结果展示:

sparksql取余数_hive_05

MySQL结果展示:

sparksql取余数_spark_06

Hive结果展示:

sparksql取余数_hive_07

sparksql取余数_hive_08

(3)需求3:

结果展示

sparksql取余数_hive_09

MySQL与Hive结果展示:

sparksql取余数_sparksql取余数_10

(4)需求4:

结果展示:

sparksql取余数_sql_11

       MySQL结果展示:

sparksql取余数_sparksql取余数_12

Hive结果展示:

sparksql取余数_sparksql取余数_13

四、项目运行问题解决方法

        报错:java.sql.BatchUpdateException: Incorrect string value: 'xE6xB1x9FxE8xA5xBF...' for column 'storeProvince' atrow1

原因:MySQL的UTF-8只支持3个字节的unicode字符,无法支持四个字节的Unicode字符

解决办法:在MySQL控制台执行下列代码修改编码格式

sparksql取余数_spark_14

到此这篇pyspark读取mysql(spark 读取mysql)的文章就 介绍到这了,更多相关内容请继续浏览下面的相关 推荐文章,希望大家都能在编程的领域有一番成就!

版权声明


相关文章:

  • plsql12注册码(plsqldeveloper12注册码)2026-03-02 21:45:07
  • mysql主键设计原则(mysql主键原理)2026-03-02 21:45:07
  • sqlldr 导入(sqlldr 导入日期)2026-03-02 21:45:07
  • 为什么用redis不用mysql(为什么用redis不用kafka)2026-03-02 21:45:07
  • MySQL增删改查(MySQL增删改查命)2026-03-02 21:45:07
  • mysql主键自增的好处(mysql主键自增原理)2026-03-02 21:45:07
  • sqlserver 循环(sqlserver循环表)2026-03-02 21:45:07
  • sqlserver 循环语句(sqlserverfor循环)2026-03-02 21:45:07
  • Pymysql 连接池(pymysql连接sql server)2026-03-02 21:45:07
  • sql数据库基础知识(sql数据库基础知识笔试题)2026-03-02 21:45:07
  • 全屏图片