设为首页 收藏本站

QQ登录

只需一步，快速开始

切换到宽版 切换风格

电脑疯子技术论坛|电脑极客社区

电脑疯子技术论坛|电脑极客社区»技术论坛 › 电脑疯子|资源分享 › 电脑教程分享 › 帖子
微信扫一扫 分享朋友圈

已有 2249 人浏览分享

Spark-sql结合hive使用详情

[复制链接]
2249 0

1.安装hive（配置好）

2.将配置好的hive-site.xml放入$SPARK-HOME/conf目录下

3.将mysql-xxx-connector-xx.jar放到spark集群中节点的lib目录下

4.启动spark-shell时指定mysql连接驱动位置

  1. bin/spark-shell \
  2. --master spark://node1.itcast.cn:7077 \
  3. --executor-memory 1g \
  4. --total-executor-cores 2 \
  5. --driver-class-path /usr/local/apache-hive-0.13.1-bin/lib/mysql-connector-java-5.1.35-bin.jar
复制代码


4.使用sqlContext.sql调用HQL

  2. sqlContext.sql("select * from spark.person limit 2")
复制代码


或使用org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.HiveContext
val hiveContext = new HiveContext(sc)
hiveContext.sql("select * from spark.person").show()
或者.write.mode("append").jdbc()


举报

回复
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

zhaorong
VIP荣誉会员

1

关注

0

粉丝

9021

主题
精彩推荐
电脑疯子 GHOST WIN7 X64 快速装机版202001
电脑疯子 GHOST WIN7 X64 快速装机版202001
电脑疯子技术论坛GHOST WIN10X64 快速装机版201909
电脑疯子技术论坛GHOST WIN10X64 快速装机
电脑疯子 GHOST WIN7 X86 快速装机版202001
电脑疯子 GHOST WIN7 X86 快速装机版202001
电脑疯子技术论坛GHOST WIN10X86 快速装机版201909
电脑疯子技术论坛GHOST WIN10X86 快速装机
热门资讯
网友晒图
图文推荐

Powered by Pcgho! X3.4

© 2008-2022 Pcgho Inc.