spark sqlspark的dataframee复制某一列

来源：蜘蛛抓取(WebSpider) 时间：2021-05-29 07:42 标签： spark的dataframe

  • 1.卧室大小适中 卧室的大小不适宜呔大也不能太小。更不应该设房中房如果房间过大，那么人的气场就不足以镇住卧室的...

　　现在项目中需要通过对spark对原始数据进行计算然后将计算结果写入到mysql中，但是在写入的时候有个限制：

　　1、mysql中的目标表事先已经存在并且当中存在主键，自增长嘚键id

　　2、在进行将spark的dataframee写入表的时候id字段不允许手动写入，因为其实自增长的

　　1、写入数据库的时候需要指定字段写入，也就是说只指定部分字段写入

　　2、在写入数据库的时候，对于操作主键相同的记录要实现更新操作非插入操作

　　spark本身提供了对spark的dataframee的写入数據库的操作,即：

　　对于第五步中的sql拼接，我只是根据我的需求进行拼接我们可以根据自己不同的需求对sql进行拼接，并且调用不同的方法对spark的dataframee进行操作

我要回帖

更多关于 spark的dataframe 的文章

 

随机推荐