求教: Spark的dataframe 怎么改列的名字,比如列名 SUM(_c1) 改成c1

做了一个groupBy().agg()之后,
df.groupBy("keyy").agg({"_c1" : "sum", "_c2" : "sum"})

数据就变成了这样的格式。
newdf :
[Row(keyy=u'aaa', SUM(_c1)=0.123,SUM(_c2)=0.567),
Row(keyy=u'bbb', SUM(_c1)=0.234, SUM(_c2)=0.567)]

因为接下来还要对后面两列进行操作,发现sql 或者直接选取列都因为这奇葩(?)的列名,都不能运行。有什么办法能把这个dataframe的列名改成正常的名字, 比如c1之类的?只要能让后面的调用,麻烦点的方法都可以,不用考虑perforamance.........
newdf里, SUM(_c1) SUM(_c2) 不一定一个在前一个在后,有时候可能是【keyy ,SUM(_c2),SUM(_c1) 】
多谢多谢!

第1个回答  2015-10-25
试试这样:

df.groupBy("key").agg(sum($"quantity") as "c1", avg($"quantity") as "c2")本回答被网友采纳
第2个回答  2018-11-22
看这问题人挺多的,我来提供一下解决方案.
DF.sum("value").withColumnRenamed("sum(value)","sumType").show();
第3个回答  2017-12-19
兄弟 你可以这样:
from pyspark.sql import functions as F
df.groupBy("keyy").agg(F.sum('_c1').alias('c1'), F.sum('_c2').alias('c2')).collect()