在pyspark sparkSession
中,以sc
作为我的sparkContext
,调用getRDDStorageInfo()
Java sparkContext _jsc.sc()
,该方法返回一个我可以在python中进行迭代的RDDInfo[]
的JavaObject实例。
sc._jsc.sc().getRDDStorageInfo()
返回JavaObject id=o473
因此,以下工作原理:
for s in sc._jsc.sc().getRDDStorageInfo():
print s.name()
print s.memSize()
print s.numPartitions()
print s.numCachedPartitions()
但是,Java sparkContext方法listFiles()
返回的JavaObject为scala.collection.Seq<String>
。
sc._jsc.sc().listFiles()
返回JavaObject id=o475
当我尝试遍历时,我得到TypeError: 'JavaObject' object is not iterable
如何将scala.collection.Seq<String>
的JavaObject转换为python列表(或其他可迭代的python)?
参考方案
您可以调用scala方法size
和apply
来执行此操作
files = sc._jsc.sc().listFiles()
py_files = [files.apply(i) for i in range(files.size())]
无法从ArrayList <String>转换为List <Comparable> - java当我写下面的代码时,编译器说 无法从ArrayList<String>转换为List<Comparable>private List<Comparable> get(){ return new ArrayList<String>(); } 但是当我用通配符编写返回类型时,代码会编译。private List&l…
Java:我可以在Hashmaps中使用数组吗? - java我可以在Hashmaps中使用数组吗?如果是这样,则声明这种哈希图的确切语法是什么?谢谢 参考方案 数组也是对象。甚至像int[]这样的原始数组。Map<String,String[]> map = new HashMap<String,String[]>();
Java中的<<或>>>是什么意思? - javaThis question already has answers here: Closed 7 years ago. Possible Duplicate: What does >> and >>> mean in Java?我在一些Java代码中遇到了一些陌生的符号,尽管代码可以正确编译和运行,但对于括号在此代码中的作用却感…
菱形运算符<>是否等于<?> - java我在util.TreeSet类中发现,其中一个构造函数正在使用具有空泛型类型的新TreeMap调用另一个构造函数。 public TreeSet(Comparator<? super E> comparator) { this(new TreeMap<>(comparator)); } new TreeMap<>是什么意思…
休眠映射<键,设置<值>> - java我有以下表格:@Entity @Table(name = "events") Event --id --name @Entity @Table(name = "state") State --id --name @Entity @Table(name = "action") Action --id …