我可以在运行时更改Spark的执行程序内存吗？ - java

是否可以在运行时在Spark中更改执行程序内存的值？我要这样做的原因是，对于某些映射任务，我希望纱线调度程序将每个任务放在单独的节点上。通过将执行程序的内存增加到一个节点的总内存附近，可以确保它们分布在每个节点上。稍后，我想在每个节点上运行多个任务，因此我将降低它们的执行器内存。 参考方案 不，你不能。 每个执行程序都在各自的JVM上启动，并且您无法在运行时 […]