Что означают числа на индикаторе выполнения в Spark-Shell?

93

Что в моей искровой оболочке означают записи, подобные приведенным ниже, когда я выполняю функцию? 

[Stage7:===========>                              (14174 + 5) / 62500]
apache-spark Rmckeown
источник
4
Я изменил пример, чтобы использовать более интересные числа, и изменил заголовок, чтобы упростить поиск вопроса. Это немного уходит от вашего исходного вопроса, потому что это дает понять, что это индикатор выполнения (который в вашем случае был совсем не ясен, поскольку он стоял на 0). Но я думаю, что в целом это более полезно. Если вы не согласны, можете отменить мои изменения! Благодарность!
Даниэль Дарабос,
Звучит нормально - спасибо за это
rmckeown
2
Классный вопрос. Интересно, почему я не просил об этом на год (продолжительность моей работы над Spark) !!
Prashant

Ответы:

103

То, что вы получаете Console Progress Bar, [Stage 7:показывает стадию, на которой вы сейчас находитесь, и которая (14174 + 5) / 62500]есть (numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]. Индикатор выполнения показывает numCompletedTasks/ totalNumOfTasksInThisStage.

Он будет показан, когда оба значения spark.ui.showConsoleProgress истинны (по умолчанию) и уровень журнала conf/log4j.propertiesравен ERRORили WARN( !log.isInfoEnabledистинно).

Давайте посмотрим на код в ConsoleProgressBar.scala, который это показывает:

private def show(now: Long, stages: Seq[SparkStageInfo]) {
  val width = TerminalWidth / stages.size
  val bar = stages.map { s =>
    val total = s.numTasks()
    val header = s"[Stage ${s.stageId()}:"
    val tailer = s"(${s.numCompletedTasks()} + ${s.numActiveTasks()}) / $total]"
    val w = width - header.length - tailer.length
    val bar = if (w > 0) {
      val percent = w * s.numCompletedTasks() / total
      (0 until w).map { i =>
        if (i < percent) "=" else if (i == percent) ">" else " "
      }.mkString("")
    } else {
    ""
    }
    header + bar + tailer
  }.mkString("")

  // only refresh if it's changed of after 1 minute (or the ssh connection will be closed
  // after idle some time)
  if (bar != lastProgressBar || now - lastUpdateTime > 60 * 1000L) {
    System.err.print(CR + bar)
    lastUpdateTime = now
  }
  lastProgressBar = bar
}
yjshen
источник
8
Отличный ответ! Вот ссылка на запрос на перенос, в котором представлена ​​эта функция: github.com/apache/spark/pull/3029 . На этой странице есть несколько интересных обсуждений дизайна RE: поведение индикатора выполнения, особенно для многоэтапных заданий.
Джош Розен
31

Предположим, вы видите следующее (X, A, B, C всегда неотрицательные целые числа):

[Stage X:==========>            (A + B) / C]

(например, в вопросе X = 7, A = 14174, B = 5 и C = 62500)

Вот что происходит на высоком уровне: Spark разбивает работу на этапы и задачи на каждом этапе. Этот индикатор прогресса означает, что этап X состоит из задач C. Во время выполнения A и B начинаются с нуля и продолжают меняться. A - это всегда количество уже завершенных задач, а B - количество задач, выполняемых в данный момент. Для этапа с большим количеством задач (намного больше, чем у вас есть воркеров) вы должны ожидать, что B вырастет до числа, которое соответствует количеству воркеров в кластере, затем вы должны начать видеть увеличение A по мере выполнения задач. Ближе к концу, по мере выполнения последних нескольких задач, B начнет уменьшаться, пока не достигнет 0, после чего точка A должна быть равна C, этап завершен, и искра переходит к следующему этапу. C будет оставаться постоянным в течение всего времени, помните, что это общее количество задач на этапе и никогда не меняется.

====> показывает процент выполненной работы на основе того, что я описал выше. Вначале значок> будет направлен влево и будет двигаться вправо по мере выполнения задач.

gae123
источник