Нужна ли мне задача cron для обработки очереди?

У меня есть задача, которая занимает около 45 минут и должна выполняться каждый день (синхронизация пользователей с несколькими внешними базами данных и т. Д.).

Чтобы справиться с работой, я настроил очередь cron hook_cron_queue_info()следующим образом:

function mymodule_cron_queue_info() {
  $queues = array();
  $queues['update_users_queue'] = array(
    'worker callback' => '_mymodule_process_user_queue_item',
    'time' => 120,
  );
  return $queues;
}

Я заполняю очередь, используя эту функцию:

function mymodule_queue_all_users_for_synching() {
  //...query for users...

  $queue = DrupalQueue::get('update_users_queue');
  foreach($users as $user) {
    $queue->createItem($user);
  }
}

Функция заполнения очереди вызывается как задача cron. Я использую Elysia Cron , поэтому моя реализация hook_cronapi():

function mymodule_cronapi($op, $job = NULL) {
  $items = array();
  $items['queue_users_for_synch'] = array(
    'description' => 'Queue all user accounts for synching.',
    'rule' => '0 3 * * *', // Run this job every day at 3am.
    'callback' => 'mymodule_queue_all_users_for_synching',
  );
  return $items;
}

Рабочая функция для каждого элемента очереди, определенного в mymodule_cron_queue_info:

function _mymodule_process_user_queue_item($item) {
  //...synchronize user ($item)...
}

У меня вопрос, когда Cron действительно начнет обрабатывать очередь?

Скажем, я заполняю очередь каждый день в 3 часа ночи и хочу обработать ее 120 секунд из каждых 30 минут, пока она не будет завершена - нужно ли создавать еще одну задачу cron?

Когда Drupal запускает задачи cron, он автоматически обрабатывает любую очередь cron, определенную из модулей, в drupal_cron_run(); Сначала hook_cron()вызываются реализации, а затем очереди cron очищаются.

Кроме того hook_cronapi(), вы можете добавить запись для другой функции, обрабатывающей очередь cron вашего модуля.

function mymodule_cronapi($op, $job = NULL) {
  $items = array();

  $items['queue_users_for_synch'] = array(
    'description' => 'Queue all user accounts for synching.',
    'rule' => '0 3 * * *', // Run this job every day at 3am.
    'callback' => 'mymodule_queue_all_users_for_synching',
  );

  $items['clean_queue'] = array(
    'description' => 'Clean the queue for the user synching.',
    'rule' => '0 4 * * *', // Run this job every day at 4 AM.
    'callback' => 'mymodule_clean_queue',
  );

  return $items;
}

function mymodule_clean_queue() {
  $queues = module_invoke('mymodule', 'cron_queue_info');
  drupal_alter('cron_queue_info', $queues);

  // Make sure every queue exists. There is no harm in trying to recreate an
  // existing queue.
  foreach ($queues as $queue_name => $info) {
    DrupalQueue::get($queue_name)->createQueue();
  }

  foreach ($queues as $queue_name => $info) {
    $function = $info['worker callback'];
    $end = time() + (isset($info['time']) ? $info['time'] : 15);
    $queue = DrupalQueue::get($queue_name);
    while (time() < $end && ($item = $queue->claimItem())) {
      $function($item->data);
      $queue->deleteItem($item);
    }
  }
}

Альтернатива - позволить Drupal обрабатывать очередь cron для вас, но это происходит, когда выполняются задачи cron Drupal. Если вы хотите чаще очищать очередь cron вашего модуля, вы можете добавить только новую задачу cron, обрабатываемую модулем Elysia Cron.

Модуль Elysia Cron обрабатывает очереди cron elysia_cron_run(); эта функция вызывается из elysia_cron_cron()(реализация hook_cron()), drush_elysia_cron_run_wrapper()(обратный вызов команды Drush) и из своего собственного cron.php . Если вы следовали инструкциям в файле INSTALL.txt (в частности, в «ШАГ B: ИЗМЕНИТЬ СИСТЕМУ CRONTAB (ДОПОЛНИТЕЛЬНО)») и заменили любой вызов http://example.com/cron.php на http: // example .com / sites / all / modules / elysia_cron / cron.php , модуль Elysia Cron уже должен обрабатывать очереди cron. Код, который я предложил, можно использовать для ускорения обработки очередей cron, используемых в вашем модуле, если это действительно необходимо.

// This code is part of the code executed from modules/elysia_cron/cron.php.
define('DRUPAL_ROOT', getcwd());

include_once DRUPAL_ROOT . '/includes/bootstrap.inc';
drupal_override_server_variables(array(
  'SCRIPT_NAME' => '/cron.php',
));
drupal_bootstrap(DRUPAL_BOOTSTRAP_FULL);

if (!isset($_GET['cron_key']) || variable_get('cron_key', 'drupal') != $_GET['cron_key']) {
  watchdog('cron', 'Cron could not run because an invalid key was used.', array(), WATCHDOG_NOTICE);
  drupal_access_denied();
}
elseif (variable_get('maintenance_mode', 0)) {
  watchdog('cron', 'Cron could not run because the site is in maintenance mode.', array(), WATCHDOG_NOTICE);
  drupal_access_denied();
}
else {
  if (function_exists('elysia_cron_run')) {
    elysia_cron_run();
  }
  else {
    drupal_cron_run();
  }
}

Очередь будет заполняться через крючок Elysia cronapi в установленное время.

Однако очередь будет обрабатываться всякий раз, когда происходит стандартный запуск Cron Drupal.

Смотрите этот рабочий фрагмент обработки обратного вызова в конце ядра: drupal_cron_run

 foreach ($queues as $queue_name => $info) {
    $function = $info['worker callback'];
    $end = time() + (isset($info['time']) ? $info['time'] : 15);
    $queue = DrupalQueue::get($queue_name);
    while (time() < $end && ($item = $queue->claimItem())) {
      $function($item->data);
      $queue->deleteItem($item);
    }
  }

как указано выше при использовании Elysia Cron, ваши очереди не обрабатываются.

у вас (и у drupal) нет доступа к очередям, которые иначе запускались бы на drupal_run_cron

Обходной путь - создать пользовательскую задачу cron - (это будет видно для elysia cron), чтобы либо обработать все очереди, либо ту, которую вы хотите, и вызвать обработку очереди там. то есть:

function mymodule_cron() {
// below is copied from drupal_cron_run() in common.inc

// Grab the defined cron queues.
$queues = module_invoke_all('cron_queue_info');
drupal_alter('cron_queue_info', $queues);

//if you want to target only one queue you can remove 'foreach'
and your $info = $queues['your_queue'];

  foreach ($queues as $queue_name => $info) {
    if (!empty($info['skip on cron'])) {
      // Do not run if queue wants to skip.
      continue;
    }
    $callback = $info['worker callback'];
    $end = time() + (isset($info['time']) ? $info['time'] : 15);
    $queue = DrupalQueue::get($queue_name);
     while (time() < $end && ($item = $queue->claimItem())) {
      try {
        call_user_func($callback, $item->data);
        $queue->deleteItem($item);
      }
      catch (Exception $e) {
        // In case of exception log it and leave the item in the queue
        // to be processed again later.
        watchdog_exception('cron', $e);
      }
    }
  }
}

теперь обработка очередей может контролироваться ElysiaCron

Я не использую Elysia, но мое решение всегда было примерно таким:

function mymodule_cron() {
  $queue = DrupalQueue::get('mymoudule_queue');
  $queue->createQueue();
  $item = $queue->claimItem(300);

  if (!empty($item->data)) {

    // Do the work.

    if ($sucess) {
      $queue->deleteItem($item);
      watchdog('mymodule', 'It worked.');
    }
    else {
      watchdog('mymodule', 'It did not work!', array(), WATCHDOG_ALERT);
    }
  }
}

Он обрабатывает только один предмет, для каждого запуска cron. Может быть, вы хотите изменить это.

Я также пытался обдумать это, поскольку впервые использую API очереди вместе с Elysia cron. При ближайшем рассмотрении вы увидите, что Elysia cron выполняет элементы очереди при вызове функции elysia_cron_run . Смотрите этот фрагмент строки 1044 в файле elysia_cron.module :

if (EC_DRUPAL_VERSION >= 7) {
  // D7 Queue processing
  foreach ($queues as $queue_name => $info) {
    $function = $info['worker callback'];
    $end = time() + (isset($info['time']) ? $info['time'] : 15);
    $queue = DrupalQueue::get($queue_name);
    while (time() < $end && ($item = $queue->claimItem())) {
      $function($item->data);
      $queue->deleteItem($item);
    }
  }
}

Это помогло демистифицировать обработку очередей для меня при использовании Elysia cron.