Added EnqueueJob class that handles routing jobs to queues
authorAaron Schulz <aschulz@wikimedia.org>
Wed, 4 Mar 2015 21:53:40 +0000 (13:53 -0800)
committerAaron Schulz <aschulz@wikimedia.org>
Wed, 4 Mar 2015 21:55:54 +0000 (13:55 -0800)
Bug: T89308
Change-Id: Iadb34f24d8bbe94c0f9f119e530c0bbe1060df0a

autoload.php
includes/DefaultSettings.php
includes/jobqueue/JobSpecification.php
includes/jobqueue/jobs/DuplicateJob.php
includes/jobqueue/jobs/EnqueueJob.php [new file with mode: 0755]
includes/jobqueue/jobs/HTMLCacheUpdateJob.php
includes/jobqueue/jobs/NullJob.php
includes/jobqueue/jobs/PublishStashedFileJob.php
includes/jobqueue/jobs/RecentChangesUpdateJob.php

index 998deb9..faf8252 100644 (file)
@@ -370,6 +370,7 @@ $wgAutoloadLocalClasses = array(
        'EncryptedPassword' => __DIR__ . '/includes/password/EncryptedPassword.php',
        'EnhancedChangesList' => __DIR__ . '/includes/changes/EnhancedChangesList.php',
        'EnotifNotifyJob' => __DIR__ . '/includes/jobqueue/jobs/EnotifNotifyJob.php',
+       'EnqueueJob' => __DIR__ . '/includes/jobqueue/jobs/EnqueueJob.php',
        'EraseArchivedFile' => __DIR__ . '/maintenance/eraseArchivedFile.php',
        'ErrorPageError' => __DIR__ . '/includes/exception/ErrorPageError.php',
        'Exif' => __DIR__ . '/includes/media/Exif.php',
index 89cc1fd..bafec8d 100644 (file)
@@ -6425,6 +6425,7 @@ $wgJobClasses = array(
        'ThumbnailRender' => 'ThumbnailRenderJob',
        'recentChangesUpdate' => 'RecentChangesUpdateJob',
        'refreshLinksPrioritized' => 'RefreshLinksJob', // for cascading protection
+       'enqueue' => 'EnqueueJob',
        'null' => 'NullJob'
 );
 
index 9fa7747..42d2a39 100644 (file)
@@ -91,8 +91,8 @@ class JobSpecification implements IJobSpecification {
        /** @var Title */
        protected $title;
 
-       /** @var bool Expensive jobs may set this to true */
-       protected $ignoreDuplicates;
+       /** @var array */
+       protected $opts;
 
        /**
         * @param string $type
@@ -104,11 +104,12 @@ class JobSpecification implements IJobSpecification {
                $type, array $params, array $opts = array(), Title $title = null
        ) {
                $this->validateParams( $params );
+               $this->validateParams( $opts );
 
                $this->type = $type;
                $this->params = $params;
                $this->title = $title ?: Title::newMainPage();
-               $this->ignoreDuplicates = !empty( $opts['removeDuplicates'] );
+               $this->opts = $opts;
        }
 
        /**
@@ -158,7 +159,7 @@ class JobSpecification implements IJobSpecification {
         * @return bool Whether only one of each identical set of jobs should be run
         */
        public function ignoreDuplicates() {
-               return $this->ignoreDuplicates;
+               return !empty( $this->opts['removeDuplicates'] );
        }
 
        /**
@@ -186,4 +187,31 @@ class JobSpecification implements IJobSpecification {
 
                return $info;
        }
+
+       /**
+        * @return array Field/value map that can immediately be serialized
+        * @since 1.25
+        */
+       public function toSerializableArray() {
+               return array(
+                       'type'   => $this->type,
+                       'params' => $this->params,
+                       'opts'   => $this->opts,
+                       'title'  => array(
+                               'ns'  => $this->title->getNamespace(),
+                               'key' => $this->title->getDbKey()
+                       )
+               );
+       }
+
+       /**
+        * @param array $map Field/value map
+        * @return JobSpecification
+        * @since 1.25
+        */
+       public static function newFromArray( array $map ) {
+               $title = Title::makeTitle( $map['title']['ns'], $map['title']['key'] );
+
+               return new self( $map['type'], $map['params'], $map['opts'], $title );
+       }
 }
index 1fa6cef..c5e3a23 100644 (file)
@@ -18,7 +18,7 @@
  * http://www.gnu.org/copyleft/gpl.html
  *
  * @file
- * @ingroup Cache
+ * @ingroup JobQueue
  */
 
 /**
diff --git a/includes/jobqueue/jobs/EnqueueJob.php b/includes/jobqueue/jobs/EnqueueJob.php
new file mode 100755 (executable)
index 0000000..46fb2aa
--- /dev/null
@@ -0,0 +1,88 @@
+<?php
+/**
+ * Router job that takes jobs and enqueues them.
+ *
+ * This program is free software; you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License as published by
+ * the Free Software Foundation; either version 2 of the License, or
+ * (at your option) any later version.
+ *
+ * This program is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
+ * GNU General Public License for more details.
+ *
+ * You should have received a copy of the GNU General Public License along
+ * with this program; if not, write to the Free Software Foundation, Inc.,
+ * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
+ * http://www.gnu.org/copyleft/gpl.html
+ *
+ * @file
+ * @ingroup JobQueue
+ */
+
+/**
+ * Router job that takes jobs and enqueues them to their proper queues
+ *
+ * This can be used for several things:
+ *   - a) Making multi-job enqueues more robust by atomically enqueueing
+ *        a single job that pushes the actual jobs (with retry logic)
+ *   - b) Masking the latency of pushing jobs to different queues/wikis
+ *   - c) Low-latency enqueues to push jobs from warm to hot datacenters
+ *
+ * @ingroup JobQueue
+ * @since 1.25
+ */
+final class EnqueueJob extends Job {
+       /**
+        * Callers should use the factory methods instead
+        *
+        * @param Title $title
+        * @param array $params Job parameters
+        */
+       function __construct( $title, $params ) {
+               parent::__construct( 'enqueue', $title, $params );
+       }
+
+       /**
+        * @param Job|JobSpecification|array $jobs
+        * @return JobRouteJob
+        */
+       public static function newFromLocalJobs( $jobs ) {
+               $jobs = is_array( $jobs ) ? $jobs : array( $jobs );
+
+               return self::newFromJobsByWiki( array( wfWikiID() => $jobs ) );
+       }
+
+       /**
+        * @param array $jobsByWiki Map of (wiki => JobSpecification list)
+        * @return JobRouteJob
+        */
+       public static function newFromJobsByWiki( array $jobsByWiki ) {
+               $jobMapsByWiki = array();
+               foreach ( $jobsByWiki as $wiki => $jobs ) {
+                       $jobMapsByWiki[$wiki] = array();
+                       foreach ( $jobs as $job ) {
+                               if ( $job instanceof JobSpecification ) {
+                                       $jobMapsByWiki[$wiki][] = $job->toSerializableArray();
+                               } else {
+                                       throw new InvalidArgumentException( "Jobs must be of type JobSpecification." );
+                               }
+                       }
+               }
+
+               return new self( Title::newMainPage(), array( 'jobsByWiki' => $jobMapsByWiki ) );
+       }
+
+       public function run() {
+               foreach ( $this->params['jobsByWiki'] as $wiki => $jobMaps ) {
+                       $jobSpecs = array();
+                       foreach ( $jobMaps as $jobMap ) {
+                               $jobSpecs[] = JobSpecification::newFromArray( $jobMap );
+                       }
+                       JobQueueGroup::singleton( $wiki )->push( $jobSpecs );
+               }
+
+               return true;
+       }
+}
index 9d91565..e5e521c 100644 (file)
@@ -18,6 +18,7 @@
  * http://www.gnu.org/copyleft/gpl.html
  *
  * @file
+ * @ingroup JobQueue
  * @ingroup Cache
  */
 
index 66291e9..f94d6eb 100644 (file)
@@ -18,7 +18,7 @@
  * http://www.gnu.org/copyleft/gpl.html
  *
  * @file
- * @ingroup Cache
+ * @ingroup JobQueue
  */
 
 /**
index 3d4cfae..a922dd3 100644 (file)
  *
  * @file
  * @ingroup Upload
+ * @ingroup JobQueue
  */
 
 /**
  * Upload a file from the upload stash into the local file repo.
  *
  * @ingroup Upload
+ * @ingroup JobQueue
  */
 class PublishStashedFileJob extends Job {
        public function __construct( $title, $params ) {