Merge "Parser: Allow disabling magic link functionality"

Merge "SkinTemplate: Improve remote content handling in content navigation URLs"

Merge "Add WikiPage::isLocal()"

Merge "LocalIdLookup: Use DBAccessObjectUtils"

Merge "CentralIdLookup: Fix documentation of self::$instances"

Merge "session: Fix phpdoc in Token::toStringAtTimestamp()"

Merge "WikiPage: Use Title::isKnown() in hasViewableContent()"

SkinTemplate: Improve remote content handling in content navigation URLs

Use Title::isKnown() to determine whether to display the "view" view link
instead of checking $isForeignFile, since that includes all remote
content. This allows us to remove the GlobalUserPage hook that made the
tab look as if it existed.

Change-Id: Ibee7b64511fba8c2934da3c7a3bdd52090dcb58c

Merge "Use late static binding in Article::newFromID()"

Parser: Allow disabling magic link functionality

The magic link functionality is "old backwards-compatibility baggage"
that we probably want to get rid of eventually. The first step to doing
so would be making it configurable and allowing it to be turned off on
wikis that don't use it.

This adds each of the 3 magic link types as individual parser options,
which can be controlled by the $wgEnableMagicLinks setting.

Additionally, wfEscapeWikiText() was updated to only escape enabled
magic link types.

Bug: T47942
Change-Id: If63965f31d17da4b864510146e0018da1cae188c

Merge "MapCacheLRU: Support null values in getWithSetCallback()"

Add WikiPage::isLocal()

WikiFilePage has a isLocal() function which indicates whether the file
is local or not. To better support other remote content, add this method
to the base WikiPage class. It only returns true currently, since all
content represented by WikiPage is local.

Change-Id: Ia39c405af4d131d919a57512e72a112bd65cc461

LocalIdLookup: Use DBAccessObjectUtils

This simplies some code that was re-implementing
DBAccessObjectUtils::getDBOptions().

Change-Id: Ib446f43149abdf23f07f209ccd9698923f0a2c22

CentralIdLookup: Fix documentation of self::$instances

Change-Id: I9fd86c174832e130647e74f4fdeb9fdc7c90702e

session: Fix phpdoc in Token::toStringAtTimestamp()

Change-Id: I35664eb9e89ffb945eb35bf3af58e1efdea0a8ff

WikiPage: Use Title::isKnown() in hasViewableContent()

The current implementation of hasViewableContent() is basically the same
as Title::isKnown(), except that it switched the order of
isAlwaysKnown() and exists(). (Also it used WikiPage::exists() instead
of Title::exists(), but they're functionality equivalent).

This will make refactoring Title::isAlwaysKnown() easier in the future
as there is one less caller.

Change-Id: I698f08fb0f3e6c3bc702ec7d523d7eda063e18ca

Use late static binding in Article::newFromID()

Address the FIXME and remove subclass implementations by using late
static binding.

Change-Id: I4f1793c87dfe08f768a283128d14ee2226a9e275

MapCacheLRU: Support null values in getWithSetCallback()

The rest of this class supports having a key with a null value by using
array_key_exists() instead of isset(). So Use $this->has() in
getWithSetCallback() so a null value is still identified as set.

Change-Id: Ida74a6f7e284e98f9a7d76d97312ebe2ee343f10

Merge "Reorganize RefreshLinksJob code slightly and avoid deprecated functions"

Merge "Tweak $wgTrxProfilerLimits to lower noise a bit"

Merge "Make safeWaitForMasterPos() use mWaitTimeout instead of hard-coded value"

Merge "Avoid using deprecated methods in JobQueueDB"

Merge "Remove pointless getTransactionProfiler() method"

Make DeferredUpdates::execute() protected

Update the only caller, which is a deprecated wrapper method.
Locking down this internal method makes it secure against
misuse with regards to recursion checks.

Change-Id: I3ed52dbe4c0ad52c7b5de92e81bfdc98a1737bcf

Reorganize RefreshLinksJob code slightly and avoid deprecated functions

Change-Id: I6ff4bec61b37bfbffc1e96eac61d692dd7feb31a

Simplify LBFactory ticket code in CategoryMembershipChangeJob

Change-Id: I5800bbf6fa718604ffa12d8cde1aa3675fced6fd

Merge "Update Bugzilla references to Phabricator references"

Avoid using deprecated methods in JobQueueDB

Change-Id: Ib35b8792e3e4902b52c3e708d8c6e756f35986bd

Remove pointless getTransactionProfiler() method

Change-Id: Ib019e8317568105b95138cfdc0962b06a55154b9

Tweak $wgTrxProfilerLimits to lower noise a bit

Change-Id: I22ae7a5c2ba5f39007019e47ea0dff17a4cc971a

Merge "Make LBFactory::waitForReplication() mask wait latency with callbacks"

Merge "Avoid creating DB replication lag in clearAllNotifications()"

Merge "EditPage: Don't throw exceptions for invalid content models"

Merge "Allow putting the app ID in the password for bot passwords"

Support masking the WRITE_SYNC latency from ChronologyProtector

* Use OutputPage::output() as the method to mask latency, since it
  takes a good while to run. By the time it runs, cache replication
  should have caught up, so the reap call will likely not block.
* For redirects emitted after changes in POST, instead of masking
  with OutputPage, add a parameter to the redirect and block on
  the positions appearing. This uses the redirection RTT to mask
  the replication latency.

Change-Id: Ib23690c302e8033610fef9a0ef451dafe8a5803e

Make LBFactory::waitForReplication() mask wait latency with callbacks

This simply moves the call order down a bit.

Change-Id: I78559f769133d5addb590a65af7d535604de8407

Merge "WebRequest: Use getRawVal instead of getGPCVal where possible"

Merge "Make JobQueueGroup::push() update the queuesHaveJobs() cache"

Merge "Add structure test for ContentHandler::makeEmptyContent()"

EditPage: Don't throw exceptions for invalid content models

If a user tries to use an unrecognized content model using the "model"
request parameter, show a nice, localized error instead of an exception.

Bug: T145367
Change-Id: I50e7d332727c9afc22c1658d32c981db4305185b

Make safeWaitForMasterPos() use mWaitTimeout instead of hard-coded value

Change-Id: Idd5db66f5e7cea9fc3f3a4f47bd38e08e42559f6

Follow-up dfd0464: Remove LICENSE.txt for deleted library 'phpjs-sha1'

Change-Id: Ia4bbd23c2e78eea9277dc8b1ade8bd3345559c9a

Localisation updates from https://translatewiki.net.

Change-Id: I634a673bf12cc66b2fbffb9a3abd2a2a0237ebe4

Merge "mw.special.movePage: Don't fail if no "Move associated talk page" checkbox"

Merge "Add missing dependency to 'mediawiki.Upload.BookletLayout' module"

Merge "Sync up with Parsoid parserTests."

Merge "Change file namespace name & and specialpages titles in Urdu"

Sync up with Parsoid parserTests.

This now aligns with Parsoid commit 94316242479f272b51db431a0f8fb6d77bd8f639

Change-Id: I411e3b733f4f1e5da5fa2500354575af77e09c88

Change file namespace name & and specialpages titles in Urdu

It is requested by Urdu Wikipedia community that file namespace should be changed from "ملف:" to "فائل:", and hence need to change all those special page names where "ملف" word is being used and change to word "فائل". Plus some minor corrections.

Bug: T144437
Change-Id: I09070412fa7f3ce98520704ae60c660c682018e5

Add missing dependency to 'mediawiki.Upload.BookletLayout' module

Bug: T145315
Change-Id: Idadbf3adf4a145530774abc5fc8cf5fe4920330d

Avoid creating DB replication lag in clearAllNotifications()

Change-Id: Ifad51cf2aaa9867513615d48753436cf686d7f1c

Merge "add IGNORE INDEX option to mysql database handler"

Merge "Make WikiPage::doPurge() clear the file cache too"

Merge "Make PurgeJobUtils avoid creating DB replication lag"

Merge "Clean up array() syntax from docs, part VI"

Clean up array() syntax from docs, part VI

Change-Id: Ib0eea494e2065c7ab356dc45fd174544a9c1c942

Merge "Improve compatibility checks in WaitConditionLoop"

Improve compatibility checks in WaitConditionLoop

* Check if getrusage() is not defined.
* Assume worse-case CPU usage in such cases to avoid spin loops.
* Move these checks to the constructor so they only happen once.

Change-Id: I180629c17b3323e8841a25c2d920390116ae6b74

Merge "Special:UserRights: Trim value of $mTarget if it's a string"

parserTests.php: Fix exit status

The return value of Maintenance::execute() is discarded, not used as an
exit status.

Change-Id: I9dd92e43b5b1df1a63d0e8302d360d0bb0f57e7b

Release notes for parser tests refactor

Change-Id: Ic5cd1e368067024bd264ae991d04f61c58535cd1

Refactor parser tests

Merge the PHPUnit parser test runner with the old parserTests.inc,
taking the good bits of both. Reviewed, pared down and documented the
setup code. parserTests.php is now a frontend to a fully featured
parser test system, with lots of developer options, whereas PHPUnit
provides a simpler interface with increased isolation between test
cases.

Performance of both frontends is much improved, perhaps 2x faster for
parserTests.php and 10x faster for PHPUnit.

General:

* Split out the pre-Setup.php global variable configuration from
  phpunit.php into a new class called TestSetup, also called it from
  parserTests.php.
* Factored out the setup of TestsAutoLoader into a static method in
  Maintenance.
* In Setup.php improved "caches" debug output.

PHPUnit frontend:

* Delete the entire contents of NewParserTest and replace it with a
  small wrapper around ParserTestRunner. It doesn't inherit from
  MediaWikiTestCase anymore since integrating the setup code was an
  unnecessary complication.
* Rename MediaWikiParserTest to ParserTestTopLevelSuite and made it an
  instantiable TestSuite class instead of just a static method. Got rid
  of the eval(), just construct TestCase objects directly with a
  specified name, it works just as well.
* Introduce ParserTestFileSuite for per-file setup.
* Remove parser-related options from phpunit.php, since we don't
  support them anymore. Note that --filter now works just as well as
  --regex used to.
* Add CoreParserTestSuite, equivalent to ExtensionsParserTestSuite,
  for clarity.
* Make it possible to call MediaWikiTestCase::setupTestDB() more than
  once, as is implied by the documentation.

parserTests.php frontend:

* Made parserTests.php into a Maintenance subclass, moved CLI-specific
  code to it.
* Renamed ParserTest to ParserTestRunner, this is now the generic
  backend.
* Add --upload-dir option which sets up an FSFileBackend, similar
  to the old default behaviour

Test file reading and interpretation:

* Rename TestFileIterator to TestFileReader, and make it read and buffer
  an entire file, instead of iterating.
* The previous code had an associative array representation of test
  specifications. Used this form more widely to pass around test data.
* Remove the idea of !!hooks copying hooks from $wgParser, this is
  unnecessary now that all extensions use ParserFirstCallInit. Resurrect
  an old interpretation of the feature which was accidentally broken: if
  a named hook does not exist, skip all tests in the file.
* Got rid of the "subtest" idea for tidy variants, instead use a
  human-readable description that appears in the output.
* When all tests in a file are filtered or skipped, don't create the
  articles in them. This greatly speeds up execution time when --regex
  matches a small number of tests. It may possibly break extensions, but
  they would have been randomly broken anyway since there is no
  guarantee of test file execution order.
* Remove integrated testing of OutputPage::addCategoryLinks() category
  link formatting, life is complicated enough already. It can go in
  OutputPageTest if that's a thing we really need.

Result recording and display:

* Make TestRecorder into a generic plugin interface for progress output
  etc., which needs to be abstracted for PHPUnit integration.
* Introduce MultiTestRecorder for recorder chaining, instead of using
  a long inheritance chain. All test recorders now directly inherit from
  TestRecorder.
* Move all console-related code to the new ParserTestPrinter.
* Introduce PhpunitTestRecorder, which is the recorder for the PHPUnit
  frontend. Most events are ignored since they are never emitted in the
  PHPUnit frontend, which does not call runTests().
* Put more information into ParserTestResult and use it more often.

Setup and teardown:

* Introduce a new API for setup/teardown where setup functions return a
  ScopedCallback object which automatically performs the corresponding
  teardown when it goes out of scope.
* Rename setUp() to staticSetup(), rewrite. There was a lot of cruft in
  here which was simply copied from Setup.php without review, and had
  nothing to do with parser tests.
* Rename setupGlobals() to perTestSetup(), mostly rewrite. For
  performance, give staticSetup() precedence in cases where they were
  both setting up the same thing.
* In support of merged setup code, allow Hooks::clear() to be called
  from parserTests.php.
* Remove wgFileExtensions -- it is only used by UploadBase which we
  don't call.
* Remove wgUseImageResize -- superseded by MockMediaHandlerFactory which
  I imported from NewParserTest.
* Import MockFileBackend from NewParserTest. But instead of
  customising the configuration globals, I injected services.
* Remove thumbnail deletion from upload teardown. This makes glob
  handling as in the old parserTests.php unnecessary.
* Remove math file from upload teardown, math is actually an extension
  now! Also, the relevant parser tests were removed from the Math
  extension two years ago in favour of unit tests.
* Make addArticle() private, and introduce addArticles() instead, which
  allows setup/teardown to be done once for each batch of articles
  instead of every time.
* Remove $wgNamespaceAliases and $wgNamespaceProtection setup. These were
  copied in from Setup.php in 2010, and are redundant since we do
  actually run Setup.php.
* Use NullLockManager, don't set up a temporary directory just for
  this alone.

Fuzz tests:

* Use the new TestSetup class.
* Updated for ParserTestRunner interface change.
* Remove some obsolete references to fuzz tests from the two frontends
  where they used to reside.

Bug: T41473
Change-Id: Ia8e17008cb9d9b62ce5645e15a41a3b402f4026a

Renames preparatory to parser tests refactor

Since in several cases, with an all-in-one commit, git's file rename
detection failed, I split the renames out into their own commit to
make review easier. Some changes here won't make complete sense without
the following commit.

* Moved TestsAutoLoader to tests/common/. It will be joined by a friend.
* Renamed ParserTest to ParserTestRunner, since the former name was
  overly generic.
* Renamed TestFileIterator to TestFileReader. Please see the subsequent
  commit for rationale.
* Moved parserTests.php to tests/parser/. It was the only file left in
  tests/, and it should have been moved to tests/parser years ago,
  analogous to phpunit.php.
* Renamed NewParserTest to ParserIntegrationTest. This was a tricky one,
  apparently the name has to end in "Test" or else the structure test
  will fail. Analogous to ParserMethodsTest etc. Rationale: because it's
  not new anymore.
* Renamed MediaWikiParserTest to ParserTestTopLevelSuite and moved it to
  the suites directory. A more descriptive name. Being in suites/
  shields it from StructureTests, and is correct anyway.

Change-Id: Iddc6eaf815fdd64b3addb8570b4b6303ab99d634

Avoid "No transaction is active" saveFileDependencies() tests errors

Unit tests run in CLI mode without DBO_TRX

Change-Id: Icee9cf84cb9e057b329dd3960fcc9b238af478a3

Merge "Avoid "Column md_module cannot be null" error in unit tests"

Merge "Use memory job queue for unit tests"

Use memory job queue for unit tests

Change-Id: I13586b9873bf09acd4a458a7af75a25d9b980fca

add IGNORE INDEX option to mysql database handler

BUG: T29112
Change-Id: I9a5a4f7983ebd37b7889abb8433e5acc44b8f9ac

Avoid "Column md_module cannot be null" error in unit tests

Change-Id: I06755cbd907d8a595e55080e37779eb9d0c026ab

Make PurgeJobUtils avoid creating DB replication lag

Large affected rows counts were being reported in DBPerformance logs.

Change-Id: Ia5504aa4fbd27473771c65688f0b9e78e3a5caae

Merge "Display an error message when the validataion of a radio input fails because user did not provide any input."

Display an error message when the validataion of a radio input fails because user did not provide any input.

Bug: T107486
Change-Id: Ie3a9cc11f285cadec1dde32f820643d1aabd0d1b

Merge "Remove useless LoadBalancer::parentInfo() method and calls"

Merge "Use ESTIMATE_DB_APPLY for total transaction time estimate"

Merge "Add LBFactory::getChronologyProtectorTouched() method"

Use ESTIMATE_DB_APPLY for total transaction time estimate

Individual write queries already do this, but the COMMIT step
still used the old accounting.

Change-Id: I416a524d6652f933cbc49033b49745db732c8b92

Remove useless LoadBalancer::parentInfo() method and calls

Change-Id: I3550d1249c63ee5bec51dd343b3e26b515c4827e

Update Bugzilla references to Phabricator references

Change-Id: I28dbaf05d29062c485042d432fec5d11e9c6d193

Localisation updates from https://translatewiki.net.

Change-Id: I7f5b889fba9e6a54d318b58f68c58179d1f5fba7

Add LBFactory::getChronologyProtectorTouched() method

This lets callers check whether a user recently change a DB and
possibly try harder to reflect certain changes or refresh caches.

Also simplified some logging code a bit.

Change-Id: Ia1168cf0d46cfdee046838ce4c5a6294e4d81760

Merge "Simplify some LoadBalancer methods that do iteration"

mw.special.movePage: Don't fail if no "Move associated talk page" checkbox

Bug: T145320
Change-Id: I9dd364ef75d2359374066840a8e855343b2edbaf

Make WikiPage::doPurge() clear the file cache too

Change-Id: I6d2419d0948c9a191464ea8faf63913b7c5d5b1a

Use DB_REPLICA in ContribsPager

Change-Id: Ic225b9c41d989722677caf323846783d7e0638a4

Simplify some LoadBalancer methods that do iteration

Use foreachOpenConnection() and foreachOpenMasterConnection() in
more methods rather that copying that code. Also made the logic
for closeConnection() simpler by using the "serverIndex" field LB
always sets on the connection handles.

Change-Id: I5cb66da2395773d64b84d4115cbcdfc69c9e5e00

Special:UserRights: Trim value of $mTarget if it's a string

Bug: T145329
Change-Id: I28dd6241525e5ee7d9b09151933321a2f0004252

Make JobQueueGroup::push() update the queuesHaveJobs() cache

This makes it so jobs can run sooner with $wgJobRunRate

Bug: T145206
Change-Id: Ia7673f51312f90a696fa056bd3daf7f3f440782b

Merge "Force primary index for RevDelRevisionList query"

Merge "Revert "Clean up user handling in UploadStash""

Merge "Use Database::timestamp in LocalFile::loadFieldsWithTimestamp"

Force primary index for RevDelRevisionList query

To work around an optimizer bug in MySQL where the
index on (rev_page, rev_id) is picked which mysteriously
leads to very slow execution times and timeouts.

In theory, the index being forced here is (rev_id),
which is fine for this query. In WMF production,
it can also be (rev_id, rev_user) (still fine), or
(rev_page, rev_id) (the index we're trying to avoid).
Mysteriously, the optimizer bug doesn't happen if
(rev_page, rev_id) is the primary key, so this still
behaves OK.

Bug: T104313
Change-Id: I15c68ba29309dca8dea274f19389d139a82784aa

Localisation updates from https://translatewiki.net.

Change-Id: I1cf537e516dca258169590bfec492452b2abf956

Use Database::timestamp in LocalFile::loadFieldsWithTimestamp

Postgres needs a special timestamp format on sql which is handled by
Database::timestamp.

Bug: T145066
Change-Id: I8db958ecbea7c12af8caf8354490e59500975e4b

mw.ForeignApi: Allow anonymous requests

When 'anonymous: true' is passed:

* Send 'origin=*' in the query parameters, so that MediaWiki treats
  the request as anonymous (same as for JSONP requests).
* Set 'withCredentials: false' in AJAX options, so that the browser
  doesn't try to send cookies and accepts the response with the
  'Access-Control-Allow-Origin: *' header.

Bug: T145294
Change-Id: Ic93d733cb9e1b1d7301f8975c68ab7ded778845a

Revert "Clean up user handling in UploadStash"

This reverts commit 58713d2b1611e55fcd0cf7647af8d96ebc1e88bf.

Bug: T145228
Change-Id: Ic62f19109f98fab9dd029acccecd6518b649e34b

Add structure test for ContentHandler::makeEmptyContent()

This adds a structure test that verifies all registered ContentHandlers
will return a valid content object (as determined by
Content::isValid()), when makeEmptyContent() is called. Additionally, if
the handler extends TextContentHandler, it will verify it is an instance
of TextContentHandler::getContentClass().

This is a structure test so it is run for content handlers created by
extensions as well.

Change-Id: Idd67d824f2f7cc1819b1d8b186be058e63c4513d

Merge "Clean up tests for FauxRequest/WebRequest"

Make the page JOIN in RevDelRevisionList actually apply

The table was missing from the tables array

Change-Id: I613a2075e5d18210c8187587462b0f000769aec2

WebRequest: Use getRawVal instead of getGPCVal where possible

Avoid getGPCVal() for simple methods that only need a boolean,
number or specific string outcome.

This saves overhead of touching $wgContLang or UtfNormal\Validator
and makes load.php initialisation no longer depend on it.

Change-Id: I8ce1fa31f5102b3fa18b0d0b9f56c42cb90146a1

Clean up tests for FauxRequest/WebRequest

Follows-up 1ac5474b7b and d18d030d57.

* Always mock WebRequest in WebRequestTest.
  Avoid using FauxRequest, can easily cause false positives (it's already
  avoided in one case of that reason).

* Add a few smoke/integration tests in FauxRequest to make sure the parent
  methods work as expected, given the internal method being overridden
  in FauxRequest.

Change-Id: I1bf528f3c578ecb171a3ff4f17b26f9bb02b4f47