parserTests.php: Fix exit status

The return value of Maintenance::execute() is discarded, not used as an
exit status.

Change-Id: I9dd92e43b5b1df1a63d0e8302d360d0bb0f57e7b

Release notes for parser tests refactor

Change-Id: Ic5cd1e368067024bd264ae991d04f61c58535cd1

Refactor parser tests

Merge the PHPUnit parser test runner with the old parserTests.inc,
taking the good bits of both. Reviewed, pared down and documented the
setup code. parserTests.php is now a frontend to a fully featured
parser test system, with lots of developer options, whereas PHPUnit
provides a simpler interface with increased isolation between test
cases.

Performance of both frontends is much improved, perhaps 2x faster for
parserTests.php and 10x faster for PHPUnit.

General:

* Split out the pre-Setup.php global variable configuration from
  phpunit.php into a new class called TestSetup, also called it from
  parserTests.php.
* Factored out the setup of TestsAutoLoader into a static method in
  Maintenance.
* In Setup.php improved "caches" debug output.

PHPUnit frontend:

* Delete the entire contents of NewParserTest and replace it with a
  small wrapper around ParserTestRunner. It doesn't inherit from
  MediaWikiTestCase anymore since integrating the setup code was an
  unnecessary complication.
* Rename MediaWikiParserTest to ParserTestTopLevelSuite and made it an
  instantiable TestSuite class instead of just a static method. Got rid
  of the eval(), just construct TestCase objects directly with a
  specified name, it works just as well.
* Introduce ParserTestFileSuite for per-file setup.
* Remove parser-related options from phpunit.php, since we don't
  support them anymore. Note that --filter now works just as well as
  --regex used to.
* Add CoreParserTestSuite, equivalent to ExtensionsParserTestSuite,
  for clarity.
* Make it possible to call MediaWikiTestCase::setupTestDB() more than
  once, as is implied by the documentation.

parserTests.php frontend:

* Made parserTests.php into a Maintenance subclass, moved CLI-specific
  code to it.
* Renamed ParserTest to ParserTestRunner, this is now the generic
  backend.
* Add --upload-dir option which sets up an FSFileBackend, similar
  to the old default behaviour

Test file reading and interpretation:

* Rename TestFileIterator to TestFileReader, and make it read and buffer
  an entire file, instead of iterating.
* The previous code had an associative array representation of test
  specifications. Used this form more widely to pass around test data.
* Remove the idea of !!hooks copying hooks from $wgParser, this is
  unnecessary now that all extensions use ParserFirstCallInit. Resurrect
  an old interpretation of the feature which was accidentally broken: if
  a named hook does not exist, skip all tests in the file.
* Got rid of the "subtest" idea for tidy variants, instead use a
  human-readable description that appears in the output.
* When all tests in a file are filtered or skipped, don't create the
  articles in them. This greatly speeds up execution time when --regex
  matches a small number of tests. It may possibly break extensions, but
  they would have been randomly broken anyway since there is no
  guarantee of test file execution order.
* Remove integrated testing of OutputPage::addCategoryLinks() category
  link formatting, life is complicated enough already. It can go in
  OutputPageTest if that's a thing we really need.

Result recording and display:

* Make TestRecorder into a generic plugin interface for progress output
  etc., which needs to be abstracted for PHPUnit integration.
* Introduce MultiTestRecorder for recorder chaining, instead of using
  a long inheritance chain. All test recorders now directly inherit from
  TestRecorder.
* Move all console-related code to the new ParserTestPrinter.
* Introduce PhpunitTestRecorder, which is the recorder for the PHPUnit
  frontend. Most events are ignored since they are never emitted in the
  PHPUnit frontend, which does not call runTests().
* Put more information into ParserTestResult and use it more often.

Setup and teardown:

* Introduce a new API for setup/teardown where setup functions return a
  ScopedCallback object which automatically performs the corresponding
  teardown when it goes out of scope.
* Rename setUp() to staticSetup(), rewrite. There was a lot of cruft in
  here which was simply copied from Setup.php without review, and had
  nothing to do with parser tests.
* Rename setupGlobals() to perTestSetup(), mostly rewrite. For
  performance, give staticSetup() precedence in cases where they were
  both setting up the same thing.
* In support of merged setup code, allow Hooks::clear() to be called
  from parserTests.php.
* Remove wgFileExtensions -- it is only used by UploadBase which we
  don't call.
* Remove wgUseImageResize -- superseded by MockMediaHandlerFactory which
  I imported from NewParserTest.
* Import MockFileBackend from NewParserTest. But instead of
  customising the configuration globals, I injected services.
* Remove thumbnail deletion from upload teardown. This makes glob
  handling as in the old parserTests.php unnecessary.
* Remove math file from upload teardown, math is actually an extension
  now! Also, the relevant parser tests were removed from the Math
  extension two years ago in favour of unit tests.
* Make addArticle() private, and introduce addArticles() instead, which
  allows setup/teardown to be done once for each batch of articles
  instead of every time.
* Remove $wgNamespaceAliases and $wgNamespaceProtection setup. These were
  copied in from Setup.php in 2010, and are redundant since we do
  actually run Setup.php.
* Use NullLockManager, don't set up a temporary directory just for
  this alone.

Fuzz tests:

* Use the new TestSetup class.
* Updated for ParserTestRunner interface change.
* Remove some obsolete references to fuzz tests from the two frontends
  where they used to reside.

Bug: T41473
Change-Id: Ia8e17008cb9d9b62ce5645e15a41a3b402f4026a

Renames preparatory to parser tests refactor

Since in several cases, with an all-in-one commit, git's file rename
detection failed, I split the renames out into their own commit to
make review easier. Some changes here won't make complete sense without
the following commit.

* Moved TestsAutoLoader to tests/common/. It will be joined by a friend.
* Renamed ParserTest to ParserTestRunner, since the former name was
  overly generic.
* Renamed TestFileIterator to TestFileReader. Please see the subsequent
  commit for rationale.
* Moved parserTests.php to tests/parser/. It was the only file left in
  tests/, and it should have been moved to tests/parser years ago,
  analogous to phpunit.php.
* Renamed NewParserTest to ParserIntegrationTest. This was a tricky one,
  apparently the name has to end in "Test" or else the structure test
  will fail. Analogous to ParserMethodsTest etc. Rationale: because it's
  not new anymore.
* Renamed MediaWikiParserTest to ParserTestTopLevelSuite and moved it to
  the suites directory. A more descriptive name. Being in suites/
  shields it from StructureTests, and is correct anyway.

Change-Id: Iddc6eaf815fdd64b3addb8570b4b6303ab99d634

Avoid "No transaction is active" saveFileDependencies() tests errors

Unit tests run in CLI mode without DBO_TRX

Change-Id: Icee9cf84cb9e057b329dd3960fcc9b238af478a3

Merge "Avoid "Column md_module cannot be null" error in unit tests"

Merge "Use memory job queue for unit tests"

Use memory job queue for unit tests

Change-Id: I13586b9873bf09acd4a458a7af75a25d9b980fca

Avoid "Column md_module cannot be null" error in unit tests

Change-Id: I06755cbd907d8a595e55080e37779eb9d0c026ab

Merge "Display an error message when the validataion of a radio input fails because user did not provide any input."

Display an error message when the validataion of a radio input fails because user did not provide any input.

Bug: T107486
Change-Id: Ie3a9cc11f285cadec1dde32f820643d1aabd0d1b

Merge "Remove useless LoadBalancer::parentInfo() method and calls"

Merge "Use ESTIMATE_DB_APPLY for total transaction time estimate"

Merge "Add LBFactory::getChronologyProtectorTouched() method"

Use ESTIMATE_DB_APPLY for total transaction time estimate

Individual write queries already do this, but the COMMIT step
still used the old accounting.

Change-Id: I416a524d6652f933cbc49033b49745db732c8b92

Remove useless LoadBalancer::parentInfo() method and calls

Change-Id: I3550d1249c63ee5bec51dd343b3e26b515c4827e

Localisation updates from https://translatewiki.net.

Change-Id: I7f5b889fba9e6a54d318b58f68c58179d1f5fba7

Add LBFactory::getChronologyProtectorTouched() method

This lets callers check whether a user recently change a DB and
possibly try harder to reflect certain changes or refresh caches.

Also simplified some logging code a bit.

Change-Id: Ia1168cf0d46cfdee046838ce4c5a6294e4d81760

Merge "Simplify some LoadBalancer methods that do iteration"

Use DB_REPLICA in ContribsPager

Change-Id: Ic225b9c41d989722677caf323846783d7e0638a4

Simplify some LoadBalancer methods that do iteration

Use foreachOpenConnection() and foreachOpenMasterConnection() in
more methods rather that copying that code. Also made the logic
for closeConnection() simpler by using the "serverIndex" field LB
always sets on the connection handles.

Change-Id: I5cb66da2395773d64b84d4115cbcdfc69c9e5e00

Merge "Force primary index for RevDelRevisionList query"

Merge "Revert "Clean up user handling in UploadStash""

Merge "Use Database::timestamp in LocalFile::loadFieldsWithTimestamp"

Force primary index for RevDelRevisionList query

To work around an optimizer bug in MySQL where the
index on (rev_page, rev_id) is picked which mysteriously
leads to very slow execution times and timeouts.

In theory, the index being forced here is (rev_id),
which is fine for this query. In WMF production,
it can also be (rev_id, rev_user) (still fine), or
(rev_page, rev_id) (the index we're trying to avoid).
Mysteriously, the optimizer bug doesn't happen if
(rev_page, rev_id) is the primary key, so this still
behaves OK.

Bug: T104313
Change-Id: I15c68ba29309dca8dea274f19389d139a82784aa

Localisation updates from https://translatewiki.net.

Change-Id: I1cf537e516dca258169590bfec492452b2abf956

Use Database::timestamp in LocalFile::loadFieldsWithTimestamp

Postgres needs a special timestamp format on sql which is handled by
Database::timestamp.

Bug: T145066
Change-Id: I8db958ecbea7c12af8caf8354490e59500975e4b

mw.ForeignApi: Allow anonymous requests

When 'anonymous: true' is passed:

* Send 'origin=*' in the query parameters, so that MediaWiki treats
  the request as anonymous (same as for JSONP requests).
* Set 'withCredentials: false' in AJAX options, so that the browser
  doesn't try to send cookies and accepts the response with the
  'Access-Control-Allow-Origin: *' header.

Bug: T145294
Change-Id: Ic93d733cb9e1b1d7301f8975c68ab7ded778845a

Revert "Clean up user handling in UploadStash"

This reverts commit 58713d2b1611e55fcd0cf7647af8d96ebc1e88bf.

Bug: T145228
Change-Id: Ic62f19109f98fab9dd029acccecd6518b649e34b

Merge "Clean up tests for FauxRequest/WebRequest"

Make the page JOIN in RevDelRevisionList actually apply

The table was missing from the tables array

Change-Id: I613a2075e5d18210c8187587462b0f000769aec2

Clean up tests for FauxRequest/WebRequest

Follows-up 1ac5474b7b and d18d030d57.

* Always mock WebRequest in WebRequestTest.
  Avoid using FauxRequest, can easily cause false positives (it's already
  avoided in one case of that reason).

* Add a few smoke/integration tests in FauxRequest to make sure the parent
  methods work as expected, given the internal method being overridden
  in FauxRequest.

Change-Id: I1bf528f3c578ecb171a3ff4f17b26f9bb02b4f47

Merge "Add more version notes to WANObjectCache"

Merge "Chinese Conversion Table Update 2016-6"

Add more version notes to WANObjectCache

Change-Id: Ia1b74b568d2b5137c7096a3b4549ac2cd4c7fa93

Localisation updates from https://translatewiki.net.

Change-Id: I0a15f0872c222b8be6576ea43a98cbc14c8c3a1a

Merge "objectcache: add "staleTTL" option to WANObjectCache::set()"

Merge "Hide signup/login/logout links when they would not work"

Merge "Make $wgRevisionCacheExpiry default to one week"

Merge "JsonContentHandler: Make sure makeEmptyContent() is valid JSON"

Merge "Cleanup and re-indent some WANObjectCache docs"

objectcache: add "staleTTL" option to WANObjectCache::set()

Change-Id: Ib9386a8ad4ab98d07d0a3784e3afffeeca9bbd6e

Merge "Allow --profile to be used in phpunit.php"

Cleanup and re-indent some WANObjectCache docs

Change-Id: Ibf7092297ce53fd21e478a6f87a16f9b4373ad85

Merge "Split up testHelpers.inc, break off fuzz testing"

Merge "WebRequest: Add more unit tests"

LinkBatch: Set visibility and document constructor

Change-Id: I9d8edeb214b9d7507826004e470dcb5c1ef015f6

Title: Document that Title::compare() can be used for LinkTargets

It only depends upon functions that are all in the LinkTarget interface.

Change-Id: I95e598ea6014ced8f1b947c283dd0b542756b8e2

WebRequest: Add more unit tests

* Complete detectServer() coverage,
  test $wgAssumeProxiesUseDefaultProtocolPorts.
* Complete getAcceptLang() coverage.
* Add tests for getGPCVal() normalisation.
* Add tests for other getter methods.

Also:

* Ignore __construct() coverage as it only sets up properties from
  global state. The use of those properties are covered.

* Make normalizeUnicode() visibility explicit.

Change-Id: I6504136e6df47e504bc2e0e91fedddd2625f19d9

Merge "rollback: Log content model changes"

Merge "InfoAction: Add a link to Special:ChangeContentModel if allowed"

rollback: Log content model changes

If the content model changes during a rollback, make sure it is logged
to Special:Log/contentmodel.

Change-Id: Icd9a2b0221468936e186178ef09141c09e053cbb

Merge "Only apply DB_MASTER fallback in Revision::fetchText() if READ_LATEST"

Merge "API: When undoing an edit, allow overriding content model."

Merge "Allow undoing edits that change content model if top"

API: When undoing an edit, allow overriding content model.

This brings the API in line with web UI changes from Ic528f65d.

Bug: T145044
Change-Id: Ib97eef38d228c4da4b062ee96ddbbbb926ee665b

Allow undoing edits that change content model if top

This allows people to revert content model changes
using the undo button, provided that we are undoing
the topmost edit (Otherwise it may get confusing
if you try to undo an edit in the middle of the
history that changes content model).

Bug: T145044
Change-Id: Ic528f65d0dc581c4e241a22f19c512e02aeaa9e7

Merge "Make sure the lock in JobRunner::commitMasterChanges() releases"

Merge "Switch some callers to WaitConditionLoop"

Make $wgRevisionCacheExpiry default to one week

* If CACHE_DB is used, it will not use the cache however.
* If persistent cache is disabled, at least maintain the
  process caching.

Change-Id: I23b455ef46f27c313bb9573f69723b1436b2d584

Merge "FauxRequest: Add unit tests to expand code coverage"

FauxRequest: Add unit tests to expand code coverage

* Remove @covers for methods that don't exist (parent class).
* Fix coverage for initHeaders() and setHeaders().
* Add tests and coverage for all other methods.

Change-Id: Id9b6de31843d2e87c54f485beb4fbcbe6f4bf8f6

Switch some callers to WaitConditionLoop

Also fixed up backwards documentation

Change-Id: I00c36aa751a79ca86a754e049a6da78cbb417b81

Merge "Preload ResourceLoaderWikiModule::getTitleInfo in OutputPage"

Merge "Avoid user autocreation race condition caused by repeatable read"

InfoAction: Add a link to Special:ChangeContentModel if allowed

If the user is allowed to change the content model of the page,
then add a link to it on ?action=info, next to the localized content
model name.

Change-Id: I084e8f390f90d29ed2e2d0f8ab43bcdfe8538ad1

Avoid user autocreation race condition caused by repeatable read

AuthManager tries to check whether the user already exists if
User::addToDatabase fails in autocreation, but since the same DB row
was already checked a few lines earlier and this method is typically
wrapped in an implicit transaction, it will just re-read the same
snapshot and not do anything useful. addToDatabase already has
a check for that so let's rely on that instead.

Bug: T145131
Change-Id: I94a5e8b851dcf994f5f9e773edf4e9153a4a3535

Preload ResourceLoaderWikiModule::getTitleInfo in OutputPage

This avoids a separate query for each module.

Bug: T46362
Change-Id: Ie109a8776cbdcd5928cbb59351f2cf94088c0c95

Localisation updates from https://translatewiki.net.

Change-Id: I11dbcc26b7ee18146c907c309bbc67ba4ccc9339

Merge "objectcache: expose "minTime" in WAN cache and call it "minAsOf" instead"

objectcache: expose "minTime" in WAN cache and call it "minAsOf" instead

Change-Id: Iabb639dddb9458d961dbbaee6a0dfb2323c2739a

Merge "Fix IDEA warnings in CategoryMembershipChangeJob"

JsonContentHandler: Make sure makeEmptyContent() is valid JSON

The default TextContentHandler::makeEmptyContent() implementation
is an empty string, which is not valid JSON.

Change-Id: I8bc6ec647c5e8cd01c5cd63031525619c4ef44d0

objectcache: pass in the $oldValue as-of time in getWithSetCallback()

This lets callers use adaptive TTLs on the near-expiration
preemptive refreshes if the new and current values match,
using the as-of time as $mtime.

Change-Id: Ie541c35f890c9f789d1accf9f2a43506daaf31f0

Hide signup/login/logout links when they would not work

Immutable session providers do not support login and logout;
these pages would just show an error when such a session provider
is handling the authentication of the request. Depending on what
authentication providers are configured, the wiki might not
support account creation. Showing the links is unhelpful if
they would just show an obscure error message.

(OTOH don't try to hide the link when the reason it is not
usable depends on the user; specifically, don't check
AuthManager::checkAccountCreatePermissions. An error message
is more informative in that case than a missing link.)

Also improve how the affected special pages behave if the user
manages to get there anyway.

Change-Id: Ic0ad237259797a8d471bdabc57a4bd0ffe8fa33b

Merge "LinkFilter: Fix return types in phpdoc"

Fix doc typo in InterwikiLookup

Change-Id: I2a547a005955cb9f596ff6927feb7df3d5d91872

Fix IDEA warnings in CategoryMembershipChangeJob

Change-Id: I0ee952c59cccf00167d468adb49d4bf811a80dc9

Merge "database: rename clearSnapshot() => flushSnapshot()"

database: rename clearSnapshot() => flushSnapshot()

* This is more consistent with the name flushReplicaSnapshots().
* Also add it to IDatabase, which defines the modern OLTP methods
  of DatabaseBase. This methods is useful for callers that get
  locks or wait for a replica DB to catch up before querying it.

Change-Id: Ia31e480bb9ccf461bf05ede4278920918eec4f16

Merge "ContentHandler: Remove entirely-unused mModelName property"

Make sure the lock in JobRunner::commitMasterChanges() releases

Used a ScopedCallback in case of exception to avoid queue backup

Change-Id: I58a5f152a54ed9a0d5544014788792bd62afbf4a

Merge "Run tests from MediaWiki-Vagrant virtual machine headlessly"

Merge "Rollback: Change @since 1.27 to @since 1.28"

ContentHandler: Remove entirely-unused mModelName property

This property isn't documented anywhere nor used anywhere.

Change-Id: I37b20260c6abbec49364b31183dd2337be44846b

Merge "Don't throw exceptions in ContentHandler::getUndoContent()"

Merge "Run database-using tests in MySQL STRICT mode"

Rollback: Change @since 1.27 to @since 1.28

9af38c04 is not included in REL1.27.

Follows-up to 9af38c04

Change-Id: I377028aec91d15b63257baf522b5aa2dbd12d43b

Merge "resourceloader: Preload WikiModule::getTitleInfo() in batches"

Don't throw exceptions in ContentHandler::getUndoContent()

The method is not documented to throw any exceptions, and already
returns false on failure, and it can be seen as a failure case when the
content models are not the same.

Bug: T145044
Change-Id: I0394d19cd65f9dd3ee350d2cde95afb11ab9e7f4

Only apply DB_MASTER fallback in Revision::fetchText() if READ_LATEST

Add support to DBAccessObjectUtils for fallback logic to make
this simple for other callers too.

Change-Id: I58ab7bd7d31a481f9dc9a773392ea90feb1ebeac

Merge "resourceloader: Simplify WikiModule::getTitleInfo() DB query"

resourceloader: Preload WikiModule::getTitleInfo() in batches

Test plan:
* Request load.php?modules=startup&only=scripts
* Debug log receives 1 entry in the 'queries' channel from
  ResourceLoaderWikiModule, and it comes from preloadTitleInfo.

Bug: T46362
Change-Id: I82e215745af6b8446cd69282b2c943afbbd45065

resourceloader: Simplify WikiModule::getTitleInfo() DB query

While rev_sha1 was preferred to rev_id (page_latest) to allow
client-cache to be re-used in case of a bad change and revert,
this is no longer possible since we recently added support for
explicit purging by considering page_touched.

As such, use of rev_sha1 is no longer useful.

Change-Id: Iddb65305ca4655098fdea9fcf736fd4046035dd7

Add rate limits for changing a page's content model

The defaults are set to the same value as page moves.

Change-Id: I72d6c35ecda475101c1c909715e4ba693dd214f6

objectcache: Avoid doxygen misformatting for pcGroup comments

Change-Id: I970bc9ccb04b046c563a357d87f814da652e23d2

Merge "objectcache: add "pcGroup" option to WANObjectCache::getWithSetCallback()"

objectcache: add "pcGroup" option to WANObjectCache::getWithSetCallback()

This lets callers have their own process cache but keep it
managed in a central location, making it easier to reset
when DB transaction snapshot are flushed or when unit tests
want to clear caches between runs.

Use this to replace the Revision text process cache.

Change-Id: Ic61ee9140d4ce9836cc4650adb5bb75a291fea18

Allow --profile to be used in phpunit.php

This requires running PHPUnit from within execute() -- we're calling a
function so it doesn't benefit from being in global scope.

Change-Id: I4b6a3613bc89047a9f32505afabaff98b3655e1a

Split up testHelpers.inc, break off fuzz testing

* Split up testHelpers.inc into one class per file, with the file named
  after the class per the usual convention. Put them in tests/parser
  since they are all parser-related, even though a couple are reused by
  other unit tests.
* Also rename parserTest.inc and parserTestsParserHook.php to follow the
  usual convention, and split off ParserTestResultNormalizer
* Move fuzz testing out to its own maintenance script. It's really not
  helpful to have fuzz testing, which is designed to run forever,
  exposed as a PHPUnit test.
* Increased fuzz test memory limit, and increased the memory headroom for
  getMemoryBreakdown(), since HHVM's ReflectionClass has an internal
  cache which uses quite a lot of memory.
* Temporarily switched a couple of ParserTest methods from private to
  public to support fuzz testing from a separate class -- I plan on
  replacing this interface in a subsequent commit.

Change-Id: Ib1a07e109ec1005bff2751b78eb4de35f2dfc472