objectcache: move version numbers to the main wrapper in WANObjectCache

Add FLD_VALUE_VERSION key to the value wrapper array to hold the version
number used in getWithSetCallback(). Remove the VFLD_* wrapper array from
FLD_VALUE for versioned values.

Keys stored with the old VFLD_VERSION and VFLD_DATA fields will be seen as
having the wrong version. The previous WAN cache code will see the new keys
that use FLD_VALUE_VERSION as having the wrong version too. In either case,
the usual variant key logic applies, so there should not be any issues.

This means that moving from a non-versioned to a versioned cache key is no
longer a breaking change when, for the same key, some code passes a version
number to getWithSetCallback() while other code does not.

Also:
* Make "pcTTL" respect the version number for sanity
* Make sure set() respects TTL_UNCACHEABLE for completeness
* Track slow regeneration callback runtime in FLD_GENERATION_TIME
* Remove is_callable() check overhead and rely on PHP Error instances
* Refactor unwrap() to return a more immediately useful value
* Simplify getNonProcessCachedKeys() signature by using $opts
* Split out PURGE_* constants for purge entries since those keys are
  never stored in any serialize value but are only in PHP arrays
* Rename doGetWithSetCallback() to be more succinct
* Rename and reorganize some variables for clarity

Change-Id: I4060b19583cdfd9fa36c91d7014441eeef4b3609

Merge "Make MapCacheLRU::get() accept a default value and improve $maxAge default"

Merge "Correctly distinguish the latest revision in action=history"

Merge "Don't show tools on history view when no revisions can be shown"

Merge "jobqueue: fix IDEA warnings in JobQueueRedis"

Merge "Add ResultWrapper/FakeResultWrapper tests"

Merge "Add help links to core special pages"

Localisation updates from https://translatewiki.net.

Change-Id: Ie478cd3901ba6be3946f48048ccecf4c35d7f0e6

Add ResultWrapper/FakeResultWrapper tests

Bug: T227665
Change-Id: I0709d0fb55640756b19614552b42b6b8341959f4

Add help links to core special pages

Bug: T227534
Change-Id: I832507223b5e006dfeaf041a071e9b7c280c6b64

Merge "resourceloader: Omit parameter 'lang' from image URLs when not vary"

Merge "Move LanguageCodeTest from integration to unit"

resourceloader: Omit parameter 'lang' from image URLs when not vary

The parameter 'lang' is only added to the URL when the image vary on the
language or on the direction.

Also omit the parameter 'lang' when the value is equal to
ResourceLoaderContext::DEFAULT_LANG.

This change makes the URLs shorter and reduces the size of the
stylesheets.

This change also improves caching because the URLs do not vary on the
language for the same image.

Change-Id: Id7d8ecc7d95747f3c157f9abc12e8489e5085aff

Merge "Speed up code coverage generation for local development"

Move LanguageCodeTest from integration to unit

76 more unit tests

Change-Id: I68e9ffff30a744ef6b31598e0176e67892defb95

Merge "Stop using wfDebugLog in LocalisationCache"

Merge "Use SessionManagerInterface in PHPSessionHandler"

Merge "objectcache: normalize BagOStuff method overriding pattern for *Multi() methods"

Allow PHP version check to execute on older version of PHP

Gerrit change 522014 (merged as b8b2514) mostly corrected this
issue, but one line was missed. Fixing that now.

Bug: T213893
Change-Id: I0a57f5902f1af2619fe47f7ee53695d3fd03adaf

objectcache: normalize BagOStuff method overriding pattern for *Multi() methods

Change-Id: I1bebb60307b1a166461cb5f9a55a79194cc0e363

Release notes for deprecating User::getRights() and breaking User::$mRights

The actual change was in I88992403.

Change-Id: Ibecec431001a53db4502cf0377342c8aacc7bebe

jobqueue: fix IDEA warnings in JobQueueRedis

Change-Id: I7258191cbae22028d76a52c005f44b7347bd86aa

Merge "Various fixes and simplifications to RefreshLinksJob::runTitle()"

Various fixes and simplifications to RefreshLinksJob::runTitle()

* Remove logic for saving slow-to-render parser output. This has
  not worked ever since DerivedPageDataUpdater was introduced.
* Make the logic to use cached output actually work. This was
  also broken since DerivedPageDataUpdater was added. In order
  to pass the output, add a known-revision-output parameter
  to both WikiPage::doSecondaryUpdates() and
  DerivedPageDataUpdater::prepareUpdate().
* Also factored out some helper methods from runForTitle() in
  RefreshLinksJob to make it more readable and avoid the need
  for multiple transaction round commit calls. This makes the
  case of multiple-title jobs less likely to break again.
* Make use of RefreshLinksJob::runForTitle() return value.
* Add unit tests for multiple-title job case.

Change-Id: I0cd13c424a87653b5a7253c42cd48fe43befd692

Merge "Allow PHP version check to execute on older versions of PHP"

Merge "Html: Make linkButton() documentation less confusing"

Allow PHP version check to execute on older versions of PHP

A change to update.php used the null coalesce (??) operator.
While this is normally fine, the code in question executes
before the PHP version check, and causes an unfriendly PHP
error rather than the intended helpful error. Use the older-style
isset() call instead, so that the PHP version check will get
a chance to execute.

Bug: T213893
Change-Id: I22e4a24bed9e0b29e08afc7b9468e7bfd81d7d57

Merge "Normalize the code style of some ResultWrapper iteration loops"

Merge "Update $wgMainStash comments and merge in those from a deprecated ObjectCache method"

rdbms: avoid dbSchema() in Database::replaceLostConnection() and Database::__clone()

Since dbSchema() always casts the result to a string, using this method
with a call to open() is broken if the RDBMs does not support DB schemas
and thus requires null

Follows-up 7911da9c6f (last week), which added the check in
DatabaseMysqlBase::open() check. Also follows fe0af6cad (last year),
which made dbSchema() consistently return string. Before that, an
implicit null was passed in from Database::factory for mysql, which hid
the class default of empty string.

Bug: T227708
Change-Id: I67207fbaa39c5cc3fe062077cc654f048090e009

Merge "objectcache: remove inheritence from CachedBagOStuff"

Merge "objectcache: use OPT_TCP_NODELAY for MemcachedPeclBagOStuff"

Html: Make linkButton() documentation less confusing

The documentation for the first parameter said it was both "raw HTML"
and "not escaped", but those phrases have opposite meanings. Clarify that
this parameter takes plain text that will be escaped (so not raw HTML),
and rename the parameter from $contents (typically used to mean HTML) to
$text.

Change-Id: I44d6de08a68c493935b2ceff58fac6c51bc45d12

Make MapCacheLRU::get() accept a default value and improve $maxAge default

Change-Id: If562e1745ffed37b0f1ed5382a5a397fc68aac8e

Stop using wfDebugLog in LocalisationCache

Using logger interface, this would fix some unit tests, plus it
avoids using global functions and ease the way for proper dependency
injection

Change-Id: I9a545c70ace08e2fd0b832d75d6a2362a83af21e

Normalize the code style of some ResultWrapper iteration loops

Change-Id: Iced52ae65d31d1ca0cd2c64ebc9ab56b2aef9617

objectcache: use OPT_TCP_NODELAY for MemcachedPeclBagOStuff

Clean up the option setting code in __construct() as well
and make it more strict in terms of checking bogus options

Make mctest.php recognize when memcached is used more easily

Change-Id: I77be506e80478ddbb4fcfa44d82aba8162fa984f

Merge "Allow false as return type of FileBackendStore::doGetFileXAttributes"

objectcache: remove inheritence from CachedBagOStuff

Change-Id: I24e5b6a95d74730c1679bdc7b7b394adcb6bd794

Merge "build: Updating mediawiki/mediawiki-phan-config to 0.6.1"

Update $wgMainStash comments and merge in those from a deprecated ObjectCache method

Change-Id: I807f36d9c51476a969d7046d57bfc32cf37c2745

Merge "PHPUnit bootstrap: less aggressive unsetting of globals"

Merge "User: support setting custom fields + array autocreation in non-existent field"

User: support setting custom fields + array autocreation in non-existent field

I889924037 added a __set method which did not actually handle fields being set.
For better or worse, setting custom fields on ubiquitous objects like User is a
common form of in-process caching, so this is a B/C break; restore for now.

PHP allows creating an array in a previously non-existent object property
with $o->foo['bar'] = $val, but doesn't properly handle that on objects
which have magic getter/setter. Add an ugly hack to make it work (but warn).

Depends on I15090ae9e4b66ac25f631f6179c4394ce8c445a9.

Bug: T227688
Change-Id: I62b80ab4fa10de984cf2c879ab12d91b0fd9bc1c

Merge "Localisation updates from https://translatewiki.net."

Localisation updates from https://translatewiki.net.

Change-Id: I1a847d840c4263f055261c78fc9b487fc0537ffe

objectcache: rename "slaveOnly" parameter to "replicaOnly" in SQLBagOStuff

Also removed redundant check

Change-Id: I9f454eb15f223f5a9816dca4510c1a9add540b49

Merge "Tests: Assert that integration tests are not in unit test directory"

Merge "Pass in ServiceOptions to BlockManager"

Merge "Tidy up conditions for applying a block from a cookie"

PHPUnit bootstrap: less aggressive unsetting of globals

Previous approach caused breakage with "Notice: Undefined index: _SERVER"
messages, see e.g.
https://gerrit.wikimedia.org/r/c/mediawiki/core/+/521268#message-4502e6c209f53f6dc1c7cdf4f60e5045bbfb6ee4

Change-Id: Ief20e4e21fd99d219ebef865c603e336c2609ce2
Follows-Up: I16691fc8ac063705ba0c2bc63b96c4534ca8660b
Bug: T87781

Tests: Assert that integration tests are not in unit test directory

Bug: T87781
Change-Id: If82efb1829095a6cf76435921f1328801508a70a

Linker: Fix incorrect test added in Ib9816d8b

The test was intended to check for whether we have a user ID *or* a user
name. Instead, it's checking if we have a user ID *and* a user name. And
it also failed to consider User:0.

Bug: T227656
Change-Id: Ia1b5c4a6ae028513b73a65cd2c885459327d29c3

Merge "Make RouterTest extend MediawikiUnitTestCase and not integration"

build: Updating mediawiki/mediawiki-phan-config to 0.6.1

Change-Id: I370fed5248c8b243527cafb77d80ddb6f4bc7064

Merge "Replace old URLs in SampleTest"

Make RouterTest extend MediawikiUnitTestCase and not integration

it's in unit directory, it causes things to break

Change-Id: Ibeafafde5a3b9f3f8e6fda0ceef8575aa544e20b

Merge "bagostuff: optimize SqlBagOStuff and fix failing segmentation tests"

Merge "rdbms: make IDatabase::isReadOnly() return true for replica DBs managed by LoadBalancer"

Pass in ServiceOptions to BlockManager

Change-Id: Ic63d7ff35a71e36c4e6157e9d472e2870f95f00d

Tidy up conditions for applying a block from a cookie

Change-Id: Id9dd6ae395f5bb811db4c741be9db8aa2eb6fb70

Merge "Update OOUI to v0.33.2"

Merge "Remove references to db field ar_text_id"

Update OOUI to v0.33.2

Release notes:
 https://phabricator.wikimedia.org/diffusion/GOJU/browse/master/History.md;v0.33.2

Bug: T158708
Bug: T226780
Bug: T227040
Bug: T227275
Depends-on: I3d7a990d0f32734a9048ec55d22035150a562f04
Change-Id: I4287a6f2e950a8ad0511b24f4a1c8074e4f427b3

Merge "Isolate globals for ContentSecurityPolicy tests"

Replace old URLs in SampleTest

Update URLs to point to documentation for version 6.5, and fix a
couple of broken URLs.

Change-Id: I25211d4da19a40837d7fb7fc6219486f1a7a7c0e

Merge "REST: add write access checks to BasicAccess"

Merge "Add rest.php (REST API endpoint) with feature flag"

Merge "REST: basic read restrictions"

rdbms: make IDatabase::isReadOnly() return true for replica DBs managed by LoadBalancer

Change-Id: I25b70fe0ea113c6741601cf0366a0fe9dc5cc3ef

Merge "maintenance: Script to rename titles for Unicode uppercasing changes"

bagostuff: optimize SqlBagOStuff and fix failing segmentation tests

In SqlBagOStuff:
* Add modifyMulti() helper method to reduce code duplication
* Improve atomicity of add(), cas(), and changeTTL() queries
* Avoid integer serialization and improve atomicity of incr()
* Optimize new BagOStuff::changeTTLMulti() method

In BagOStuff:
* Add changeTTLMulti() method for subclasses to optimize
* Make set() ignore WRITE_ALLOW_SEGMENTS for integers so incr() works
* Strip WRITE_ALLOW_SEGMENTS flag from the setMulti() call in set() to
  avoid triggering bogus sanity check exceptions
* Fix BagOStuffTest::testSetSegmentable failures via the above changes
* Enforce WRITE_ALLOW_SEGMENTS sanity check in setMulti() for all the
  subclasses by using a final wrapper method
* Add WRITE_ALLOW_SEGMENTS sanity check to deleteMulti()

Bug: T113916
Change-Id: I25d1790fa9b0d1837643efccfa94a12043cfbf42

Merge "Fix typo in table documentation"

Merge "Add safemode to special redirect parameters that are preserved"

Merge "config: Change ConfigException to extend LogicException"

rdbms: rename LoadMonitor "parent" field to "lb"

Change-Id: I21246ca1ba00280839216b378899f2fcae266857

Remove references to db field ar_text_id

Field ar_text_id is being removed as part of MCR schema changes.
Remove references to this field. These references were already
unnecessary due to commit 07842be3.

Bug: T198341
Change-Id: I3dbf12abf3f67fa0ea07c535e830c9d40b46fdc3

Merge "Move unit tests, round III"

Move unit tests, round III

Depends-On: I16691fc8ac063705ba0c2bc63b96c4534ca8660b
Bug: T87781
Change-Id: I5e1ab06e3decef6cc6090551d54dc4314ab9314a

Localisation updates from https://translatewiki.net.

Change-Id: If1fe24c743ae95416ff816989ec15d4042612604

Merge "Add fields and docs to WikiExporter"

Merge "rdbms: avoid recursion in LoadBalancer when the master has non-zero load"

Merge "jobqueue: mention more methods in RunnableJob to fix various IDEA warnings"

rdbms: avoid recursion in LoadBalancer when the master has non-zero load

Add and use IDatabase::getServerConnection() method to avoid loops caused
caused by pickReaderIndex() calling getConnection() for the master server.
That lead to getReadOnlyReason() triggering pickReaderIndex() again.

Make getLaggedReplicaMode() apply when the master has non-zero load and
the replicas are all lagged.

Remove "allReplicasDownMode" in favor of checking getExistingReaderIndex()
instead. This reduces the amount of state to keep track of a bit.

Follow-up to 95e2c990940f

Bug: T226678
Bug: T226770
Change-Id: Id932c3fcc00625e3960f76d054d38d9679d25ecc

Merge "Unset all globals unneeded for unit tests, assert correct directory"

Unset all globals unneeded for unit tests, assert correct directory

* Unset globals to avoid tests that look like unit tests but actually rely on
  globals
* move some tests out of unit directory so that the test suite will pass.
* Assert that tests which extend MediaWikiUnitTestCase are in a directory with
  "/unit/" in its path name

Depends-On: I67b37b1bde94eaa3d4298d9bd98ac57995ce93b9
Depends-On: I90921679518ee95fe393f8b1bbd9134daf0ba032
Bug: T87781
Change-Id: I16691fc8ac063705ba0c2bc63b96c4534ca8660b

Merge "objectcache: simplify WANObjectCache version handling code"

maintenance: Script to rename titles for Unicode uppercasing changes

This uses MovePage where possible to try to better keep data in sync.
Archives, log entries, and so on can't do that though.

The script skips User and User_talk pages for registered users, as
renaming the users is more complicated than makes sense to try to
implement here. Use something like Extension:Renameuser to clean those
up; this script can provide a list of user names affected.

Bug: T219279
Change-Id: I157577cb5bedfd347b808c254fb19ae8088818ab

Merge "jobqueue: remove unused "aggregator" field reference in JobQueueFederated"

Merge "objectcache: deleteObjectsExpiringBefore() signature and code improvements"

Merge "Run SpecialPageFatalTest with lang=qqx"

Fix typo in table documentation

Change-Id: Ifa9839567797921ca81938e5c77a1a53a42eef94

Merge "Correct typo `notMinimumVerisonMessage'"

Merge "Recognizes Open Document Database"

Speed up code coverage generation for local development

Changing addUncoveredFilesFromWhitelist to false drastically speeds up code
coverage report generation. Including extensions/skins in the config also
removes the need to manually edit your phpunit.xml file when you want to inspect
code coverage for your extension or skin locally.

With this patch you can very quickly generate coverage for an extension/skin or
subsection of core, this is especially useful if you are using an IDE that
supports running a test and importing its coverage into the editor.

The downside to this patch is that the coverage report only contains
information about code that's exercised by the tests, so this patch on its own
is unsuitable for our current processes in integration/config which generate a
full code coverage report per patch for extensions or post-merge for core.

However, since we are not yet using phpunit.xml.dist in CI, this patch should be
OK to merge as is. A follow-up patch to integration/config will use sed or
phpunit-suite-edit.py to set processUncoveredFilesFromWhitelist to true.

Bug: T192078
Change-Id: I3d19627fa36f6cc6666c29fdb638272fdaa30630

Merge "Improve type hints in parser related classes"

Recognizes Open Document Database

Mediawiki does not recognizes the mime type of an OpenOffice / Libre
Office Database Frontend Document and thus uses application/zip.

Our MimeAnalyzer::detectZipType() looks at the Zip files to detect known
signatures, however it is based on a reference from 2005 which did not
have the Database type yet.

OASIS Open Document Format v1.2 specify non normative MIME types, the
reference supposedly being the ones registered with the IANA, but we
have some dispredancy: ODF recommends 'base' while the IANA got
'database' registered: https://www.iana.org/assignments/media-types/

I supposed the format got approved as is, the Database mime type being
'recommended' probably because the IANA registration was pending.

Add the 'base' type which is being used by OpenOffice 3.x and later as
well as at least Libre Office 5.x.
Document my findings in code comments.
Add a test.

Bug: T35515
Change-Id: If0210a87067358612ecb8b3edd001fb05d01653d

Don't show tools on history view when no revisions can be shown

Change-Id: I31c1d22a444928bf73d7ae0c0904cd1fb93865f4

Correctly distinguish the latest revision in action=history

The latest revision is the last revision made to a page.
It isn't necessarily the first revision shown in a history
view because of the filters above.

Bug: T194203
Change-Id: I4b232482e682e090235dbbd0732ff61fbad3ccda

objectcache: deleteObjectsExpiringBefore() signature and code improvements

Make the method use a callable type hint for $progressCallback.

Also make the SQLBagOStuff subclass shuffle() the array of server and table
indexes in case the limit keeps getting applied. Only garbage collect on DBs
that were going to be written to anyway. Also use DeferredUpdates if possible.

Change-Id: I723e6377c26750ff98e33f7ab103c6162ae65f43