rdbms: avoid dbSchema() in Database::replaceLostConnection() and Database::__clone()

Since dbSchema() always casts the result to a string, using this method
with a call to open() is broken if the RDBMs does not support DB schemas
and thus requires null

Follows-up 7911da9c6f (last week), which added the check in
DatabaseMysqlBase::open() check. Also follows fe0af6cad (last year),
which made dbSchema() consistently return string. Before that, an
implicit null was passed in from Database::factory for mysql, which hid
the class default of empty string.

Bug: T227708
Change-Id: I67207fbaa39c5cc3fe062077cc654f048090e009

Merge "objectcache: remove inheritence from CachedBagOStuff"

Merge "objectcache: use OPT_TCP_NODELAY for MemcachedPeclBagOStuff"

objectcache: use OPT_TCP_NODELAY for MemcachedPeclBagOStuff

Clean up the option setting code in __construct() as well
and make it more strict in terms of checking bogus options

Make mctest.php recognize when memcached is used more easily

Change-Id: I77be506e80478ddbb4fcfa44d82aba8162fa984f

Merge "Allow false as return type of FileBackendStore::doGetFileXAttributes"

objectcache: remove inheritence from CachedBagOStuff

Change-Id: I24e5b6a95d74730c1679bdc7b7b394adcb6bd794

Merge "build: Updating mediawiki/mediawiki-phan-config to 0.6.1"

Merge "PHPUnit bootstrap: less aggressive unsetting of globals"

Merge "User: support setting custom fields + array autocreation in non-existent field"

User: support setting custom fields + array autocreation in non-existent field

I889924037 added a __set method which did not actually handle fields being set.
For better or worse, setting custom fields on ubiquitous objects like User is a
common form of in-process caching, so this is a B/C break; restore for now.

PHP allows creating an array in a previously non-existent object property
with $o->foo['bar'] = $val, but doesn't properly handle that on objects
which have magic getter/setter. Add an ugly hack to make it work (but warn).

Depends on I15090ae9e4b66ac25f631f6179c4394ce8c445a9.

Bug: T227688
Change-Id: I62b80ab4fa10de984cf2c879ab12d91b0fd9bc1c

Merge "Localisation updates from https://translatewiki.net."

Localisation updates from https://translatewiki.net.

Change-Id: I1a847d840c4263f055261c78fc9b487fc0537ffe

objectcache: rename "slaveOnly" parameter to "replicaOnly" in SQLBagOStuff

Also removed redundant check

Change-Id: I9f454eb15f223f5a9816dca4510c1a9add540b49

Merge "Tests: Assert that integration tests are not in unit test directory"

Merge "Pass in ServiceOptions to BlockManager"

Merge "Tidy up conditions for applying a block from a cookie"

PHPUnit bootstrap: less aggressive unsetting of globals

Previous approach caused breakage with "Notice: Undefined index: _SERVER"
messages, see e.g.
https://gerrit.wikimedia.org/r/c/mediawiki/core/+/521268#message-4502e6c209f53f6dc1c7cdf4f60e5045bbfb6ee4

Change-Id: Ief20e4e21fd99d219ebef865c603e336c2609ce2
Follows-Up: I16691fc8ac063705ba0c2bc63b96c4534ca8660b
Bug: T87781

Tests: Assert that integration tests are not in unit test directory

Bug: T87781
Change-Id: If82efb1829095a6cf76435921f1328801508a70a

Linker: Fix incorrect test added in Ib9816d8b

The test was intended to check for whether we have a user ID *or* a user
name. Instead, it's checking if we have a user ID *and* a user name. And
it also failed to consider User:0.

Bug: T227656
Change-Id: Ia1b5c4a6ae028513b73a65cd2c885459327d29c3

Merge "Make RouterTest extend MediawikiUnitTestCase and not integration"

build: Updating mediawiki/mediawiki-phan-config to 0.6.1

Change-Id: I370fed5248c8b243527cafb77d80ddb6f4bc7064

Merge "Replace old URLs in SampleTest"

Make RouterTest extend MediawikiUnitTestCase and not integration

it's in unit directory, it causes things to break

Change-Id: Ibeafafde5a3b9f3f8e6fda0ceef8575aa544e20b

Merge "bagostuff: optimize SqlBagOStuff and fix failing segmentation tests"

Merge "rdbms: make IDatabase::isReadOnly() return true for replica DBs managed by LoadBalancer"

Pass in ServiceOptions to BlockManager

Change-Id: Ic63d7ff35a71e36c4e6157e9d472e2870f95f00d

Tidy up conditions for applying a block from a cookie

Change-Id: Id9dd6ae395f5bb811db4c741be9db8aa2eb6fb70

Merge "Update OOUI to v0.33.2"

Merge "Remove references to db field ar_text_id"

Update OOUI to v0.33.2

Release notes:
 https://phabricator.wikimedia.org/diffusion/GOJU/browse/master/History.md;v0.33.2

Bug: T158708
Bug: T226780
Bug: T227040
Bug: T227275
Depends-on: I3d7a990d0f32734a9048ec55d22035150a562f04
Change-Id: I4287a6f2e950a8ad0511b24f4a1c8074e4f427b3

Merge "Isolate globals for ContentSecurityPolicy tests"

Replace old URLs in SampleTest

Update URLs to point to documentation for version 6.5, and fix a
couple of broken URLs.

Change-Id: I25211d4da19a40837d7fb7fc6219486f1a7a7c0e

Merge "REST: add write access checks to BasicAccess"

Merge "Add rest.php (REST API endpoint) with feature flag"

Merge "REST: basic read restrictions"

rdbms: make IDatabase::isReadOnly() return true for replica DBs managed by LoadBalancer

Change-Id: I25b70fe0ea113c6741601cf0366a0fe9dc5cc3ef

Merge "maintenance: Script to rename titles for Unicode uppercasing changes"

bagostuff: optimize SqlBagOStuff and fix failing segmentation tests

In SqlBagOStuff:
* Add modifyMulti() helper method to reduce code duplication
* Improve atomicity of add(), cas(), and changeTTL() queries
* Avoid integer serialization and improve atomicity of incr()
* Optimize new BagOStuff::changeTTLMulti() method

In BagOStuff:
* Add changeTTLMulti() method for subclasses to optimize
* Make set() ignore WRITE_ALLOW_SEGMENTS for integers so incr() works
* Strip WRITE_ALLOW_SEGMENTS flag from the setMulti() call in set() to
  avoid triggering bogus sanity check exceptions
* Fix BagOStuffTest::testSetSegmentable failures via the above changes
* Enforce WRITE_ALLOW_SEGMENTS sanity check in setMulti() for all the
  subclasses by using a final wrapper method
* Add WRITE_ALLOW_SEGMENTS sanity check to deleteMulti()

Bug: T113916
Change-Id: I25d1790fa9b0d1837643efccfa94a12043cfbf42

Merge "Fix typo in table documentation"

Merge "Add safemode to special redirect parameters that are preserved"

Merge "config: Change ConfigException to extend LogicException"

rdbms: rename LoadMonitor "parent" field to "lb"

Change-Id: I21246ca1ba00280839216b378899f2fcae266857

Remove references to db field ar_text_id

Field ar_text_id is being removed as part of MCR schema changes.
Remove references to this field. These references were already
unnecessary due to commit 07842be3.

Bug: T198341
Change-Id: I3dbf12abf3f67fa0ea07c535e830c9d40b46fdc3

Merge "Move unit tests, round III"

Move unit tests, round III

Depends-On: I16691fc8ac063705ba0c2bc63b96c4534ca8660b
Bug: T87781
Change-Id: I5e1ab06e3decef6cc6090551d54dc4314ab9314a

Localisation updates from https://translatewiki.net.

Change-Id: If1fe24c743ae95416ff816989ec15d4042612604

Merge "Add fields and docs to WikiExporter"

Merge "rdbms: avoid recursion in LoadBalancer when the master has non-zero load"

Merge "jobqueue: mention more methods in RunnableJob to fix various IDEA warnings"

rdbms: avoid recursion in LoadBalancer when the master has non-zero load

Add and use IDatabase::getServerConnection() method to avoid loops caused
caused by pickReaderIndex() calling getConnection() for the master server.
That lead to getReadOnlyReason() triggering pickReaderIndex() again.

Make getLaggedReplicaMode() apply when the master has non-zero load and
the replicas are all lagged.

Remove "allReplicasDownMode" in favor of checking getExistingReaderIndex()
instead. This reduces the amount of state to keep track of a bit.

Follow-up to 95e2c990940f

Bug: T226678
Bug: T226770
Change-Id: Id932c3fcc00625e3960f76d054d38d9679d25ecc

Merge "Unset all globals unneeded for unit tests, assert correct directory"

Unset all globals unneeded for unit tests, assert correct directory

* Unset globals to avoid tests that look like unit tests but actually rely on
  globals
* move some tests out of unit directory so that the test suite will pass.
* Assert that tests which extend MediaWikiUnitTestCase are in a directory with
  "/unit/" in its path name

Depends-On: I67b37b1bde94eaa3d4298d9bd98ac57995ce93b9
Depends-On: I90921679518ee95fe393f8b1bbd9134daf0ba032
Bug: T87781
Change-Id: I16691fc8ac063705ba0c2bc63b96c4534ca8660b

Merge "objectcache: simplify WANObjectCache version handling code"

maintenance: Script to rename titles for Unicode uppercasing changes

This uses MovePage where possible to try to better keep data in sync.
Archives, log entries, and so on can't do that though.

The script skips User and User_talk pages for registered users, as
renaming the users is more complicated than makes sense to try to
implement here. Use something like Extension:Renameuser to clean those
up; this script can provide a list of user names affected.

Bug: T219279
Change-Id: I157577cb5bedfd347b808c254fb19ae8088818ab

Merge "jobqueue: remove unused "aggregator" field reference in JobQueueFederated"

Merge "objectcache: deleteObjectsExpiringBefore() signature and code improvements"

Merge "Run SpecialPageFatalTest with lang=qqx"

Fix typo in table documentation

Change-Id: Ifa9839567797921ca81938e5c77a1a53a42eef94

Merge "Correct typo `notMinimumVerisonMessage'"

Merge "Recognizes Open Document Database"

Merge "Improve type hints in parser related classes"

Recognizes Open Document Database

Mediawiki does not recognizes the mime type of an OpenOffice / Libre
Office Database Frontend Document and thus uses application/zip.

Our MimeAnalyzer::detectZipType() looks at the Zip files to detect known
signatures, however it is based on a reference from 2005 which did not
have the Database type yet.

OASIS Open Document Format v1.2 specify non normative MIME types, the
reference supposedly being the ones registered with the IANA, but we
have some dispredancy: ODF recommends 'base' while the IANA got
'database' registered: https://www.iana.org/assignments/media-types/

I supposed the format got approved as is, the Database mime type being
'recommended' probably because the IANA registration was pending.

Add the 'base' type which is being used by OpenOffice 3.x and later as
well as at least Libre Office 5.x.
Document my findings in code comments.
Add a test.

Bug: T35515
Change-Id: If0210a87067358612ecb8b3edd001fb05d01653d

objectcache: deleteObjectsExpiringBefore() signature and code improvements

Make the method use a callable type hint for $progressCallback.

Also make the SQLBagOStuff subclass shuffle() the array of server and table
indexes in case the limit keeps getting applied. Only garbage collect on DBs
that were going to be written to anyway. Also use DeferredUpdates if possible.

Change-Id: I723e6377c26750ff98e33f7ab103c6162ae65f43

Add fields and docs to WikiExporter

Three fields were undeclared, thus raising some phan warnings.

Change-Id: Ib7934b507cb69d29a3d2422dadc24b12207a12ad

jobqueue: remove unused "aggregator" field reference in JobQueueFederated

Change-Id: I355d1669a3845508d9be3ad11653f1b98446d9be

REST: add write access checks to BasicAccess

This is a stub implementation which just checks for the apiwrite
permission.

Change-Id: Ib84cd93e7f0f5e31cf620b2d30609035c4448c95

Add rest.php (REST API endpoint) with feature flag

Change-Id: I0f9aaa9cc81f93c00f7a28041615d7290b453803

REST: basic read restrictions

Protect private wikis by providing basic read restrictions,
closely following the example of the action API.

The BasicAccess module provides a narrow interface for this
functionality, without exposing the whole session/user concept to the
router.

Also, add RouterTest and fix a bug in Router::getRelativePath() thus
discovered.

Change-Id: I82319d56f08b2eec4a585ff6dbd348ccdbadc5b5

objectcache: simplify WANObjectCache version handling code

Make getWithSetCallback() check for unversioned values instead
of doing it in multiple isValid() checks.

Also rename some variables in doGetWithSetCallback() for clarity.

Change-Id: I27fe0b2351643009d090964b9b57fa82ba658235

Merge "installer: Avoid <doclink/> hack for 'config-sidebar' rendering"

Merge "installer: Convert <downloadlink/> hack to raw message param"

Merge "installer: Call getInfoBox() with raw wikitext, not transformed text"

Merge "installer: Fix Html::infoBox param docs and mark as internal"

Merge "build: Remove reference of non-existent "Fuzz" and "Stub" PHPUnit groups"

Merge "build: Remove redundant 'vendor/bin' prefix from composer commands"

Merge "mediawiki.util: Simplify test-only setOptions methods"

Merge "lockmanager: tweak FSLockManager permission handling in doSingleLock()"

Merge "objectcache: tweak SqlBagOStuff purging to happen on write only"

Merge "objectcache: add IStoreKeyEncoder interface for key generation helper methods"

Merge "Fix IDEA warnings in Xhprof class"

objectcache: add IStoreKeyEncoder interface for key generation helper methods

If a key is stored in both BagOStuff and WANObjectCache, it useful to have
one common method for generating the cache and storage keys.

Change-Id: I8b77651746a55e8a98a79db298226e334d15a494

Fix IDEA warnings in Xhprof class

Change-Id: Ie4bb1792e45380240f2507e3aca25dc94b78f57e

Merge "Remove `@author Timo Tijhof` from various file headers"

Merge "entrypoint: Avoid random Doxygen block from api.php and opensearch_desc.php"

build: Remove reference of non-existent "Fuzz" and "Stub" PHPUnit groups

These were removed from the phpunit.xml file recently (after having
been unused for many years), but between the revert and resplit
of the recent MediaWikiTestCase refactor, that change was lost
and the group exclusion re-introduced.

This removes it again, following 214750d8d224fc7.

Change-Id: I9448854e5f1587b1083e78f61ef8b520722ad2b9

build: Remove redundant 'vendor/bin' prefix from composer commands

Follows 214750d8d224. This isn't needed because they run with
that directory already in their PATH.

Change-Id: I855bbe53c2b5c87afa425b7b6d3ec920c452cc99

Remove `@author Timo Tijhof` from various file headers

Also remove a few redundant file-level descriptions in favour
of their class entity describing the same already.

Change-Id: I1a43fc402b5bd106931062a399952ba1e48beb48

mediawiki.util: Simplify test-only setOptions methods

Follows-up 1c7c9bdf1f.

* Define the method only in test context, instead of
  a run-time check.

* Return the old value, and re-use function for restoring
  the result afterwards.

* Make the test define its options by default, so at to not
  rely on local-wiki defaults in any way.

Change-Id: I71e92d5b9ee789b594e6e64ca3e425583fc1ee1c

resourceloader: Remove 'user.groups' module alias

Deprecated since MediaWiki 1.28. Follows 06ab9c0942f66.

Change-Id: Iedaa61d82b72ccf852975057d3d88f2bf7ddead6

entrypoint: Avoid random Doxygen block from api.php and opensearch_desc.php

These two entry points have themselves partly indexed by Doxygen
in a very strange way where these two comments cause part of an
if-statement to be seen as the name of a local variable.
Probably due to some kind of bad interaction with the
maintenance/mwdoc-filter.php filter applied to the file before
it gets indexed.

Fix it for now by avoiding use of /** blocks for something that
isn't a class, function, class member or documented global var.

Change-Id: I4903069e704c3283e6ec7a39999a489d0117cc71

Localisation updates from https://translatewiki.net.

Change-Id: I608a6689cf784c6826bd45e9836d3ed00a2f1602

Merge "rdbms: normalize Database/LBFactory logging and add snapshot flushing warnings"

Make MSCompoundFileReader::readFile platform-agnostic

MSCompoundFileReader::readFile uses iconv to convert information
given in UTF-16 character set with little-endian byte order to
the UTF-8 character set. The input string has no BOM and the byte order
is not explicitly given, causing iconv to try to guess the byte order
based on the host operating system. This causes the method to return
different results for the same file in different environments.

This patch explicitly provides the byte order for the input to be
converted (UTF-16LE) to ensure portability and predictability.

As part of this, move MSCompoundFileReaderTest into the unit test tree.

Bug: T225019
Change-Id: I62154897d303b28c288c3a4f2f5456bedcc81852

Merge "Selenium: replace UserLoginPage with BlankPage where possible"

Merge "build: use the latest webdriverio 4.x related packages"

Merge "Improve specialmute-email-footer description"

build: use the latest webdriverio 4.x related packages

Updating packages removes dependency on cryptiles. We were using
version 3.1.4 that had a vulnerability.

Bug: T226586
Change-Id: Idccc7f418ed6fce7452a6f0d403477953448a541

Improve specialmute-email-footer description

Change-Id: I058d3477b0707e2fbf09a94517a6005e0694dbae

Selenium: replace UserLoginPage with BlankPage where possible

When using local storage, any page has to be open. UserLoginPage is usually used.
BlankPage should be slightly faster to load. It also makes it more clear than
any page would do the job.

Change-Id: I50b23993065ad6b093a6cc951d00b0bf7a3d5e68

Run SpecialPageFatalTest with lang=qqx

SpecialPageFatalTest:testSpecialPageDoesNotFatal is one of the slowest
tests (specially running Special:Version) due to the fact that it needs
to translate so many message keys.

3206ms to run SpecialPageFatalTest:testSpecialPageDoesNotFatal with data set "Version"

Running with lang=qqx would ensure that the special doesn't fatal but also avoid
unnecessary message translations

Change-Id: I8ff715ac539e93915c98f7209523df1b3ea3a7e8