Selenium: Hide VE welcome and beta dialogs

Remove uses of setLocalStorage (incompatible with chromedriver >= 75)
and also requires slightly fewer requests since BlankPage.open()
doesn't need to be invoked.

Bug: T234002
Change-Id: I4cfb4fe17a3c99bfcb7ff39ac6db60f5c5e8a687

Merge "selenium: Fix inefficient use of MWBot in specs/page.js"

Merge "selenium: Use async-await for wdio-mediawiki/Api internals"

Merge "selenium: Remove "RunJobs" wait from specialrecentchanges test"

Merge "selenium: Remove deprecated legacy methods"

Merge "selenium: Upgrade from webdriver v4 to v5"

Merge "RevisionStore: Introduce getContentBlobsForBatch"

Merge "tests: Replace assertions on count() == 0 with strict === []"

Merge "Split down patch-actor-table.sql"

Split down patch-actor-table.sql

Bug: T227662
Change-Id: I024ff1d6f4c2726242138ba7e7f19480d9d2b948

Merge "maintenance: Enable gzip in router.php for static files"

tests: Replace assertions on count() == 0 with strict === []

The benefit of using count() is that the test would still succeed if
the return vfalue is not an array, but an iterable object. It seems
this is not needed.

Change-Id: I23529f6990aebe0cce86e236a21820fe74993204

Merge "selenium: Restore sauce user/key configuration for wdio"

selenium: Fix inefficient use of MWBot in specs/page.js

This test previously took 4 minutes to run locally and ended up
running the MWBot.login process 9 times.

After this, the specs/page tests only log-in once.

Bug: T234002
Change-Id: I374620a01f49d4da559070d0982bdbe4c1269e2e

selenium: Use async-await for wdio-mediawiki/Api internals

Bug: T234002
Change-Id: Ie4ad5248f832dd57f35710e0e9a91250e061b0bb

maintenance: Enable gzip in router.php for static files

Bug: T233992
Change-Id: Ie401180ac968210c9f923ad920bf15955c8551d7

Localisation updates from https://translatewiki.net.

Change-Id: I2ff71393f57b3c397dae4e63d9607dcd1807343e

Merge "resourceloader: Hard deprecate ResourceLoader::getLessVars"

resourceloader: Hard deprecate ResourceLoader::getLessVars

ResourceLoader::getLessVars is already deprecated since MW 1.32.

Change-Id: If2fbe7828d8cde73575c0306486835fa1ea06b84

Merge "Added option to specify "Various authors" as author in extension credits using "..." as the _only_ author name"

Expand testDoQuickOperations() tests for FileBackend

Change-Id: I0633f13f07b5a3234b9bbae4840b064972f68fd9

Added option to specify "Various authors" as author in extension credits using "..." as the _only_ author name

If the "author" array contains more than one entry and "..." is one of the entries in the array, "..." will be parsed as "others" (version-poweredby-others i18n message) like previously.

Change-Id: Ibebd3c38a674abd9f066b38e92c7f712f7b3ba8d

selenium: Remove "RunJobs" wait from specialrecentchanges test

This test was consistently reaching the RunJobs timeout of
10 tries and then giving up. This happens in CI, where it wasted
about ~ 5 seconds, and locally where it takes about 30s for mw.

Like so:
> RunJobs through requests to the main page (run 1).
> RunJobs detected 12 more queued job(s).
> RunJobs through requests to the main page (run 2).
> RunJobs detected 12 more queued job(s).

Etc, until it reaches run 10 and gives up. This also suggests
the whole thing isn't wokring, but that's a separate matter.

First and foremost, RecentChange objects are saved from a PRESEND
deferred update, which means it does not require a job queue wait
in order to appear on Special:RecentChanges.

This was added in e908d347ef2 (T199446) "to keep the number of
unrun jobs low". The idea being that this test makes an edit via
the API, which means it creates jobs without running them. On
the other hand, there's also lots of test steps that view pages
but don't create jobs, which would make this optimisation premature.
If and when we do encounter a test failing due to a job backlog,
I'm confident we can find a better solution at that time.

Bug: T234002
Bug: T225730
Bug: T199446
Change-Id: I9ef8c5b65d4b636572569912f04f48ed40aa0564

selenium: Remove deprecated legacy methods

These are from 2018, prior to introducing wdio-mediawiki in
commit 16a4d9da7bb81. Some extensions referenced these pageobjects
files through escalating "../../" references.

None of these are seen in Codesearch anymore, as well as no
references to these deprecated methods by other means.

Change-Id: Idbc373f13f9767cecd6404922b5c9773d796dda5

selenium: Upgrade from webdriver v4 to v5

* Options no longer needed or no longer exist in wdio v5:
  - coloredLogs: Now always on. The underlying 'chalk' library can still
    be influenced via the FORCE_COLOR environment variable.
  - screenshotPath: Removed. Was already disabled in our config.
  - deprecationWarnings: Meh.
  - 'sync: true' – On by default when `@wdio/sync` is installed.
    The wdio v5 config generator doesn't recommend setting manually.

* The selenium.sh script was removed. It existed to start and stop
  chromedriver for local use by developers. This is now done by
  the wdio-chromedriver-service. In WMF CI, Quibble starts its own
  chromedriver (as optimisation, reused across gated repos),
  which is why the 'selenium-test' entry points remains and skips
  this.

* The wdio-mediawiki package now requires wdio v5 and Node 10.
  This doesn't affect extension repos because versions are pinned.
  Upgrade may happen at the earliest convenience.

* Several WDIO methods changed names or signature. Full list at:
  <https://github.com/webdriverio/webdriverio/blob/v5.13.2/CHANGELOG.md#v500-2018-12-20>
  Highlights:
  - browser.element() is now browser.findElement() with "$()" as alias.
  - browser.localStorage replaced by browser.setLocalStorage.
  - browser.deleteCookie() requires `name` param. To delete all at once,
    there is a new method browser.deleteAllCookies().
  - Commands that return data no longer wrapped in `{ value: … }`.
    Values are now returned directly.
  - Custom config keys are now under browser.config instead of browser.options.
    Renamed our username/password keys to be mw-prefixed, to avoid clashes
    and reduce confusion with similar config keys.
  - browser.click(selector) and browser.getText(selector) no longer exist.
    Use $(selector).click() or .getText() instead.

* Fix "no such alert" warning from specs/page.js by removing the apparently
  redundant code.

Bug: T234002
Bug: T213268
Change-Id: I908997569ca8457997af30cb29e98ac41fae3b64

selenium: Restore sauce user/key configuration for wdio

I removed these in e78484109ae7 because they seemed redundant
given that the library used by wdio-sauce-service already reads
these when present. However, our current version of this package
clobbers this unconditionally with config.user/config.key, thus
not letting it reach that default.

Also add sauceConnect:true which means developers can run
localhost tests against sauce labs if they so choose.

Change-Id: I8d31a23374b2b9b6cd6f1405c7a2f1001da08f1a

Merge "resourceloader: Add version to ResourceLoaderImage urls for long-cache"

Merge "resourceloader: Simplify makeLoaderStateScript and makeLoaderSourcesScript"

Merge "resourceloader: Remove support for $context === null in getContentObj"

StringUtils: Clarify that isValidRegex is for PCRE regexps

As suggested in c14571ba26e (I257a096319f1e).

Change-Id: Ia91d037f2f4bf8a1bad4eac65fecb1d3e2679d2d

resourceloader: Simplify makeLoaderStateScript and makeLoaderSourcesScript

The signatures without array are not used anymore.

Change-Id: Ice6a09ff6cba0c605ed1c89a25fd8e02af041b05

Merge "docs: Fix typo on Doxygen main page"

Fix double dot in filename

Follows-Up: I7617616df57f7468d06e9b52426b6851bfef0e7d
Change-Id: Ia8be2fd6a13d095e27a6489b0126763573dd6194

Merge "resourceloader: Add $modules parameter to makeVersionQuery()"

resourceloader: Add version to ResourceLoaderImage urls for long-cache

The code previously here did not work well as it merely forwarded the
hash from the current web request. This had numerous issues:

1. It was often null because requests for stylesheets do not cary
   a version hash.
2. When requested by JavaScript, the version hash would be a
   combination-hash of many unrelated modules, thus when requested as
   part of different batches, it would produce different urls which
   is not ideal.

The impact of this is minimal currently because we basically never use
these urls, as SVGs are almost always embedded instead of ref'ed by url.
PNG urls are only generated for non-JS modules and then only used in older
browsers not supporting SVG. And, even after all that, for the edge case
of an SVG being ref'ed by url, they would be stored in LocalStorage by
mw.loader with the name+version of the module the image belonged to, not
the version hash of the batch request it came with.

Which means that, yes, localstorage key for "somemodule+someversion" would
have different values for different users, based on which batch the value
came with, because the image urls were using the version hash of the batch
request from ResourceLoaderContext. This is weird, but didn't cause bugs
or inefficiencies because the user would never be exposed to the other
possible urls for that image because we always check LocalStorage first.
It did cause fragmentation server-side in Varnish, though.

This is all fixed now by always including a version, and setting it to
the version of the module. This means there is no more Varnish fragmentation
for these. And it means that browsers are now allowed to cache the images
served from these urls for 30+ days (immutable) instead of only 5min,
which is what happened when they didn't have a version parameter (or set to
null).

Bug: T233343
Change-Id: I4af7fda03698ed4c288d154e7787fb2f3cbbe6c5

Merge "Mark mediawiki.page.watch.ajax as targetable to mobile"

Merge "tests: Replace PHPUnit's loose assertEquals(null) with assertNull()"

Merge "build: Lower default Karma logLevel during local development"

Mark mediawiki.page.watch.ajax as targetable to mobile

This is explicitly disabled by Minerva so this should have
no impact other than allow the loading of this module on
mobile.

Change-Id: Ib73fb995f5ccb16d99b505abad2466187c3dc5a5

Merge "Remove tests that were skipped for MCR-enabled schema"

Merge ".pipeline/config.yaml: rename dev stage to publish"

Merge "resourceloader: Add $context to static functions in ResourceLoader"

Merge "resourceloader: Add type hints for type ResourceLoaderContext"

Remove tests that were skipped for MCR-enabled schema

Pre-MCR schema is no longer supported, thus we don't need
the tests that are skipped for MCR-enabled schema.

Bug: T214308
Change-Id: I2d78ec668fde1e49710c54be8ab72c474f30f6b8

tests: Replace PHPUnit's loose assertEquals(null) with assertNull()

assertEquals( null, … ) still succeeds when the actual value is 0, false,
an empty string, even an empty array. All these should be reported as a
failure, I would argue.

Note this patch previously also touched assertSame( null ). I reverted
these. The only benefit would have been consistency within this codebase,
but there is no strict reason to prefer one over the other. assertNull()
and assertSame( null ) are functionally identical.

Change-Id: I92102e833a8bc6af90b9516826abf111e2b79aac

Merge "Fix permission check on protection log"

Merge "Remove Revision::getRevisionText and gated pre-MCR schema access"

Merge "rdbms: Remove obsolete comment in LoadBalancerSingle"

RevisionStore: Introduce getContentBlobsForBatch

getContentBlobsForBatch provides a more low level interface than
newRevisionsFromBatch, allowing bulk access to serialized content
without the need to instantiate Title, RevisionRecord, RevisionSlots,
SlotRecord, and Content objects.

Bug: T228675
Bug: T234034
Change-Id: I8481ad211e2d9f11bc10ea10c16e78b74538d95b

Merge "Force usage of MCR aware database schema"

.pipeline/config.yaml: rename dev stage to publish

This should align with the "publish" pipeline defined in
integration/config.

Bug: T218360
Change-Id: Iba27755416843dd547ac1889d932a3b5ea9d1fd2

Fix permission check on protection log

*I2341e6f inverted the permission check, such that now the link is only shown to unprivileged users

Bug: T234017
Change-Id: I0977f1ab1a72840303aeca2367a30546d83117d4

rdbms: Remove obsolete comment in LoadBalancerSingle

This comment was added in commit 0b583944e4, but
later rendered obsolete by commit 143333b172.

Change-Id: I1a64ab75a9883a88d5767722e27724520f8a0dcc

Remove Revision::getRevisionText and gated pre-MCR schema access

- fixT22757.php appears to have been written for T22757 which has been
resolved, I assume it can be removed.

- compressOld.php - rev_text_id access is gated on MCRSchemaMigrationStage
READ_OLD. IT's safe to use the old_text and old_flags directly as we
select for them. Also the query ensures external blobs are not selected,
so we can use decompressData instead of Revision::getRevisionText.
Tested locally.

- recompressTracked.php uses a temporary table for tracking the blobs.
Table is populated by trackBlobs which explicitly queries for old_id,
so using it directly in recompressTracked is ok.
Tested locally.

- checkStorage.php the affected code attempts to fix broken revisions
from a dump, however, it looks like it doesn't work - the code expects
revision IDs as input, however it receives an array of text table old_id
values. Untested.

Bug: T198343
Change-Id: I753019565c15d270c831c995c07c7f1aad887cb6

resourceloader: Add $context to static functions in ResourceLoader

This change allows to use the context in the functions.

The following internal static functions from ResourceLoader get now a
reference to the ResourceLoaderContext object:
* makeLoaderImplementScript
* makeLoaderStateScript
* makeLoaderRegisterScript
* makeLoaderSourcesScript

ResouceLoader::encodeJsonForScript is duplicated to
ResourceLoaderContext::encodeJson loading the debug mode from context.

ResourceLoader::encodeJsonForScript is kept for other usages without
context.

The debug mode is loaded from $context->getDebug() instead of from
ResourceLoader::inDebugMode(). This does not support to enable the debug
mode by setting the cookie 'resourceLoaderDebug' or the configuration
variable wgResourceLoaderDebug. Only the URL parameter debug=true
enables the debug mode. This should be sufficient for the subsequent
ResourceLoader requests. The tests don't need the global variable
wgResourceLoaderDebug anymore. The initial ResourceLoader context in
OutputPage still uses ResourceLoader::inDebugMode() with cookie and
global configuration variable.

This change adds the parameter $context with a ResourceLoaderContext
object to ResourceLoaderModule::getDeprecationInformation and deprecates
omitting the parameter. Ifa1a3bb56b731b83864022a358916c6aca5d7c10
updates this in extension ExtJSBase.

Bug: T229311
Change-Id: I5341f18625209446a6d006f60244990f65530319

Merge "Split down patch-comment-table.sql"

Merge "MWTestCase: include table prefix in domain for temp table only mode."

docs: Fix typo on Doxygen main page

This PR fixes a typo and removes a few extra words
from the Doxygen landing page.

Change-Id: Ieb09c0e72129f4c6b0ccd574daf2f9316f580259

Merge "Speed up ApiQuerySiteinfoTest:testContinuation"

Merge "API: Use ConvertibleTimestamp::setFakeTime for testing curtimestamp"

Force usage of MCR aware database schema

Bug: T214308
Change-Id: I2ae4e82a12f730617563eb6f911fc406b9195391

MWTestCase: include table prefix in domain for temp table only mode.

This patch allows PageUpdaterTest and DerivedPageDataUpdaterTest to
function properly. Without this patch, the fail when run by themselves.

See phab ticket for analysis.

Bug: T234031
Change-Id: I0804b503bc8b860343a5141c0bfb25fe6855c87d

Remove MySQL index aliasing for user_newtalk indexes

While these have not yet caused problems, we should probably deprecate
the whole confusing "index aliasing" feature. Cleaning this up needs to
be done first.

Method MWLBFactory::setSchemaAliases() is being considered private due
to the @internal notation, and so is being removed without deprecation.

Bug: T233240
Change-Id: Ib04b7bc4af53382fde01bd8550cc7e361124255f

Speed up ApiQuerySiteinfoTest:testContinuation

The test fills $wgUrlProtocols with 86000 entries, forging oversized
strings which ends up eventually truncated to 100 bytes.  The aim is to
overflow $wgAPIMaxResultSize to trigger an apiwarn-truncatedresult
warning.

The test takes 230 ms on my machine and when generating code coverage
almost a minute.

A faster approach is just to lower the $wgAPIMaxResultSize limit to
trigger the warning.

Test plan:

  $ php tests/phpunit/phpunit.php \
      tests/phpunit/includes/api/ApiQuerySiteinfoTest.php \
      --filter testContinuation

Bug: T234016
Change-Id: I3dc96d394d8b98dda8f151d14544b829c92f9b10

Localisation updates from https://translatewiki.net.

Change-Id: Ic52edc08609d9b9d03b7173ae43810f0dad140c1

resourceloader: Add type hints for type ResourceLoaderContext

Change-Id: I10fc4b9277f94fc495149fe0d0077b054090387b

In recompressTracked.php, fix the names of things related to child processes

The forbidden word was used in two senses, confusing the search and
replace done in 3d5016569da984050e.

Change-Id: I220a58fd536c828ab5e03a779e45f222d0298f9a

Merge "objectcache: fully respect "pcTTL" in WANObjectCache instead of using INF when >= 0"

Merge "filebackend: avoid use of wfWikiId() in FileBackendGroup"

Merge "Add .pipeline/ with dev image variant"

Merge "Add a run mode to $wgDisableQueryPageUpdate"

filerepo: make FileRepo::store/storeBatch() accept FSFile as similar methods already do

Change-Id: I92ce979a71fabd9e2095e7db43fa6fc8c2e0ef75

Add a run mode to $wgDisableQueryPageUpdate

The run mode is used to show a different message on the special page,
instead of the current one "Updates for this page are currently
disabled. Data here will not presently be refreshed." even the data gets
updated with a different cron job.

Bug: T78711
Change-Id: Ib63d16bfea477dec43323b39671cc068530e2f0b

resourceloader: Add $modules parameter to makeVersionQuery()

The 'version' and 'modules' parameters are a somewhat problematic
part of the ResourceLoaderContext object as we often pass around
the context but may be dealing with only a subset of the modules
in the outer request, or even entirely different ones (e.g.
for OutputPage's fake context 'modules' and 'version' are both
null).

This is already visible in ClientHtml where we create a derivative
context just to call setModules() and have makeVersionQuery()
work. This is now fixed.

This change is in preparation for use in ResourceLoaderImage
(to fix T233343) where we'll need to compute a version for only
1 module of a larger set, and ideally without needing to create
another context.

Bug: T233343
Change-Id: Icc1a4fd1f58c4e49e58eee43ca4ba2de6cfffc76

Merge "installer: Deprecate WebInstaller::getInfoBox, getWarningBox and getErrorBox"

Merge "Clean up ar_usertext_timestamp index mess"

Merge "You are reviewing an old revision should be a warningbox"

Merge "newRevisionsFromBatch: don't throw on duplicate row."

installer: Deprecate WebInstaller::getInfoBox, getWarningBox and getErrorBox

Since MW 1.31 there are messageBox, warningBox, errorBox and successBox
available which should be used instead.

These are simple wrappers around Html::messageBox and related methods
which should be used directly instead. Internal usage has been migrated
as of a9252abb1cf0, but these public methods remain for now. Once
removed we can also removed the internal Html::infoBox() method.

Bug: T232903
Change-Id: I2756c88987754c4e3f84d98c531d8396098cd7fe

Merge "Fill GenderCache for used pages in action=query&prop=fileusage"

API: Use ConvertibleTimestamp::setFakeTime for testing curtimestamp

Mainly to avoid spurious test failures when CI is being extremely slow.

Bug: T233752
Change-Id: Ie2cdd84dc076a852fbdce52f661ef893f9a2d45b

Merge "Parser: Use 'Special:Badtitle/Parser' instead of 'NO TITLE'"

CommentStore: Accept SCHEMA_COMPAT_* constants

Extensions doing an actor and comment migration at the same time will
likely want to use the same constants for each, and that will most
likely be using write-both/read-old and write-both/read-new for the
middle stages rather than write-both/read-both and write-new/read-both
as implemented by the MIGRATION_* constants. See Ie29fd05 for example.

This patch changes CommentStore's internal logic to work correctly when
passed write-both/read-old or write-both/read-new.

Bug: T233449
Change-Id: Iebec80f969ad1c4f9f51a4f25656319cca32b0dd

exception: Let MediaWiki.php control final output for ErrorPageError

The same way it does already for non-error output. This makes
it so that doPreOutputCommit() consistently happens between
the staging of output and the actual sending of output.

It is still allowed for code to bypass this, such as for fatal
errors and for handlers that disable OutputPage (like Special:Export).

But for cases where we do want to perform doPreOutputCommit(), it
should be run consistently between staging and sending so that it
can make appropiate decisions based on the current state of
OutputPage.

Previously, the state of OutputPage seen by doPreOutputCommit()
would be the broken/incomplete output of a seemingly succesful
(possibly cacheable) user action, which would then, after
doPreOutputCommit() runs, be completely replaced by $e->report()/
$out->showErrorPage().

This is a prerequisite for being able to reliably send cookie-block
cookies on error pages (next patch).

Bug: T233594
Change-Id: Iaeaf5e55a5868e6be534ddda73f3b56b9d6ef8f0

Localisation updates from https://translatewiki.net.

Change-Id: I49be2a7100bff079264a48b07e14b0edf30472be

You are reviewing an old revision should be a warningbox

It's warning you about the outdated nature of the content.

Given this message can be customised and thus styled, this will
have presentation issues on certain wikis (see screenshots).

If we go ahead with this change we'll probably want to give editors
a 2 weeks heads up via tech news.

https://phabricator.wikimedia.org/F30285062
https://phabricator.wikimedia.org/F30285074
https://phabricator.wikimedia.org/F30285084

Bug: T232415
Change-Id: I7dab00d5500937c03166398d92ea65a599bf3e22

Fill GenderCache for used pages in action=query&prop=fileusage

Add an utility function
ApiQueryBase::executeGenderCacheFromResultWrapper

GenderCache stops working when there are more than 1000 cache missed
and returning the default value (T200238)
Fill the cache with all needed users avoids this behaviour
and it saves one query per user page.

Change-Id: I911dcb160a7b169091b9e8f66fb3908d0f2a1ba4

Merge "Pass "services" through from coreRoutes.json to ObjectFactory"

rdbms: fix active GTID filtering in DatabaseMysqlBase

In masterPosWait(), only $pos will have the known active domain/server set
since it usually comes from getMasterPos(). However, the reference position,
from getReplicaDB(), does not have the active domains set since querying
gtid_domain_id on the replica would be incorrect and getting a connection
to the master could be expensive.

Remove obsolete hacks for jobs that used to store master positions.

Also, use the regular Database::query() method for stylistic consistency.

Bug: T224422
Change-Id: I41bbb9f337e46451aa17788dbd446db4a213a5a7

Merge "Updated wikimedia/avro from 1.8.0 to 1.9.0"

Localisation updates from https://translatewiki.net.

Change-Id: I27b08eefba6d5f7e8358fb0b2ea7f84552cb38c0

Merge "resourceloader: Convert ImageModule test to stricter unit test"

Merge "Special:Contributions form collapsed when offset is defined"

filebackend: avoid use of wfWikiId() in FileBackendGroup

Also warn when there is a risk of automatic backend domain collisions

Change-Id: Id488b5b947ef5fe8f4b0a8e96560bfd44fcc0327

Special:Contributions form collapsed when offset is defined

Form on Special:Contributions is collapsed while assuming
user is paging through results when target, start or end date
offset is defined.

Bug: T117736
Bug: T191868
Change-Id: I05030f1473b13bbe66bf56b9affc8d33f7210b81

Pass "services" through from coreRoutes.json to ObjectFactory

Allows service injection into REST handlers.

Change-Id: I83d1780903febe0499c6a575a0e6725dc01e5b0c

Merge "Replace infobox usages and extend successbox, warningbox and errorbox"

Merge "Make Special:Contributions use OOUI"

Merge "Avoid uses of wfWikiId() in maintenance/"

Replace infobox usages and extend successbox, warningbox and errorbox

Adding optional $className parameter to provide additional
styling options.
Optional parameter $heading was introduced for MobileFrontend. Therefore
leaving inconsistent parameter order is necessary for the time being.

Bug: T232903
Change-Id: I5857b2c58a47a83156c32f086a73fe2bd48ab0c8