LogPager: Use normalized value for log_user_text in query condition

Bug: T142755
Change-Id: Ia08be456cafa2133e5ea0e521161d6939e839fb2

Merge "Make DeferredUpdates able to run DataUpdates"

Merge "ImageHistoryList: Remove 'wpEditToken' parameter from the "revert" link for files"

Make DeferredUpdates able to run DataUpdates

* Also make ErrorPageError exceptions display themselves
  in PRESEND mode. Before they were always suppressed.
* Make DataUpdate::runUpdates() simply wrap
  DeferredUpdates::execute().
* Remove unused installDBListener() method, which was
  basically moved to Maintenance.
* Enable DBO_TRX for DeferredUpdates::execute() in CLI mode
* Also perform sub-DeferrableUpdate jobs right after their
  parent for better transaction locality.
* Made rollbackMasterChangesAndLog() clear all master
  transactions/rounds, even if there are no changes yet.
  This keeps the state cleaner for continuing.
* For sanity, avoid calling acquirePageLock() in link updates
  unless the transaction ticket is set. These locks are
  already redundant and weaker in range than the locks the
  Job classes that run them get. This helps guard against
  DBTransactionError.
* Renamed $type to $stage to be more clear about the order.

Change-Id: I1e90b56cc80041d70fb9158ac4f027285ad0f2c9

Move run-on-add logic in DeferredUpdates to addUpdate()

Change-Id: I1b3ec21e07549f7250fa497f352fe1c131ddc88a

Remove $recursionGuard var from tryOpportunisticExecute()

Aside from there being no idle callback setting here, the
old addUpdate() code that runs updates allows nesting updates.
Make this support that for a few transitional commits. It will
be changed later to simply order the sub-updates after their
parent updates, keeping both outer scope for all updates and
locality of related updates.

Change-Id: I0ad4e9713a7893b981b7bb013e9db803eed663b2

Set "run when DBs idle" DeferredUpdates logic in Maintenance

* This is a more robust version of the one inside
  DeferredUpdates (checking all DBs), which will be
  replaced in a later commit.
* Make sure the listener is restored when the LB gets
  torn down in tests. Also, it should respect the
  $wgCommandLineMode value as tests can change it.

Change-Id: I1e3faa5a058df44e2d27ab5ac185930867eb68ac

Remove unused custom transaction logic from DataUpdate

Change-Id: Ife65e4e90a35395e87f4f487f1cb871b67d92aa1

Set some missing INTERNAL DB transaction flags and add wfWarn() calls

Make TRANSACTION_INTERNAL set mTrxAutomatic rather that
having callers have to do that individually.

The warnings should actually make tests fail with backtraces,
rather than often just having wrong things happen later.

Change-Id: Ic247a7b42a686f170f7abe6ec584459f3db4ed69

ImageHistoryList: Remove 'wpEditToken' parameter from the "revert" link for files

The action=revert page does not use this parameter at all. (It displays
a form with an entirely different token.) I think this has not been
needed since cf6dd13faca23af5b6e3188445b84e05d620d499 (r91284).

Change-Id: Ice5ecd2606a94a70321ede5304fee77fb1fb06c1

Merge "objectcache: allow for callbacks to mask SYNC_WRITE latency"

objectcache: allow for callbacks to mask SYNC_WRITE latency

Change-Id: I908222ad3788ebe330aa58831cda139da32becd8

Merge "Register a default value for the timecorrection preference"

Localisation updates from https://translatewiki.net.

Change-Id: Ib4393e8374d2b6596a461934e7a5a0f15a88e292

Merge "Remove SourceIndexField FLAG_SOURCE_DATA"

Remove SourceIndexField FLAG_SOURCE_DATA

Change-Id: I080f06a5a09f2d67a153b491555d0dbf65c626d0

Merge "Add DEFAULTSORT to search index field data"

Merge "mediawiki.util: Remove deprecated tooltipAccessKeyPrefix/tooltipAccessKeyRegexp"

Merge "Use transaction listener to run DeferredUpdates in CLI mode"

Merge "Add LoadBalancer::setTransactionListener()"

Use transaction listener to run DeferredUpdates in CLI mode

This sets triggers on master position waits typically called
after commitMasterChanges() or in commitAndWaitForReplication().

Change-Id: I127a8fe3cfc319abfa84fcd221ee2dae191c6d3b

mediawiki.util: Remove deprecated tooltipAccessKeyPrefix/tooltipAccessKeyRegexp

* Deprecated since MediaWiki 1.24.
* No longer used anywhere in Wikimedia Git.
* No longer used anywhere in MediaWiki-namespace on Wikimedia wikis.

Fixes performance issue uncovered in T144070. Would otherwise have
been addressed through a getter of sorts.

Change-Id: Ib323b7a63c5a2e8d36c5f105d0554a7216339b07

Merge "Convert LocalFile to using getWithSetCallback() for caching"

Merge "bidi-isolate usernames in Linker::userLink"

Merge "ApiParamInfo: Allow fetching info for all submodules of a module"

bidi-isolate usernames in Linker::userLink

Usernames can be in any script/language and include weak and neutral
characters like parentheses and dashes - these flip and make things
look very weird when displayed in the opposite directionality.

This fix adds <bdi> tags to isolate the username when we output user
links. This will affect displays like user personal tools, history
and diff view.

Also, fixing LogFormatterTestCase::removeSomeHtml() that expected
a very rigid html input (and thus failed with the new <bdi> wrapping)
to use strip_tags() instead.

Change-Id: I2db5f4b7d3a00726461eb6b699fbdf0ecd47a1cb

Add LoadBalancer::setTransactionListener()

This is useful for setting callbacks without making a new
DB connection. It also catches extra connections due to
foriegn wiki usage.

Change-Id: Ief009a0c1c2b4245fe3594fdf0d306dcc4956151

Convert LocalFile to using getWithSetCallback() for caching

Changed the hashing for the keys to SHA-1, which also avoids
problems with old MediaWiki versions seeing the new WAN
versioned keys.

Also fixed a few annoying IDEA errors

Change-Id: Ie608fb86421bc96e05e4a3b352f39b4938a243e4

Deprecate SqlDataUpdate

Core subclasses have been updated.

Change-Id: Ic1beebeb7aec2b40d89c75637968e57e71a6c1a2

Merge "Links update class cleanups"

Links update class cleanups

* Avoid using deprecated functions.
* Switch to DataUpdate as the direct parent class as
  no benefit was provided from SqlDataUpdate (which
  should be deprecated soon).

Change-Id: I0f1c77128f3df658e6a0eaf4471ca48ac536c643

Merge "Improve beginMasterChanges and make methods for DeferredUpdates"

Improve beginMasterChanges and make methods for DeferredUpdates

* Fixed bug in LBFactory::beginMasterChanges where
  untracked DBs that then get written to where not in the
  transaction round. The call to onTransactionResolution()
  right after commit() was also problematic, so a flag was
  added to handle that.
* Add LBFactory::setWaitForReplicationListener(), which
  fires at what is often a good point to run deferred updates.
* Add DatabaseBase::clearSnapshot() for committing no-op
  transactions.
* Add IDatabase::setTransactionListener() for persistent
  callbacks. Monitoring commits can be used to find a point
  where deferred updates can run.
* Follow-up commit will address DeferredUpdates.

Change-Id: I4589e6f3ae40b1c362601416db48857fb89840bf

Merge "Use wiki email for From of CC messages when $wgUserEmailUseReplyTo is set"

Use wiki email for From of CC messages when $wgUserEmailUseReplyTo is set

Avoid bounces caused by SPF protections when sending CC messages to
users. This mirrors the logic used when sending the original message.

Change-Id: I1c48892e9b5086fd564eedd65cca6a848a2b425c

Localisation updates from https://translatewiki.net.

Change-Id: I94ec22fbff6255c613997c008e185def799495ad

Merge "Enable jquery.ui.position on mobile"

ApiParamInfo: Allow fetching info for all submodules of a module

This allows fetching info for all query submodules with modules=query+*,
and info for all modules recursively with modules=main|main+**.

Bug: T28680
Change-Id: Icca5d2fda39d9d43fe20d77e34779412cec77aad

Merge "ApiQueryAllDeletedRevisions: More namespace handling fixes"

Merge "Always fail over to sync jobs when Special:RunJobs fails"

Merge "Adapt the ParserOutput cache TTL when including special pages"

ApiQueryAllDeletedRevisions: More namespace handling fixes

* If the user specifically requests an empty list of namespaces, they
  should get no pages.
* `ar_namespace` should always be in the query so MySQL can do a range
  search instead of a full index scan.
* The example provided didn't match its description.

Bug: T89665
Change-Id: I91afc25db488f75c7f2b1ef343766b4bd7da5472

Adapt the ParserOutput cache TTL when including special pages

For simple pages that transclude special pages, like user pages
including Special:PrefixIndex, the TTL is allowed to drop to 15
seconds if the page parses fast enough.

Bug: T139893
Change-Id: If41885ded648d68352fe3d06336d98aa0ab53966

Enable jquery.ui.position on mobile

Although this module is deprecated it appears to be used in isolation
from jquery.ui in key extensions such as Translate. To aid extensions
who need to transition away from it we should make this available on mobile.

This module does not appear to be loaded on startup and is the only
non-mobile targetted module used by the Translate extension so enabling
this will give us benefit.

This also fits in with the long term plan
of deprecating the targets field altogether.

Change-Id: Ib381b820c69832f9aa6fce01f5dae8b4f50d66fa

Always fail over to sync jobs when Special:RunJobs fails

This makes sure that jobs run one way or another.

Also made a few cleanups and improved the logging.

Change-Id: Ic2916099181ebeb5ae5143d444515db9ed13cee9

MediaWikiServices: Import NoSuchServiceException

NoSuchServiceException is in the MediaWiki\Services namespace. Since the
MediaWikiServices class is in the MediaWiki namespace, the

  catch ( NoSuchServiceException $e )

line added in Ifc587d61 will fail to catch any exception.

Co-Author: Paladox <thomasmulhall410@yahoo.com>
Bug: T143974
Change-Id: I903336c85c0bb9fb259f475f37959136e2ff7eca

objectcache: add and use adaptiveTTL() method

* This better handles delayed/lost cache purges by
  having lower TTLs for entries that often changes.
* Use this for foreign upload description page caches,
  we purges are never received from the source wiki.
* Also use this for User and LocalFile cache TTLs.
* Also move the Database::getCacheSetOptions() call in
  User *before* doing the queries, which is preferred.
* Fixed some IDEA errors too, like the undeclared
  mApiBase field.

Change-Id: I70f8ebb29ac853c2a530d9eedb9e7facc1b7b710

Merge "mw.loader: Use requestAnimationFrame for addEmbeddedCSS()"

Merge "mw.loader: Make 'mwLoadEnd' less expensive with a single using()"

mw.loader: Use requestAnimationFrame for addEmbeddedCSS()

setTimeout is fairly inefficient for this purpose as it tends to schedule for
further in the future than rAF would. And even then, it happens at a bad time
for the browser with regards to style changes.

Instead, use rAF, which typically executes earlier and at the point where the
browser is expecting style changes.

This makes top and bottom modules finish execution earlier by having their
styles applied sooner.

Change-Id: Ie4e7464aa811fa8ea4e4f115696f0bddbd28737b

mw.loader: Make 'mwLoadEnd' less expensive with a single using()

20-30ms before this patch, ~2ms after this patch (MacBookPro, Chrome 52).

The creation of 100s of Deferred objects, $.when() tracking them
all, and bubbling up the completion took 20-30ms. This is quite
expensive. Optimise by using a single deferred first.
A module reaching state 'missing' or 'error' is very rare.

Change-Id: I90eea4bfe8fe6d85c395d9d0868bbde482c4a703

mw.Title: Correct handling of Unicode whitespace and bidi control characters

MediaWiki titles may not contain Unicode bidi control characters, e.g.
U+200E LEFT-TO-RIGHT MARK. They are silently stripped and such a
title is considered valid.

MediaWiki titles may not contain any whitespace other than a regular
space. Most of them are silently replaced with a regular space and
such a title is considered valid, but there are some (e.g. the tab
character) which make the title invalid. I'm not sure if this is an
intentional behavior, but I added a test case to verify it.

Bug: T143759
Change-Id: If8fad1f896027c5d93a62b0785923a39136c6a36

Merge "objectcache: Make SqlBagOStuff::waitForSlaves() no-op without slaves"

objectcache: Make SqlBagOStuff::waitForSlaves() no-op without slaves

Change-Id: Ibaa4745c18c6f4f66edb4c5f190196b575d3b738

Merge "Add more estimation modes to pendingWriteQueryDuration()"

Localisation updates from https://translatewiki.net.

Change-Id: I197f28fb1bb4507234a7f534160f017db2476598

Merge "Expand SessionManager / AuthManager documentation"

Expand SessionManager / AuthManager documentation

Bug: T110628
Bug: T142154
Change-Id: Ib0a41f01b3d12267b2a94ea1375e6d13cacd2b69

Merge "mw.api.messages: Allow passing extra parameters for the API call"

mw.api.messages: Allow passing extra parameters for the API call

Mostly I want to pass `amenableparser: true`.

Bug: T144237
Change-Id: I7e1a52a59a25befe4edb7b4f531d60a2615e8f90

mediawiki.toc: Simplify function toggleToc call

Change-Id: Ib74b217a265cf17acf72cf8b75d5a751531755a0

Merge "mediawiki.toc: Simplify ternary operator"

Merge "MediaWikiServices: Don't assume, that old and new instances contains the same services"

MediaWikiServices: Don't assume, that old and new instances contains the same services

As the services, that are registered in MediaWikiServices can be changed by
extensions using the MediaWikiServices hook, it's not save to assume, that
the first created instance of MediaWikiServices (which could be created before
any extension is loaded, e.g. in ExtensionRegistry) contains the same services
as a later created one (in the reset process of resetGlobalInstance). Doing this
could result in a NoSuchServiceException, if an extension registers new services,
which aren't registered before the extension is loaded (as, in the reset process,
MediaWikiServices tries to minimize the service instantiation cost by preserving
services, that can be preserved).

This patch adds a check, if a service is registered in the MediaWikiServices object
that should be reset, before the salvage-logic tries to fetch the services. If the
service object does not exist, it simply skips it, as it will simply instantiated
later.

Follow up: Ie2ca3ff99aa74fffa9eb6c8faccab857dc0874f7
Follow up: I2a26b6af07a48ad15414a8428daa9cfcfe02e933

Bug: T143974
Change-Id: Ifc587d6138ab565c2f38eb0805acf0dd0473d433

Revert serie of "EditPage: Use context instead of globals"

Reverts:

89cade EditPage: Use context instead of globals (4/4)
27fd110 EditPage: Use context instead of globals (3/4)
afa6307 EditPage: Use context instead of globals (2/4)
f2f8101 EditPage: Use context instead of globals (1/4)

LiquidThreads is still using globals when invoking EditPage. That can be
reproduced by attempting to reply to a message which eventually causes
EditPage::importFormData() to errors out with:

ErrorPageError from includes/EditPage.php:
The content format json is not supported by the content model wikitexte.

Bug: T143889
Change-Id: I593450971e4a4a31c88df49334859508d1fd006c

Revert "EditPage: Use context instead of globals (1/4)"

This reverts commit f2f810181aa4188053da2af94faa6e3bad33d1a3.

Change-Id: Ia0267204522168ba7e74f4a732af12da6113bf69

Revert "EditPage: Use context instead of globals (2/4)"

This reverts commit afa630749a393114a5df0921f75590a8ca189c91.

Change-Id: I721d0ecc5462fd17fd016f83471218a53cd0f75b

Revert "EditPage: Use context instead of globals (3/4)"

This reverts commit 27fd11095213eaf2b3b5d2e21a93b6ee03c3b004.

Change-Id: I23480a49d69fbede292a1d41f1c5e783b6366852

Revert "EditPage: Use context instead of globals (4/4)"

This reverts commit 589cadedf31787e75c9f83b3c4f05c79397dd4cc.

Change-Id: I4022ab93ca9bb3e41f1f563c4e919d8f3e4cb18f

mediawiki.toc: Simplify ternary operator

Change-Id: Ie315fb5c520c44e1f95bd96ec95bb46c09c93b36

Merge "Invalidate cache when page language is changed"

Merge "mw.widgets.CategoryCapsuleItemWidget: Handle titles not normalized in JS code"

Merge "API: Warn when input parameters are normalized"

Merge "API: Use U+001F (Unit Separator) for separating multi-valued parameters"

mw.widgets.CategoryCapsuleItemWidget: Handle titles not normalized in JS code

Bug: T139130
Change-Id: If20941fb381a01aab01b971e1093a53b76c96f66

Add more estimation modes to pendingWriteQueryDuration()

* Use this to exclude some common cases of harmless queries that
  happen to block on row-level locks for a long time. This does
  not apply to UPDATE/DELETE however, due to the ambiguity of
  time spent scanning vs locking.
* Update commitMasterChanges() and JobRunner to use the new
  mode to avoid pointless rollback or lag checks.

Change-Id: Ifc2743f2d8cd109840c45cda5028fbb4df55d231

Merge "Include PRESEND updates in ChronologyProtector positions"

Merge "resourceloader: Create unit tests for ResourceLoaderContext"

Merge "Fixing dry-run logic in updateCollation.php"

Merge "Move some DB error classes with the rest as type DBUnexpectedError"

Merge "LinksUpdate: Add functions returning changed page properties"

resourceloader: Create unit tests for ResourceLoaderContext

* Fix up one last use of global config vars in this class.
  Other places in this class already used $rl->getConfig().
  This way we don't inherit all of MediaWikiTestCase.

* Add unit tests covering all of ResourceLoaderContext
  except expandModuleNames and getImageObj (tested in better
  places already with the right @covers).

* Increase coverage for expandModuleNames(), add missing case
  of when modules are not in alphabetical order.

Change-Id: Id19b084d37a6c3a77b36e03509adffb6b156fee1

LinksUpdate: Add functions returning changed page properties

This adds getAddedProperties and getRemovedProperties functions
to LinksUpdate. They are available only after the update, so for
extensions in the LinksUpdateComplete hook. This is useful for
example if an extension caches a page property; if the property
gets changed it may want to purge the cache.

This is similar to the getAddedLinks and getRemovedLinks
functions.

Change-Id: I0c73b3d181f32502da75687857ae9aeff731f559

Fixing dry-run logic in updateCollation.php

Currently if you run updateCollation.php in dry-run mode, it ignores
the other parameters and doesn't give you a row estimate. Now it
will behave the same as an actual run (just without making any
changes to the database).

Change-Id: I25a9751d8ab7554e7975e5f08122dd1ddaaf40a7

Merge "Make WikiPage::doDeleteArticle more robust"

Move some DB error classes with the rest as type DBUnexpectedError

Change-Id: I97d61d32495e6d88ce274772369390c76d7ff3c4

Make WikiPage::doDeleteArticle more robust

When it becomes impossible to load the content of a page due to some
error or misconfiguration, we still want to be able to delete that
page. This change makes WikiPage::doDeleteArticle more robust by catching
any exceptions that may be thrown while trying to load the page content
during the deletion process.

See T128466 for context.

Change-Id: I19f2d16850a3c1af5b504a70a27b9bf1330bc68d

Merge "Floor slave lag before display"

Merge "resourceloader: Add test coverage for DerivativeResourceLoaderContext"

Merge "Use DB_SLAVE in TemporaryPasswordPrimaryAuthenticationProvider"

database: Clean up profiling code in DatabaseBase

This cuts down on conditionals and ScopedCallback use.

Change-Id: Ie478c613b062e45120cdd626f9fb9de09594c638

resourceloader: Add test coverage for DerivativeResourceLoaderContext

* Re-order method tests to match source class.
* Add @covers.
* Add tests to make coverage 100%.

Change-Id: I46bdb66bc08120a82d44208a39d2dd6b7de18de1

Move HTTP 304 check from performRequest to ViewAction

* Follow-up to 8b141886edebc
* The method is now called after the setCdnMaxage() call
  in performAction.
* Allow any CDN urls for the title now, check $wgDebugToolbar,
  and allows caching redirects. The multi-step redirect case does
  not cache however, for simplicity.
* Removed now-unused code in Article that calculated $timestamp.

Change-Id: Ic4f4e3a79d7d386c2f15ca5b11dddf5c57ff9e9f

Localisation updates from https://translatewiki.net.

Change-Id: I1c626bebfe8884c968a8e76e151496f224f90cea

Merge "mediawiki.api.messages: Fix typo in comments"

mediawiki.api.messages: Fix typo in comments

Change-Id: I2d51a982408f54ea62e38d7b3da99af4b73541c6

Rename EditButtonPublishNotSave to EditSubmitButtonLabelPublish

Per legoktm.

Change-Id: I4fbe54876095378a476399bf5e336c8df3e91e14

Merge "Directly use getSession for specialPreferencesSaveSuccess"

Merge "Fix shutdown() code duplication in LBFactory"

Merge "Remove Block::purgeExpired() call from block query API"