Merge "debug: Disable flaky CeeFormatterTest"

Merge "Sync up with Parsoid parserTests.txt"

Merge "rdbms: add bad mysql table/column codes to wasKnownStatementRollbackError()"

Sync up with Parsoid parserTests.txt

This now aligns with Parsoid commit 94b8b491098f882582f372218df07f5b68f4eba1

Change-Id: I760e73c98109047e20e4c85b97853b9b3f50b090

debug: Disable flaky CeeFormatterTest

Follows-up 667b17a3193f0af0.

Bug: T218688
Change-Id: I70afc5b9c41ae8d593d71f27bc55b424d9de260c

Merge "Revert "Split out new RefreshSecondaryDataUpdate class""

Revert "Split out new RefreshSecondaryDataUpdate class"

This reverts commits a1f7fd3adaa3, 0ef02cd018901.

Bug: T218456
Change-Id: I9bbea3d13460ed44755d77fc61ff23fb906cf71e

Merge "parser: Rename $lastSection to $lastParagraph"

Merge "Revert "Temporarily trim leading/trailing whitespace from parser test clauses""

Merge "parser: Omit outputting newline after final line"

Merge "Remove rollback confirmation user preference"

Merge "parser: Remove trailing newline after prefixes have been cleared"

Merge "Temporarily trim leading/trailing whitespace from parser test clauses"

Remove rollback confirmation user preference

Due to a delay in the rollout of this feature, this part of the code has
to be temporarily removed again to prevent an unused setting from
popping up in the user settings.

Bug: T218556
Change-Id: I0f4e822fc25fddc2bc3c0b55b0792799a1e4c4ba

Merge "Improve RemexStripTagHandler working with tables"

rdbms: add bad mysql table/column codes to wasKnownStatementRollbackError()

Change-Id: I826681ae7582b6f8af09b1d5ed08378532af2556

Merge "Use READ_EXCLUSIVE in SpecialConfirmEmail::attemptConfirm"

Merge "rdbms: document that IDatabase::selectFieldValues() keeps the order"

Merge "Make BagOStuff::incr abstract to discourage bad implementations"

Merge "Define ManualLogEntryBeforePublish hook"

Merge "Replace $wgUser with RequestContext::getUser in User::getBlockedStatus"

Define ManualLogEntryBeforePublish hook

This hook is required by extensions like MobileFrontend to tag
log entries when actions are performed on the mobile web.

There is a possibility to tag log entries by using
'RecentChange_save' hook, but that works only when the log entry
is published to 'rc' or 'rcandudp'. This means, that tagged log
will appear also on the Special:RecentChanges page which is something
what extensions like 'Thanks' wants to avoid.

In the future we should avoid using 'RecentChange_save' as an
indirect way to tag log entries, and use the
'ManualLogEntryBeforePublish' hook instead.

To cover ourselves in the future, instead of passing &$tags only,
we pass the $this (the log entry object) so extensions can perform
additional checks before using setTags().

Bug: T215675
Change-Id: I747eded4bc5406cd5d4676fc93b0bb55c99f9a4d

Replace $wgUser with RequestContext::getUser in User::getBlockedStatus

$wgUser is not guaranteed to exist until MediaWiki has been fully
initialized; block status needs to be checked early on for
authentication-related permission checks.

Bug: T218608
Change-Id: I16315c071855024bc0412d5360c95f843420d9a9

Make BagOStuff::incr abstract to discourage bad implementations

Callers should really use atomic TTL-preserving implementations
so that calling code works correctly. The old default base class
code did not do either.

Change-Id: Icf66db05e48b86c8d481dc08dc9041bd1fa6dbe9

Merge "Make DeferredUpdates enqueue updates that failed to run when possible"

Merge "Provide a Taggable interface"

Provide a Taggable interface

The Taggable interface defines how to tag objects in MediaWiki.
For now there are only two Taggable objects:
 - RecentChange
 - ManualLogEntries

This interface should be used in places where we want to optionally
tag things, for example:
 We want to tag all mobile web actions with 'web mobile edit'.

With that interface, we will be able to expect a Taggable object,
and call `addTags()` when we need to, without having a special check
to verify is it RecentChange, or is it ManualLogEntry. We will only
expect a Taggable object.

Additionally, added @deprecated note to ManualLogEntries::setTags()
as each call to this method will override all previous tags. This
action can be harmfull to parts of code that conditionally add tags.
If object was tagged in some way, we should preserve those tags.

If there are any special cases, where we want to override all tags,
we should provide `resetTags()` method.

Bug: T215675
Change-Id: Ia4c019db8ca6f37ce0f86bf7d134d6f1713daf56

Localisation updates from https://translatewiki.net.

Change-Id: I7dea9fd7d9892ea16a33bf020f22957dbe29549c

Merge "Mixin FlaggedElement to DateTimeInputWidget"

Merge "Urlencode fragments when redirecting after editing"

Mixin FlaggedElement to DateTimeInputWidget

As consequence of Id46ca3b630a9d24bc4790c1aa8c6e15c95ea2e51.

Bug: T218513
Change-Id: Iaf1078971767224119138e47bb175094230c99a2

Urlencode fragments when redirecting after editing

This is a quick fix for the main symptom of the Chrome bug that results in
users being redirected to Special:BadTitle after section editing. We'll
need to discuss a more permanent solution.

Bug: T216029
Change-Id: I4b2d42ebc74031df86bc52310da71819da11c1ae

Merge "Password: update documentation"

Localisation updates from https://translatewiki.net.

Change-Id: I2d4ac09f82c79444730cf9cf0c8f01fc5109b917

Password: update documentation

Change-Id: Ifd7afc48e301a7985c2dd9134a7ea75af9bfeb4b

Merge "Make LinkCache::isCacheable include namespaces like NS_CATEGORY/NS_MODULE"

Merge "Advertise feeds only if $wgFeed is enabled"

runJobs.php output something when the job queue is empty

If the job queue is empty, output "Job queue is empty."

Bug: T187628
Change-Id: I7d0925bd2995526b1a67148096e9543766a62da7

Use READ_EXCLUSIVE in SpecialConfirmEmail::attemptConfirm

Bug: T202149
Change-Id: I9abc9e653dcc0910a5eea1dad56b2432d33d3c44

Advertise feeds only if $wgFeed is enabled

Wikis with $wgFeed=false should not present an Atom icon on the RecentChanges/Watchlist.

Bug: T116145
Change-Id: Ic64f7f5115a77c42ed2b336f6996fe711b3822ba

Merge "RELEASE-NOTES: Make more consistent and useful for sysadmins"

Merge "Various fixes for phan-taint-check"

Merge "ProtectionForm: Follow up on I167ae6300b37d4e9292"

Merge "rdbms: improve database connection loss handling"

RELEASE-NOTES: Make more consistent and useful for sysadmins

* Move the "upgrading" bit further up, and put the notes specific
  to upgrading inside it.
* Word all configuration changes to start with the $wg… – rubric
  so they're easy to spot.
* Be explicit when new configuration options are temporary.
* Split user and developer features. Sysadmin features are what
  the "Configuration changes" section is for, so spell that out.

Change-Id: Id12ced8bb764f2c3945c14799d63c17e2711c6f6

Various fixes for phan-taint-check

Change-Id: I56f42ef2d2e9b4f3c23e1e93d1a4d3db64f16de7

ProtectionForm: Follow up on I167ae6300b37d4e9292

Per code search string "\$this\-\>showLogExtract\( \$ou", method
is only called within the ProtectionForm class so can be safely
made private but there are methods with the same name in a class
like LogEventsList but do different things.

Inspired by @Thiemo's comment on I167ae6300b37d4e9292.

Change-Id: Ic4983ccffecc6285f848d6e926017c4c6df4855f

Code style tweaks

Change-Id: I2c602ba642e5692e6c56817aac89be9058bf5bdb

Make LinkCache::isCacheable include namespaces like NS_CATEGORY/NS_MODULE

Category and module pages are some of the most frequently referenced

Change-Id: I6d29e883883cbea596b287494e75663d09130749

Merge "User: Remove redundant wgClockSkewFudge code"

Merge "Remove wgSitesCacheFile and rebuildSitesCache.php (unused)"

Merge "Localisation updates from https://translatewiki.net."

Merge "Make EditPage::getTemplates avoid page table query spam"

Merge "rdbms: lower the log channel severity of LoadMonitor::getServerStates"

Merge "Remove empty and unnecessary /* @{{ … */ comments"

Merge "Fix WatchedItemStore last-seen stashing logic"

Localisation updates from https://translatewiki.net.

Change-Id: I910aa8cc077a12f2a7ef00f41087f5c3e08ab0d4

User: Remove redundant wgClockSkewFudge code

Ensuring the new value is at least as high as 1 second higher
than the current value is sufficient.

The main code paths using this are checkAndSetTouched (for user group
changes) and saveSettings(), both of which use makeUpdateConditions() which
ensures we bail out if something else already wrote to it in the mean time.
As such, there is no longer a need to make sure our time is higher than
something another server may have written, given that is no longer something
we support.

This variable was introduced in 2005 (MW 1.4) with r9403 (1d12276bcb3),
and factored out as newTouchedTimestamp() in 2007 (MW 1.8)
with r16772 (c1094ba9876).

Change-Id: I940fb0dd125286a4a348c11e2c8d197f9288a75d

Remove wgSitesCacheFile and rebuildSitesCache.php (unused)

This seems to have been intended as optimization for SiteStore,
but was never used as far as I can tell. Instead, SiteStore is
already cached via LocalServerCache (APC).

Keep the FileBasedSiteLookup class for one release cycle in case
third parties not indexed by MediaWiki Codesearch are using it.

== History

* 2013: Report of high memcached usage by Wikibase via SiteStore.
* 2014: Lazy-load the data in Wikibase (d3f2e99cb6).
* 2014: Implement the file-based cache (via T47532 and 90f6efc360fd5).
* 2015: Use local-server cache (APC), per T58602.

The file-based code was never used. The related task marked
invalid (T47532).

Change-Id: I8e2d9edcf3880149f824cc3de37793ca57435b49

parser: Rename $lastSection to $lastParagraph

This now at least matches the function names even though what's actually
meant is more like 'block-level tag'.  Section is a poor choice of name
since there're wikitext sections unrelated to this.

Change-Id: Ic83aff4d862800b778441c28884194480b7e7d96

Make DeferredUpdates enqueue updates that failed to run when possible

Bug: T206288
Bug: T206283
Change-Id: I6025bcc7d68cf214d291191d4044a66cdeff108b

Merge "deferred: Remove deprecated CdnCacheUpdate::newSimplePurge"

rdbms: document that IDatabase::selectFieldValues() keeps the order

Change-Id: I068a938121949509fd3bf95047dffbaec41c5854

Revert "Temporarily trim leading/trailing whitespace from parser test clauses"

This reverts commit 0363dbf98e6b71e92d439e0e2020bb388cc2aea2, since
T208070 is now merged.

Bug: T208070
Depends-On: I05511aee275238954f22db78616b19ce10cd6490
Depends-On: I120ca25a77b7b933de4afddd1d458e36a95e26da
Depends-On: I47d1d9620031036b9497cacf70b34a45c3e5f409
Depends-On: I6119b4af9632496dbda81c3a3951c55217e7c2d5
Depends-On: I584f74e2ba0d14c2975fb43cc53c5e26080e6fc7
Depends-On: Ie70e1915c172d2d67b3b8b90eb35f753b800f61e
Depends-On: I74953d5de765a2245a2999f17c7ae1cf49376bd1
Change-Id: I63f60b2e8beea9dde883c4ad65d0bd4411f93e70

parser: Omit outputting newline after final line

Bug: T208070
Depends-On: I47d1d9620031036b9497cacf70b34a45c3e5f409
Depends-On: I6119b4af9632496dbda81c3a3951c55217e7c2d5
Depends-On: I584f74e2ba0d14c2975fb43cc53c5e26080e6fc7
Depends-On: Ie70e1915c172d2d67b3b8b90eb35f753b800f61e
Change-Id: I120ca25a77b7b933de4afddd1d458e36a95e26da

parser: Remove trailing newline after prefixes have been cleared

Bug: T208070
Depends-On: I74953d5de765a2245a2999f17c7ae1cf49376bd1
Change-Id: I05511aee275238954f22db78616b19ce10cd6490

Temporarily trim leading/trailing whitespace from parser test clauses

This allows us to break a circular dependency in the patches for T208070.
It will be reverted as soon as T208070 is merged.

Bug: T208070
Change-Id: I3da235cb83efa424f0cf1cf4fc7233240fcdf6b2

Split out new RefreshSecondaryDataUpdate class

Make DerivedPageDataUpdater bundle all the related DataUpdate tasks
on page change with a RefreshSecondaryDataUpdate wrapper. If one of
the DataUpdate tasks fails, then the entire bundle of updates can be
re-run in the form of enqueueing a RefreshLinksJob instance (these
jobs are idempotent). If several of the bundled tasks fail, it is easy
for DeferredUpdates to know that only one RefreshLinksJob should be
enqueued.

The goal is to make DataUpdate tasks more reliable and resilient.
Most of these deferred update failures are due to ephemeral problems
like lock contention. Since the job queue is already able to reliably
store and retry jobs, and the time that a regular web request can spend
in post-send is more limited, it makes the most sense to just enqueue
tasks as jobs if they fail post-send.

Make LinkUpdate no longer defined as enqueueable as RefreshLinksJob
since they are not very congruent (LinksUpdate only does some of the
work that RefreshLinksJob does). Only the wrapper, with the bundle of
DataUpdate instances, is congruent to RefreshLinksJob.

This change does not itself implement the enqueue-on-failure logic
in DeferredUpdates, but is merely a prerequisite.

Bug: T206288
Change-Id: I191103c1aeff4c9fedbf524ee387dad9bdf5fab8

Remove empty and unnecessary /* @{{ … */ comments

This was the only comment I could find that uses two curly brackets
for some reason. There are a few more with one curly bracket.

Change-Id: Iaed631916064e6be4895edd4c7a3d7de491e16c2

Merge "Add /** @var SplFileInfo $fileInfo */ docs where needed"

Merge "Fix ChangeTagsTest failing on Postgres"

Make EditPage::getTemplates avoid page table query spam

This changes TemplatesOnThisPageFormatter to use LinkBatch
and LinkBatch/LinkCache to manage the field.

Change-Id: I523158cdffc599d4d29bab91c98e55085130cee2

Fix ChangeTagsTest failing on Postgres

The order of elements returned by the SELECT is not guaranteed. But the
assertEquals() can't know this. It does not know how to identify the two
objects, other than by their array index.

Using assertArrayEquals() would fix this. But I honestly don't like this
helper method. It is expensive, for example. So I went for an ORDER BY.

An example for this failure can be seen here:
https://integration.wikimedia.org/ci/job/mediawiki-quibble-vendor-postgres-php70-docker/2484/console

Change-Id: I284d13d21b9bc34270307e78430180d94fc6665e

rdbms: lower the log channel severity of LoadMonitor::getServerStates

Change-Id: If42e3973c3a4ce5baff628befd58d4b7b3a2909b

rdbms: improve database connection loss handling

Avoid throwing errors in Database::replaceLostConnection()

Bug: T218226
Change-Id: Id07f305816c61f62aaf1ae893f5d37c03c865f46

Merge "rdbms: make Database::query() more readable and consistent"

deferred: Remove deprecated CdnCacheUpdate::newSimplePurge

Change-Id: I4ad7429b5253b5f2d38b9380d55acf42e34e21ba

Merge "objectcache: make BagOStuff::add() abstract to discourage non-atomic versions"

Merge "objectcache: make the BagOStuff::add() operation more atomic for WinCache"

Merge "objectcache: make the BagOStuff::add() operation more atomic for APC"

Merge "objectcache: add BagOStuff::deleteMulti() method for consistency"

objectcache: make BagOStuff::add() abstract to discourage non-atomic versions

Change-Id: If3c3fbf21207b0c74cad8a29fa5bbabe0af896e3

objectcache: make the BagOStuff::add() operation more atomic for WinCache

Change-Id: I285ed9a7d0894adfe29b0bdc106b7518f655ba45

objectcache: make the BagOStuff::add() operation more atomic for APC

Change-Id: Ifb72b1c17439c80e6d431d5fe2ec9ad9437e3ad7

Merge "user: Avoid page_touched update in User::saveSettings"

Merge "Deprecate Profiler::profileIn and Profiler::profileOut stubs"

Merge "filebackend: change "profiler" parameter in FileBackend so it works again"

Merge "rdbms: change "profiler" argument in Database::factory so it works again"

user: Avoid page_touched update in User::saveSettings

This was added in r42179 (65bbc147836aa) and only CDN and object caches
need purging.

Change-Id: I7ca40f8eda15ffeac3aa21aa4445b993d9fcc131

objectcache: add BagOStuff::deleteMulti() method for consistency

Also:
* Make the BagOStuff tests actually pass for memcached and sql
* Add more unit tests for BagOStuff
* Make SqlBagOStuff::add() more atomic

Change-Id: Ic1eec0990a66b595b57c646498c3bd229442230c

rdbms: make Database::query() more readable and consistent

Mainly:
* Stash trxLevel as the variable $priorTransaction since
  Database::replaceLostConnection might make it 0 when called.
* Factor out Database::beginIfImplied method and call it on
  each query attempt of query(), not just the first one.
* Do not bother setting STATUS_TRX_ERROR if a query fails due to
  connection issues and was recoverable since requiring ROLLBACK
  in order to continue has no real advantage.
* Do not bother setting trxDoneWrites/lastWriteTime for temporary
  table operations.
* Make Database::handleTransactionLoss() keep TransactionProfiler
  cleaner by calling Database::transactionWritingOut().

Also:
* Make sure Database::wasKnownStatementRollbackError() calls are
  right after the corresponding queries so it is easy to follow.
  Having connection attempts in between seems fragile.
* Rename Database::doProfiledQuery => Database::attemptQuery and
  move more logic to that method.
* Factor out Database::assertNeitherReplicaNorReadOnly method.
* Rename Database::assertOpen => Database::assertHasConnectionHandle.
* Fix wording of Database::wasKnownStatementRollbackError comments.
* Use $isEffectiveWrite variable name instead of $isNonTempWrite
  and $isWrite in some places.

Bug: T218226
Change-Id: I2063e4080b41d5fc504f9207a56312ce92130ed7

Deprecate Profiler::profileIn and Profiler::profileOut stubs

Change-Id: I2a8764d2464883e9fe66048e97b688c5a76d595a

filebackend: change "profiler" parameter in FileBackend so it works again

The Profiler::profileIn and Profiler::profileOut methods are just stubs.
Use a callback to the Profile::scopedProfileIn method instead.

Change-Id: I7b493c145357994f61faebfbe3f65d38d2e6da42

rdbms: change "profiler" argument in Database::factory so it works again

The Profiler::profileIn and Profiler::profileOut methods are just stubs.
Use a callback to the Profiler::scopedProfileIn method instead.

Change-Id: I16068bce583bb880250fe91235f2283453be5e4c

Merge "Avoid using outdated $casToken field for BagOStuff calls"

Merge "Avoid sending duplicate ProfilerOutputText comments/html"

Merge "rdbms: make query exceptions include the backtrace when logged"

Merge "rdbms: clarify $uniqueIndexes argument to replace()/upsert()"

Fix WatchedItemStore last-seen stashing logic

This should be the "last revision seen" timestamp, which is
different than the "first revision not seen" timestamp in the DB.

Also make sure that SpecialWatchlist accounts for the stash values.

Relatedly, better document the callback usage in BagOStuff::merge().

Change-Id: I98b03a5cd40fec5b4a2633d499ff77079d264e3c

Localisation updates from https://translatewiki.net.

Change-Id: I2157943a62f159425a99eb7a577658b813681678