Merge "BlockLevelPass: further fixes for T218817"

Avoid counting input lines twice in BlockLevelPass::execute()

In T208070 / I120ca25a77b7b933de4afddd1d458e36a95e26da we added a
check whether we were processing the last line of input, in order
to avoid emitting extra trailing newlines.  But if the number of
input lines is large, StringUtils::explode() will return an
iterator which doesn't implement Countable for efficiency.
I22eebb70af1b19d7c25241fc78bfcced4470e78a fixed this, but at the
cost of scanning the string twice: once just to count the number
of newlines before we begin to iterate over the lines.

This patch uses Iterator::valid() to determine if we're on the
last iteration without having to scan the string twice.

Bug: T208070
Bug: T218817
Change-Id: I41a45266d266195aa6002d3854e018cacf052ca6

BlockLevelPass: further fixes for T218817

The previous fix for T218817 (I22eebb70af1b19d7c25241fc78bfcced4470e78a)
was a bit premature: we didn't notice that ExplodeIterator *also*
used a different Iterator::key() than ArrayIterator -- it used
the string position as a key, not the line number.  Combined with
an inequality test for "not the last line" meant that almost every
line was now the "last line" and we were missing a lot of needed
newlines.

Count the lines ourselves to fix the problem.

Bug: T208070
Bug: T218817
Change-Id: I55a2c4c0ec304292162c51aa88b206fea0142392

Validate the output of the dump scripts.

This introduces XML schema validation into the unit tests for
the backup dump scripts. This is intended to ensure that the
output keeps conforming to the schema when updating XmlDumpWriter
and friends to support newer schema versions.

Bug: T174031
Change-Id: Iafa8cb8ba5b3684a08172e92974edaf0482f19b7

Merge "Localisation updates from https://translatewiki.net."

objectcache: convert APC and hash BagOStuff to using mergeViaCas()

This way, the $attempts parameter to merge() is respected and locks
are not held while possibly slow callbacks might run.

Also renamed confusingly named serialization functions in HashBagOStuff.

Change-Id: Id031d82e0a7c941936f04d2cdf590a6296777cf8

Localisation updates from https://translatewiki.net.

Change-Id: I213ca5e0b1b5fc1bfb666d1246086b3ed5f2866b

parser: Count occurrences of newlines

StringUtils::explode() returns an ExplodeIterator if the number of
separators is too high, which doesn't implement count.

So count the way that explode does.

Bug: T218817
Change-Id: I22eebb70af1b19d7c25241fc78bfcced4470e78a

Merge "context: Cleanup is_null() checks and irrelevant else code paths"

objectcache: optimize merge()/incr() for WinCacheBagOStuff

Do not hold WinCache locks during merge() callbacks, as that
could be seconds of being blocked (and some callers do not
expect indefinite blocking). Make merge() use the CAS method
which only uses wincache_lock() after callback runs in very
tight getWithToken()/set() cycle.

Make incr() use wincache_lock() since it also is very tight
doGet()/set() cycle with negligable work in between.

Change-Id: I0dde6f62c7e3d4a802470c181570ad4353d0e6ea

collation: Use `self` to reference same class instead of class name

With the use of `self`, even if the class name is changed (which is
very unlikely), then the code won't break. So it's a way of future
proofing the code.

Change-Id: Ib4046315b8aaee2e77af036893924962d25ceeb1

context: Cleanup is_null() checks and irrelevant else code paths

This class specifically has these 2 things in many cases and converts
into the use of a tenary operations.

Quoting @Thiemo_WMDE from Gerrit comment: "The ?: operator will skip
empty arrays, empty strings, as well as the string "0". But this is
not a problem here because the properties under test are all objects.
Objects are always considered true in PHP."

Sample change can be seen below as, from;
```
if ( !is_null( $this->skin )) {
    return $this->skin;
} else {
    return $this->getContext()->getSkin();
}

```

to

```
return $this->skin ?: $this->getContext()->getSkin();
```

Change-Id: I377b118d86a24c7bcb15512f6714e6201a3e36ee

Merge "db: Remove property assignment overriden by constructor"

Merge "objectcache: make BagOStuff::changeTTL() more atomic"

db: Use brackets `()` in operation for better readability

Wrap the expression into () to improve readability of the code.

Change-Id: Id53ea4709a7601fd1354833a44bd652570c733e6

db: Remove property assignment overriden by constructor

As these class properties are overriden by the class constructor,
we can safely remove them. In addition, remove a useless "/" in a
PHPDoc.

Change-Id: I9cecfc8a0e5b58c931ee32c7465c064a9add1a77

objectcache: make BagOStuff::changeTTL() more atomic

Change-Id: I86493498ef3359046b12d51795cf7875af6c3a6c

Fix phpstorm IDEA errors in SkinTemplate

Change-Id: Icf2f80f7b1aade61cd0c766113efecae3baf4bd5

Merge "storage: Fix typo in NameTableStore::purgeWANCache comments"

Add support for Element Timing API

https://github.com/WICG/element-timing

Bug: T216598
Change-Id: Ieda41f5074784957760c17dc15f7c891e56b6795

Fix typo in McrSchemaOverride

Change-Id: Ifedb6276d9b4188e2aacacf38bf608f7ea36201b

Fix fatal due to lock name mismatch in Maintenance::unlockSearchindex

Change-Id: Id18c0c8eb20c215ba7421e087b721ac7dc57227a

Merge "Fix selectRow() parameters in PopulateCategory"

Merge "Make BackupDumper MCR compatible (main slot only)"

Merge "Move the "v1" to an adjacent key component in Title::loadRestrictions"

storage: Fix typo in NameTableStore::purgeWANCache comments

Change-Id: Icdea7422cdb110877bb8991896e6ab8a83b02858

Merge "Replace 'TablePager' CSS class exclusively by `mw-datatable`"

Move the "v1" to an adjacent key component in Title::loadRestrictions

This keeps the WAN cache statsd metrics under page-restrictions as before

Change-Id: I30b716cbc362c98f09ba77a4b3f68a821d966d44

Improve Caching in Title::loadRestrictions()

Change-Id: I9a7edf6fc7d0bb0f4129fe13323964e9fae791f3

Localisation updates from https://translatewiki.net.

Change-Id: I1b714edba904187e6b39f9e26f54b40f567453e7

Merge "jquery.tablesorter: Never initialize twice on the same element"

Merge "Remove block cookie stats measurement implementation"

rdbms: make LBFactory::setLocalDomainPrefix preserve the schema

This avoids possible tests failures due to mismatched DB domain

Change-Id: Ic276d4f4567ce76ab395b6f7215242e84321f3bd

jquery.tablesorter: Never initialize twice on the same element

Change-Id: I06725e62b2ee95e2d1d37348a633f9cbc156318d

Fix selectRow() parameters in PopulateCategory

Change-Id: Ib538657d5db889cd7c8a9ae694c60e92e13584f5

Merge "Remove many references to db fields being retired as part of MCR Schema Migration"

Merge "debug: Disable flaky CeeFormatterTest"

Merge "Sync up with Parsoid parserTests.txt"

Remove many references to db fields being retired as part of MCR Schema Migration

Remove many references to database fields rev_text_id and ar_text_id,
which are being retired as part of MCR Schema Migration.
Some references remain, and will be removed under other patchsets
or other tasks.

Bug: T198341
Change-Id: Id044b8dcd7c9d09d5d6037eb732f6a105933f516

Merge "rdbms: add bad mysql table/column codes to wasKnownStatementRollbackError()"

Sync up with Parsoid parserTests.txt

This now aligns with Parsoid commit 94b8b491098f882582f372218df07f5b68f4eba1

Change-Id: I760e73c98109047e20e4c85b97853b9b3f50b090

debug: Disable flaky CeeFormatterTest

Follows-up 667b17a3193f0af0.

Bug: T218688
Change-Id: I70afc5b9c41ae8d593d71f27bc55b424d9de260c

Remove block cookie stats measurement implementation

When setting a cookie on IP blocks was rolled out we wanted to
add some form of measurement to keep an eye on it. This patch is
removing that implementation 'cause it is not needed anymore.

Bug: T218596
Change-Id: I33ee164157b539560a3d88c6f3018dc013218640

Merge "Revert "Split out new RefreshSecondaryDataUpdate class""

Revert "Split out new RefreshSecondaryDataUpdate class"

This reverts commits a1f7fd3adaa3, 0ef02cd018901.

Bug: T218456
Change-Id: I9bbea3d13460ed44755d77fc61ff23fb906cf71e

Merge "parser: Rename $lastSection to $lastParagraph"

Merge "Revert "Temporarily trim leading/trailing whitespace from parser test clauses""

Merge "parser: Omit outputting newline after final line"

Merge "Remove rollback confirmation user preference"

Merge "parser: Remove trailing newline after prefixes have been cleared"

Merge "Temporarily trim leading/trailing whitespace from parser test clauses"

Remove rollback confirmation user preference

Due to a delay in the rollout of this feature, this part of the code has
to be temporarily removed again to prevent an unused setting from
popping up in the user settings.

Bug: T218556
Change-Id: I0f4e822fc25fddc2bc3c0b55b0792799a1e4c4ba

Merge "Improve RemexStripTagHandler working with tables"

rdbms: add bad mysql table/column codes to wasKnownStatementRollbackError()

Change-Id: I826681ae7582b6f8af09b1d5ed08378532af2556

Merge "Use READ_EXCLUSIVE in SpecialConfirmEmail::attemptConfirm"

Merge "rdbms: document that IDatabase::selectFieldValues() keeps the order"

Merge "Make BagOStuff::incr abstract to discourage bad implementations"

Merge "Define ManualLogEntryBeforePublish hook"

Merge "Replace $wgUser with RequestContext::getUser in User::getBlockedStatus"

Define ManualLogEntryBeforePublish hook

This hook is required by extensions like MobileFrontend to tag
log entries when actions are performed on the mobile web.

There is a possibility to tag log entries by using
'RecentChange_save' hook, but that works only when the log entry
is published to 'rc' or 'rcandudp'. This means, that tagged log
will appear also on the Special:RecentChanges page which is something
what extensions like 'Thanks' wants to avoid.

In the future we should avoid using 'RecentChange_save' as an
indirect way to tag log entries, and use the
'ManualLogEntryBeforePublish' hook instead.

To cover ourselves in the future, instead of passing &$tags only,
we pass the $this (the log entry object) so extensions can perform
additional checks before using setTags().

Bug: T215675
Change-Id: I747eded4bc5406cd5d4676fc93b0bb55c99f9a4d

Replace $wgUser with RequestContext::getUser in User::getBlockedStatus

$wgUser is not guaranteed to exist until MediaWiki has been fully
initialized; block status needs to be checked early on for
authentication-related permission checks.

Bug: T218608
Change-Id: I16315c071855024bc0412d5360c95f843420d9a9

Make BagOStuff::incr abstract to discourage bad implementations

Callers should really use atomic TTL-preserving implementations
so that calling code works correctly. The old default base class
code did not do either.

Change-Id: Icf66db05e48b86c8d481dc08dc9041bd1fa6dbe9

Merge "Make DeferredUpdates enqueue updates that failed to run when possible"

Merge "Provide a Taggable interface"

Provide a Taggable interface

The Taggable interface defines how to tag objects in MediaWiki.
For now there are only two Taggable objects:
 - RecentChange
 - ManualLogEntries

This interface should be used in places where we want to optionally
tag things, for example:
 We want to tag all mobile web actions with 'web mobile edit'.

With that interface, we will be able to expect a Taggable object,
and call `addTags()` when we need to, without having a special check
to verify is it RecentChange, or is it ManualLogEntry. We will only
expect a Taggable object.

Additionally, added @deprecated note to ManualLogEntries::setTags()
as each call to this method will override all previous tags. This
action can be harmfull to parts of code that conditionally add tags.
If object was tagged in some way, we should preserve those tags.

If there are any special cases, where we want to override all tags,
we should provide `resetTags()` method.

Bug: T215675
Change-Id: Ia4c019db8ca6f37ce0f86bf7d134d6f1713daf56

Localisation updates from https://translatewiki.net.

Change-Id: I7dea9fd7d9892ea16a33bf020f22957dbe29549c

Merge "Mixin FlaggedElement to DateTimeInputWidget"

Merge "Urlencode fragments when redirecting after editing"

Add optional jQuery event delegates in Confirmable

Since we want to use the Confirmable on pages with dynamic content
(RecentChanges for example), we need to add support for event
delegation to confirmables, as this is the most reliable way to attach
the event to new elements on the page.

As a side effect, it should also improve performance since it
reduces the amount of event handlers needed for our use case.

Bug: T218354
Change-Id: I22bea39c371d329b40b76ebadc9b74e6d06bfe13

Mixin FlaggedElement to DateTimeInputWidget

As consequence of Id46ca3b630a9d24bc4790c1aa8c6e15c95ea2e51.

Bug: T218513
Change-Id: Iaf1078971767224119138e47bb175094230c99a2

Urlencode fragments when redirecting after editing

This is a quick fix for the main symptom of the Chrome bug that results in
users being redirected to Special:BadTitle after section editing. We'll
need to discuss a more permanent solution.

Bug: T216029
Change-Id: I4b2d42ebc74031df86bc52310da71819da11c1ae

Merge "Password: update documentation"

Localisation updates from https://translatewiki.net.

Change-Id: I2d4ac09f82c79444730cf9cf0c8f01fc5109b917

Password: update documentation

Change-Id: Ifd7afc48e301a7985c2dd9134a7ea75af9bfeb4b

Merge "Make LinkCache::isCacheable include namespaces like NS_CATEGORY/NS_MODULE"

Merge "Advertise feeds only if $wgFeed is enabled"

runJobs.php output something when the job queue is empty

If the job queue is empty, output "Job queue is empty."

Bug: T187628
Change-Id: I7d0925bd2995526b1a67148096e9543766a62da7

Use READ_EXCLUSIVE in SpecialConfirmEmail::attemptConfirm

Bug: T202149
Change-Id: I9abc9e653dcc0910a5eea1dad56b2432d33d3c44

Advertise feeds only if $wgFeed is enabled

Wikis with $wgFeed=false should not present an Atom icon on the RecentChanges/Watchlist.

Bug: T116145
Change-Id: Ic64f7f5115a77c42ed2b336f6996fe711b3822ba

Merge "RELEASE-NOTES: Make more consistent and useful for sysadmins"

Merge "Various fixes for phan-taint-check"

Merge "ProtectionForm: Follow up on I167ae6300b37d4e9292"

Merge "rdbms: improve database connection loss handling"

RELEASE-NOTES: Make more consistent and useful for sysadmins

* Move the "upgrading" bit further up, and put the notes specific
  to upgrading inside it.
* Word all configuration changes to start with the $wg… – rubric
  so they're easy to spot.
* Be explicit when new configuration options are temporary.
* Split user and developer features. Sysadmin features are what
  the "Configuration changes" section is for, so spell that out.

Change-Id: Id12ced8bb764f2c3945c14799d63c17e2711c6f6

Various fixes for phan-taint-check

Change-Id: I56f42ef2d2e9b4f3c23e1e93d1a4d3db64f16de7

ProtectionForm: Follow up on I167ae6300b37d4e9292

Per code search string "\$this\-\>showLogExtract\( \$ou", method
is only called within the ProtectionForm class so can be safely
made private but there are methods with the same name in a class
like LogEventsList but do different things.

Inspired by @Thiemo's comment on I167ae6300b37d4e9292.

Change-Id: Ic4983ccffecc6285f848d6e926017c4c6df4855f

Code style tweaks

Change-Id: I2c602ba642e5692e6c56817aac89be9058bf5bdb

Make LinkCache::isCacheable include namespaces like NS_CATEGORY/NS_MODULE

Category and module pages are some of the most frequently referenced

Change-Id: I6d29e883883cbea596b287494e75663d09130749

Merge "User: Remove redundant wgClockSkewFudge code"

Merge "Remove wgSitesCacheFile and rebuildSitesCache.php (unused)"

Merge "Localisation updates from https://translatewiki.net."

Merge "Make EditPage::getTemplates avoid page table query spam"

Merge "rdbms: lower the log channel severity of LoadMonitor::getServerStates"

Merge "Remove empty and unnecessary /* @{{ … */ comments"

Merge "Fix WatchedItemStore last-seen stashing logic"

Localisation updates from https://translatewiki.net.

Change-Id: I910aa8cc077a12f2a7ef00f41087f5c3e08ab0d4

Correct API documentation for action=parse&prop=headhtml

The documentation stated that action=parse&prop=headhtml gives the
<head> element of the page, yet it returns the doctype, opening <html>,
<head> element, and opening <body> tag.

Bug: T139567
Change-Id: I864d53239c8f00a7e524d8ffb659f02dae957b03

User: Remove redundant wgClockSkewFudge code

Ensuring the new value is at least as high as 1 second higher
than the current value is sufficient.

The main code paths using this are checkAndSetTouched (for user group
changes) and saveSettings(), both of which use makeUpdateConditions() which
ensures we bail out if something else already wrote to it in the mean time.
As such, there is no longer a need to make sure our time is higher than
something another server may have written, given that is no longer something
we support.

This variable was introduced in 2005 (MW 1.4) with r9403 (1d12276bcb3),
and factored out as newTouchedTimestamp() in 2007 (MW 1.8)
with r16772 (c1094ba9876).

Change-Id: I940fb0dd125286a4a348c11e2c8d197f9288a75d

Remove wgSitesCacheFile and rebuildSitesCache.php (unused)

This seems to have been intended as optimization for SiteStore,
but was never used as far as I can tell. Instead, SiteStore is
already cached via LocalServerCache (APC).

Keep the FileBasedSiteLookup class for one release cycle in case
third parties not indexed by MediaWiki Codesearch are using it.

== History

* 2013: Report of high memcached usage by Wikibase via SiteStore.
* 2014: Lazy-load the data in Wikibase (d3f2e99cb6).
* 2014: Implement the file-based cache (via T47532 and 90f6efc360fd5).
* 2015: Use local-server cache (APC), per T58602.

The file-based code was never used. The related task marked
invalid (T47532).

Change-Id: I8e2d9edcf3880149f824cc3de37793ca57435b49

parser: Rename $lastSection to $lastParagraph

This now at least matches the function names even though what's actually
meant is more like 'block-level tag'.  Section is a poor choice of name
since there're wikitext sections unrelated to this.

Change-Id: Ic83aff4d862800b778441c28884194480b7e7d96