Merge "Remove paranoid title check from RefreshLinksJob::runForTitle"

Merge "Install link to Manual:Combating_spam on the home page"

ObjectFactory: avoid using ReflectionClass

Add a new ObjectFactory::constructClassInstance() method that uses
a loop unrolling type of technique to avoid using ReflectionClass when
creating new class instances with 10 or fewer constructor arguments.

I really wanted to also include the use of PHP 5.6's `...` splat
operator when supported but there is no way to conditionally use a new
operator in a way that still allows older versions of PHP to parse the
same source file.

Bug: T115729
Change-Id: Ia29c4526f4bac51696654c9b0677cb3f70359966

Merge "Fix bogus calls to encodeKey/decodeKey in the PHP memcached class"

objectcache: Remove outdated comment about back-compat defaults

Follows-up 0dd27b1da9e.

Change-Id: Ic21b02d93d6047eb4713dfec3cbb2fff4d51fdff

Fix bogus calls to encodeKey/decodeKey in the PHP memcached class

* Follow up to cdb543272883b180
* These are no longer needed

Change-Id: Id41c3aae50a13f3c53f2bbd9662027b36a1f4142

Merge "Move some memcached classes to /libs"

Move some memcached classes to /libs

Also removed a few MW dependencies from MemcachedPeclBagOStuff.
It still uses an IP class method, so it has to stay for now.

Change-Id: I8c5c83046c58fb58091d6ce11b2385208262460f

Validate status codes returned from the AbortLogin hook

In case of a return value which is not in LoginForm::$statusCodes,
this results in a nicer error message instead of an array access error.

Bug: T109193
Change-Id: I64c955327c7dfc64807fa83d30538f3da66618bc

Merge "Remove some MW dependencies from RedisConnectionPool"

Move MemcachedBagOStuff b/c logic to ObjectCache

Change-Id: Iedb173b00d543237b3e7560b8079b8d488e00d80

Remove some MW dependencies from RedisConnectionPool

Change-Id: I41ee08d8c6df14ef5994ea8dd2ee61eb220941e3

Merge "Make DBReadOnlyError extend DBExpectedError"

Merge "Move MultiWriteBagOStuff to /libs"

Make DBReadOnlyError extend DBExpectedError

This makes the output formatting a bit prettier

Change-Id: I5d5c5a421326029323ef367feac70179ecb2d9e1

Move MultiWriteBagOStuff to /libs

Also moved related tests files to /libs.

Change-Id: I806eeaa30205733d497adde933baf0c4157f7aae

Merge "Minor fix to primeFileCache() comment"

Merge "Provide some default $wgRateLimits values"

Provide some default $wgRateLimits values

* This provides some minimal out-of-the-box protection.
* These mostly are the values used by WMF in mediawiki-config

Change-Id: Ie510ca9314e151f9c0ad0705d096fe2bb749a59d

Merge "Fixes to MemcachedBagOStuff::makeKeyInternal()"

Add wfWaitForSlaves() to HTMLCacheUpdateJob

Change-Id: Iabf3d01f15b36bcb51e7fd8512404df2a3aedf35

Fixes to MemcachedBagOStuff::makeKeyInternal()

* Follow-up to 0c9fb12265e2
* Make sure colons actually get escaped
* Added more unit tests
* Also fixed the test actual/expected order

Change-Id: Ie04ea6059ee1eb6d1da8f30fefdec52fa49d38fb

Merge "Web installer should not pollute global namespace with session variables"

Remove paranoid title check from RefreshLinksJob::runForTitle

Change-Id: Ie2b875dcb394e9cf20818a26d245684933765baf

Escape colons in BagOStuff key segments

For the sake of safety and correctness, the following BagOStuff::makeKey()
invocations should return distinct keys:

   $cache->makeKey( 'ab:', 'cd' );
   $cache->makeKey( 'ab', ':cd' );

That is not currently the case, because while we use ':' as a key path
separator, we don't escape ':' in the input supplied to makeKey(). So, make
BagOStuff::makeKeyInternal() URL-encode colons.

To prevent this from messing up the max. key length calculations, reproduce
this logic in MemcachedBagOStuff::makeKeyInternal(), in lieu of having the
method call its parent.

Change-Id: I83ea7e7336a1c9e64aa42284c2517089a736efe5

Ensure all key transformations are applied by BagOStuff::makeKeyInternal()

Currently we have to undo any transformations we apply to keys in getMulti() by
iterating over the response array keys reversing any changes. This is hairy and
complicated. So --

* Replace calls to MemcachedBagOStuff::encodeKey() with calls to a new method,
  MemcachedBagOStuff::validateKeyEncoding(). The new method only validates that
  the key is compatible with memcached. If it is not, it throws an exception.
  If it is, it returns the key unmodified.

* Remove MemcachedBagOStuff::{encode,decode}Key(), since they no longer serve a
  purpose, and have no callers.

Change-Id: If3e20c6a1a1b42fc1f2823aa660328e37c26eccb

Minor fix to primeFileCache() comment

Change-Id: I7d040c5a914574df72fa31612df0eb28e15fd46c

Web installer should not pollute global namespace with session variables

There is no need to store session variables
(that also include user-supplied arguments)
as $wgXXX global variables.

Bug: T116375
Change-Id: I880d4299566beaf99ed1fc21c690cdda64149b0e

Merge "Improve normalization and sanitization of memcached keys"

Install link to Manual:Combating_spam on the home page

Bug: T85327
Change-Id: I2bfe8b1489f748df2d24946d7c49b97d5cbf921e

Improve normalization and sanitization of memcached keys

The motivation for this patch came from seeing the following error in the
memcached log:

  memcached ERROR: Memcached error for key "flowdb:flow_ref:wiki:by-source:\
   v3:0:tawikinews:பூமிக்கு_அச்சுறுத்தலான_சிறுகோள்களைக்_கண்டுபிடிக்கும்_முயற்சியில்_தனியார்_நிறுவன0jம்:4.7" \
   on server ":": A BAD KEY WAS PROVIDED/CHARACTERS OUT OF RANGE

I submitted a fix to Flow in I26e531f6, but I noticed that AbuseFilter had a
similar issue (fixed by Aaron in I27b51a4b), so I started thinking about how
to solve this more generally:

* The regular expression we current use to sanitize keys does not cover
  characters outside the ASCII range, but such characters can be illegal
  if one of their constituent bytes (when taken by itself) is an ASCII
  control character. So change the regular expression to cover any and all
  characters that fall outside the range \x22-\x7e (and '#' -- see below).

* Enforce a key length limit of 255 bytes, which is the maximum length
  permitted by the memcached protocol. The Tamil segment in the key above is 84
  characters, but 233 bytes in UTF-8, which become 684 characters when
  URL-encoded. To fix this, try to shrink any segment that would push the total
  key length over the limit by md5()ing it. If the end result is *still* over
  the limit (this would happen if, for example, $args consists of many short
  strings), then concatenate all args together and MD5 them.

* MD5'd arguments are prefixed with '#'. Any "organic" '#'s in the key segments
  are URL-encoded.

Change-Id: Ia46987d3b0a09bb6b1952abd936d4c72ea7c56a0

Merge "installer: Define $wgResourceBasePath in LocalSettings.php"

Merge "poolcounter: Add 'trigger' field to the slow-parse log"

installer: Define $wgResourceBasePath in LocalSettings.php

Bug: T116374
Bug: T75031
Change-Id: I459c1097ed7048c3fe24e636e9ea22ec2e3b2675

poolcounter: Add 'trigger' field to the slow-parse log

To better indicate that these are only triggered by page views.

We don't currently have any slow-parse logging for the parser
invocation that happens during save (which means we're potentially
missing lots of them).

Once we add that, this will help distinguish them.

Bug: T110760
Change-Id: I22be5684ef93efd410d683637e223f770d6c768c

Merge "Remove buggy b/c logic in Parser::disableCache()/updateCacheExpiry()"

Remove buggy b/c logic in Parser::disableCache()/updateCacheExpiry()

* Setting mCacheTime to -1 is for old callers that
  only check getCacheTime() instead of getCacheExpiry().
  Most of them are already broken (WikiLog/SemanticForms) as
  they check for -1 which is in fact never returned
  due to the TS_MW conversion in Parser::getCacheTime.
* By using -1, the value of page_links_updated can end up
  as 1969, which is confusing and broken.

Change-Id: I8809a4258eacff05992a2c27ade7f6a0c1731c51

Localisation updates from https://translatewiki.net.

Change-Id: Ia0a10443f264e238e6136edbb2bb60dd9ddd1c96

Merge "Setup.php: Remove incorrect comment"

Setup.php: Remove incorrect comment

This is not true since $wgSkinExtensionFunctions was removed in r87487.

Change-Id: Ia2c75aa191516fa43272ed51789579cf7afd9e37

Throw Exceptions on preg_* failures in MagicWordArray::matchAndRemove()

There are a lot of other cases in this file alone that need to be fixed
(e.g. (bool)preg_match), but those should be fixed in a more systematic
way like a wrapper function.

Bug: T115514
Change-Id: I3840a56adc0a6e50963b930051892491f8e90245

Merge "Move CAPTCHA messages into ConfirmEdit and update class names"

mediawiki.notification.css: Avoid horizontal scrollbar on fade in and fade out

This is a follow-up to I01473a199665b9fd86ed50b7d117532ac94f3edf.

Change-Id: I596927bfca0efd52db8d46eeea9ba38c7a9f7ca5

Merge "ApiQueryAllRevisions: Actually use 'start' and 'end'"

mediawiki.notification: Use CSS tranforms for in/out animations

Remove the whole placeholder system. This was needed to preserve
parking space while visually animating the element elsewhere.
CSS transforms have this behaviour naturally.

Change-Id: I01473a199665b9fd86ed50b7d117532ac94f3edf

Reduce DBPerformance warning spam for jobs a bit

Change-Id: I1c5fdae6e0f98fff5f3336d8a46a4b3ff25d5bad

Merge "Bound BagOStuff::lock() RTT estimate for sanity"

Merge "Make TransactionProfiler show the actual query times"

Merge "Fix ChangeTag "lockTSE" values as INF does not actually work"

Merge "Revert "mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form""

Revert "mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form"

This actually won't work for Wikimedia wikis, turns out
that many of them disabled local uploads.

This reverts commit 29edb68446b5b6faa4b5038698f042ef25e4425d.

Bug: T115866
Change-Id: Ib28539f2ff22cdbf1d80b1b601e7855c1110ad40

Merge "mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form"

Merge "Make LinksUpdate::__construct() use normal type hints"

Fix ChangeTag "lockTSE" values as INF does not actually work

Change-Id: If6c6b034be60ffc8b22b67cef12e5d701a871788

Merge "Properly make LinksUpdate be recursive when done from job queue"

Make LinksUpdate::__construct() use normal type hints

Change-Id: Ie5f4de95d07ac9f24e415f92c5116385863a47f9

mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form

To improve in the future:
* Check the rights on the target wiki rather than current, they might
  not be the same
* Use a better error message when not all logged-in users can upload

Bug: T115866
Change-Id: I6f68122b5399f4b8766825c752e964478ae7563d

Properly make LinksUpdate be recursive when done from job queue

New enqueue method of DeferredUpdates was turning LinksUpdate
updates into Jobs. However RefreshLinksJob was not properly
reconstructing the secondary updates as being recursive (if they
were recursive). This means that templates weren't having the pages
that were using them being updated.

See also related T116001.

Change-Id: Ia06246efb2034fdfe07232fd8c2334160edbcf02

Localisation updates from https://translatewiki.net.

Change-Id: I7830f3ff793b90c23a08fa3496a7178c127cd605

Move CAPTCHA messages into ConfirmEdit and update class names

Depends on I0e55a159efd66a73cd217d9a5e86b2bced90f57a in ConfirmEdit .
This should be merged just after that.

Also, remove a dead config variable.

This leaves only the CAPTCHA stuff that is actually specific
to CreateAccount.

Change-Id: I8924d537cad3e39adace99fb20626247128d9bd9

Move Special:PageLanguage to the pagetools group on Special:SpecialPages

Acting on pages, so that group is better than the default of "other"

Change-Id: I50c993d69048eeee913fbab513711018999aafe9

Merge "Remove old ProfilerOutputUdp class"

JobQueueRedis::doBatchPush(): report metrics even when failures occur

The way the method is currently written, no stats are reported at all when
failures occur.

Change-Id: I627e8f6ce3a59098bc8949da7ed22f5c924177fc

jobqueue: track real job inserts as 'inserts_actual'

The `inserts` metric includes dupes. `inserts_actual` will track the rate at
which the job queue is actually growing.

Change-Id: Ie7c544fc8e59180a204d1d149b6a23ac48b8abab

Make TransactionProfiler show the actual query times

Also removed HTTP method from the message as logstash
gets those from the logger already

Change-Id: I7a6d9cb3ec8c7fcb53a081ee2bd055ff8c1c72c1

Merge "CacheLRU: Simplify >0 assertion and remove verbose inline comment"

Make LinksUpdate job spec use "refreshLinksPrioritized"

This was missing in 4fcc427c10 due to being lost in PS4

Change-Id: I24641e7eccc1e61226777504dcfd75e1aa7f58c6

Remove old ProfilerOutputUdp class

This uses a non-standard output and requires a custom
collector that wmf does not maintain nor use anymore.

Change-Id: I41a68f7061465417fbdc5ca41f8eb6e1f99f1111

Bound BagOStuff::lock() RTT estimate for sanity

The timestamp difference might be 0 (or in rare cases, less)

Change-Id: I0298b413df637d9da5ff33c078ad49dadc8a46ce

Merge "objectcache: Fix grammar error in BagOStuff::getWithToken doc"

Add WRITE_SYNC flag to BagOStuff::set()/merge()

* This blocks on writing to all replicas
  and returns false if any failed.
* This is useful if ChronologyProtector is to work across
  domains by having the writes go everywhere so that later
  reads will see them (and be local at the same time).
* Redundant doc comments were also removed.

Change-Id: I9ed098d563c64dba605e7809bc96731da3b3e79d

objectcache: Fix grammar error in BagOStuff::getWithToken doc

Follows-up 1fa1235d32.

Change-Id: I19a4430609423f5ff32a1014ed21131175469adf

Make DeferredUpdates::doUpdates always commit per task

* All callers are either using commit already or would be fine
  using it (e.g. Maintenance scripts and JobRunner that have
  no real transaction open).

Change-Id: I9f54b27619da6dac2cb63d255995aabc4ee78002

Make hookErrorHandler() only care about serious signature errors

Previously, it would send all manor of warnings to the error
and error-json channels. This adds a lot of overhead due to
AbuseFilter parse/eval errors. By passing immediately instead
of after calling handleError(), that overhead is avoided. Since
it still passes (e.g. returns false), any default PHP warning
logging still applies.

Change-Id: I18e60c09c2a48f2e26abab5d451bb52ea4ba7961

Merge "TemplateParser: Use context makeKey() instead of wfMemcKey()"

TemplateParser: Use context makeKey() instead of wfMemcKey()

Also:
* Use ternary shorthand.
* Remove verbose comment about APC fallback. APC always requires
  a fallback and is enforced by the method being called. Stating
  the obvious is confusing here.

Change-Id: Ie5cb3bdc60600806b01b57f1f1b352b981818b0d

Merge "mediawiki.api: Don't hold references to finished requests forever"

Merge "Replace some calls to wfGetMainCache()"

Merge "Fix transaction warnings on test cleanup rollback()"

mediawiki.api: Don't hold references to finished requests forever

Follow-up to Ie614b05fbfbddca38ea201e90053bebdd58da949.

Also removed a TODO comment which no longers makes sense. (We can't
share API objects because users could abort each others' requests.)

Change-Id: I106139d6e463d7e5e3473035835eb74b18829b87

Merge "mediawiki.api: Remove incomprehensible TODO"

Merge "Send X-Database-Lagged header to help with debugging"

Fix transaction warnings on test cleanup rollback()

Change-Id: I85f607c7562474d57f515a947181884fccae735c

Send X-Database-Lagged header to help with debugging

Change-Id: Ib654c49a61a1279091c5da92a2bef2ad1f992d23

Merge "Convert showPatrolFooter() to using WAN cache"

Merge "mw.ForeignStructuredUpload: Provide category suggestions from the right wiki"

mediawiki.api: Remove incomprehensible TODO

Change-Id: Iae632527c8b104ddd94b89679d1dba977fddb557

Merge "mw.ForeignStructuredUpload: Rearrange messages to always display license name"

Add pst option to API difftotext

Adds the option difftotextpst to ApiQueryRevisionsBase.php, which will perform a
pre-save transform on the supplied text, before diffing it against the
requested revision.

Bug: T53155
Change-Id: Ia480e8cd4ceeeb0b2812dc8ec96650adb83c03af

ApiQueryAllRevisions: Actually use 'start' and 'end'

No idea how that got missed.

Bug: T116177
Change-Id: I69cb4d6ce12fe39ab5683f7791d00ee16958981d

Merge "Sync up with Parsoid parserTests."

Better phrasing for the contentmodelediterror message

Change-Id: Ie69642f8ae6993d7bb08b785229321ed04428502

Convert showPatrolFooter() to using WAN cache

Change-Id: I55503eab91d0c64b2dcbc86257088a3eac52a2a1

mw.ForeignStructuredUpload: Rearrange messages to always display license name

See the task for screenshots.

Bug: T116046
Change-Id: I3dc021713c460e4cd639b7d85545ad4b5afe514b

Replace some calls to wfGetMainCache()

Change-Id: I9ba8fd5918877af6312b0854634bd36211438f00

Remove wgAlwaysUseTidy from ExpandTemplates

Fixes ConfigException:

Exception encountered, of type "ConfigException"
[1235d69e] index.php/Special:ExpandTemplates ConfigException
from line 53 of
includes/config/GlobalVarConfig.php:
GlobalVarConfig::get: undefined option: 'AlwaysUseTidy'
Backtrace:
includes/specials/SpecialExpandTemplates.php(117):
GlobalVarConfig->get(string)
i includes/specialpage/SpecialPage.php(384):
SpecialExpandTemplates->execute(NULL)

Change-Id: Iba16f12f50f7427533f89817eb40f46a2ab58ec4

Merge "Improve MultiWriteBagOStuff::merge() cross-DC performance"

Improve MultiWriteBagOStuff::merge() cross-DC performance

Implement merge() by getting a lock on the tier 1
cache, getting it's value, generating the new one,
writing to all tiers, and then unlocking tier 1.
This is done by just using the stock mergeViaLock().

This means that if tier 1 is in the same DC, the
other tiers only need 1 request each, just for set().

Change-Id: I4b0c303ef3b86b63e7630032ed0b010e79706324

Merge "Handle revisions with different content models in EditPage"

Merge "Improve documentation of $wgShowRollbackEditCount"