Merge "Minor fix to primeFileCache() comment"

Merge "Provide some default $wgRateLimits values"

Provide some default $wgRateLimits values

* This provides some minimal out-of-the-box protection.
* These mostly are the values used by WMF in mediawiki-config

Change-Id: Ie510ca9314e151f9c0ad0705d096fe2bb749a59d

Merge "Fixes to MemcachedBagOStuff::makeKeyInternal()"

Add wfWaitForSlaves() to HTMLCacheUpdateJob

Change-Id: Iabf3d01f15b36bcb51e7fd8512404df2a3aedf35

Fixes to MemcachedBagOStuff::makeKeyInternal()

* Follow-up to 0c9fb12265e2
* Make sure colons actually get escaped
* Added more unit tests
* Also fixed the test actual/expected order

Change-Id: Ie04ea6059ee1eb6d1da8f30fefdec52fa49d38fb

Merge "Web installer should not pollute global namespace with session variables"

Escape colons in BagOStuff key segments

For the sake of safety and correctness, the following BagOStuff::makeKey()
invocations should return distinct keys:

   $cache->makeKey( 'ab:', 'cd' );
   $cache->makeKey( 'ab', ':cd' );

That is not currently the case, because while we use ':' as a key path
separator, we don't escape ':' in the input supplied to makeKey(). So, make
BagOStuff::makeKeyInternal() URL-encode colons.

To prevent this from messing up the max. key length calculations, reproduce
this logic in MemcachedBagOStuff::makeKeyInternal(), in lieu of having the
method call its parent.

Change-Id: I83ea7e7336a1c9e64aa42284c2517089a736efe5

Ensure all key transformations are applied by BagOStuff::makeKeyInternal()

Currently we have to undo any transformations we apply to keys in getMulti() by
iterating over the response array keys reversing any changes. This is hairy and
complicated. So --

* Replace calls to MemcachedBagOStuff::encodeKey() with calls to a new method,
  MemcachedBagOStuff::validateKeyEncoding(). The new method only validates that
  the key is compatible with memcached. If it is not, it throws an exception.
  If it is, it returns the key unmodified.

* Remove MemcachedBagOStuff::{encode,decode}Key(), since they no longer serve a
  purpose, and have no callers.

Change-Id: If3e20c6a1a1b42fc1f2823aa660328e37c26eccb

Minor fix to primeFileCache() comment

Change-Id: I7d040c5a914574df72fa31612df0eb28e15fd46c

Web installer should not pollute global namespace with session variables

There is no need to store session variables
(that also include user-supplied arguments)
as $wgXXX global variables.

Bug: T116375
Change-Id: I880d4299566beaf99ed1fc21c690cdda64149b0e

Merge "Improve normalization and sanitization of memcached keys"

Improve normalization and sanitization of memcached keys

The motivation for this patch came from seeing the following error in the
memcached log:

  memcached ERROR: Memcached error for key "flowdb:flow_ref:wiki:by-source:\
   v3:0:tawikinews:பூமிக்கு_அச்சுறுத்தலான_சிறுகோள்களைக்_கண்டுபிடிக்கும்_முயற்சியில்_தனியார்_நிறுவன0jம்:4.7" \
   on server ":": A BAD KEY WAS PROVIDED/CHARACTERS OUT OF RANGE

I submitted a fix to Flow in I26e531f6, but I noticed that AbuseFilter had a
similar issue (fixed by Aaron in I27b51a4b), so I started thinking about how
to solve this more generally:

* The regular expression we current use to sanitize keys does not cover
  characters outside the ASCII range, but such characters can be illegal
  if one of their constituent bytes (when taken by itself) is an ASCII
  control character. So change the regular expression to cover any and all
  characters that fall outside the range \x22-\x7e (and '#' -- see below).

* Enforce a key length limit of 255 bytes, which is the maximum length
  permitted by the memcached protocol. The Tamil segment in the key above is 84
  characters, but 233 bytes in UTF-8, which become 684 characters when
  URL-encoded. To fix this, try to shrink any segment that would push the total
  key length over the limit by md5()ing it. If the end result is *still* over
  the limit (this would happen if, for example, $args consists of many short
  strings), then concatenate all args together and MD5 them.

* MD5'd arguments are prefixed with '#'. Any "organic" '#'s in the key segments
  are URL-encoded.

Change-Id: Ia46987d3b0a09bb6b1952abd936d4c72ea7c56a0

Merge "installer: Define $wgResourceBasePath in LocalSettings.php"

Merge "poolcounter: Add 'trigger' field to the slow-parse log"

installer: Define $wgResourceBasePath in LocalSettings.php

Bug: T116374
Bug: T75031
Change-Id: I459c1097ed7048c3fe24e636e9ea22ec2e3b2675

poolcounter: Add 'trigger' field to the slow-parse log

To better indicate that these are only triggered by page views.

We don't currently have any slow-parse logging for the parser
invocation that happens during save (which means we're potentially
missing lots of them).

Once we add that, this will help distinguish them.

Bug: T110760
Change-Id: I22be5684ef93efd410d683637e223f770d6c768c

Merge "Remove buggy b/c logic in Parser::disableCache()/updateCacheExpiry()"

Remove buggy b/c logic in Parser::disableCache()/updateCacheExpiry()

* Setting mCacheTime to -1 is for old callers that
  only check getCacheTime() instead of getCacheExpiry().
  Most of them are already broken (WikiLog/SemanticForms) as
  they check for -1 which is in fact never returned
  due to the TS_MW conversion in Parser::getCacheTime.
* By using -1, the value of page_links_updated can end up
  as 1969, which is confusing and broken.

Change-Id: I8809a4258eacff05992a2c27ade7f6a0c1731c51

Localisation updates from https://translatewiki.net.

Change-Id: Ia0a10443f264e238e6136edbb2bb60dd9ddd1c96

Merge "Setup.php: Remove incorrect comment"

Setup.php: Remove incorrect comment

This is not true since $wgSkinExtensionFunctions was removed in r87487.

Change-Id: Ia2c75aa191516fa43272ed51789579cf7afd9e37

Throw Exceptions on preg_* failures in MagicWordArray::matchAndRemove()

There are a lot of other cases in this file alone that need to be fixed
(e.g. (bool)preg_match), but those should be fixed in a more systematic
way like a wrapper function.

Bug: T115514
Change-Id: I3840a56adc0a6e50963b930051892491f8e90245

Merge "Move CAPTCHA messages into ConfirmEdit and update class names"

mediawiki.notification.css: Avoid horizontal scrollbar on fade in and fade out

This is a follow-up to I01473a199665b9fd86ed50b7d117532ac94f3edf.

Change-Id: I596927bfca0efd52db8d46eeea9ba38c7a9f7ca5

Merge "ApiQueryAllRevisions: Actually use 'start' and 'end'"

mediawiki.notification: Use CSS tranforms for in/out animations

Remove the whole placeholder system. This was needed to preserve
parking space while visually animating the element elsewhere.
CSS transforms have this behaviour naturally.

Change-Id: I01473a199665b9fd86ed50b7d117532ac94f3edf

Reduce DBPerformance warning spam for jobs a bit

Change-Id: I1c5fdae6e0f98fff5f3336d8a46a4b3ff25d5bad

Merge "Bound BagOStuff::lock() RTT estimate for sanity"

Merge "Make TransactionProfiler show the actual query times"

Merge "Fix ChangeTag "lockTSE" values as INF does not actually work"

Merge "Revert "mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form""

Revert "mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form"

This actually won't work for Wikimedia wikis, turns out
that many of them disabled local uploads.

This reverts commit 29edb68446b5b6faa4b5038698f042ef25e4425d.

Bug: T115866
Change-Id: Ib28539f2ff22cdbf1d80b1b601e7855c1110ad40

Merge "mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form"

Merge "Make LinksUpdate::__construct() use normal type hints"

Fix ChangeTag "lockTSE" values as INF does not actually work

Change-Id: If6c6b034be60ffc8b22b67cef12e5d701a871788

Merge "Properly make LinksUpdate be recursive when done from job queue"

Make LinksUpdate::__construct() use normal type hints

Change-Id: Ie5f4de95d07ac9f24e415f92c5116385863a47f9

mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form

To improve in the future:
* Check the rights on the target wiki rather than current, they might
  not be the same
* Use a better error message when not all logged-in users can upload

Bug: T115866
Change-Id: I6f68122b5399f4b8766825c752e964478ae7563d

Properly make LinksUpdate be recursive when done from job queue

New enqueue method of DeferredUpdates was turning LinksUpdate
updates into Jobs. However RefreshLinksJob was not properly
reconstructing the secondary updates as being recursive (if they
were recursive). This means that templates weren't having the pages
that were using them being updated.

See also related T116001.

Change-Id: Ia06246efb2034fdfe07232fd8c2334160edbcf02

Localisation updates from https://translatewiki.net.

Change-Id: I7830f3ff793b90c23a08fa3496a7178c127cd605

Move CAPTCHA messages into ConfirmEdit and update class names

Depends on I0e55a159efd66a73cd217d9a5e86b2bced90f57a in ConfirmEdit .
This should be merged just after that.

Also, remove a dead config variable.

This leaves only the CAPTCHA stuff that is actually specific
to CreateAccount.

Change-Id: I8924d537cad3e39adace99fb20626247128d9bd9

Move Special:PageLanguage to the pagetools group on Special:SpecialPages

Acting on pages, so that group is better than the default of "other"

Change-Id: I50c993d69048eeee913fbab513711018999aafe9

Merge "Remove old ProfilerOutputUdp class"

JobQueueRedis::doBatchPush(): report metrics even when failures occur

The way the method is currently written, no stats are reported at all when
failures occur.

Change-Id: I627e8f6ce3a59098bc8949da7ed22f5c924177fc

jobqueue: track real job inserts as 'inserts_actual'

The `inserts` metric includes dupes. `inserts_actual` will track the rate at
which the job queue is actually growing.

Change-Id: Ie7c544fc8e59180a204d1d149b6a23ac48b8abab

Make TransactionProfiler show the actual query times

Also removed HTTP method from the message as logstash
gets those from the logger already

Change-Id: I7a6d9cb3ec8c7fcb53a081ee2bd055ff8c1c72c1

Merge "CacheLRU: Simplify >0 assertion and remove verbose inline comment"

Make LinksUpdate job spec use "refreshLinksPrioritized"

This was missing in 4fcc427c10 due to being lost in PS4

Change-Id: I24641e7eccc1e61226777504dcfd75e1aa7f58c6

Remove old ProfilerOutputUdp class

This uses a non-standard output and requires a custom
collector that wmf does not maintain nor use anymore.

Change-Id: I41a68f7061465417fbdc5ca41f8eb6e1f99f1111

Bound BagOStuff::lock() RTT estimate for sanity

The timestamp difference might be 0 (or in rare cases, less)

Change-Id: I0298b413df637d9da5ff33c078ad49dadc8a46ce

Merge "objectcache: Fix grammar error in BagOStuff::getWithToken doc"

Add WRITE_SYNC flag to BagOStuff::set()/merge()

* This blocks on writing to all replicas
  and returns false if any failed.
* This is useful if ChronologyProtector is to work across
  domains by having the writes go everywhere so that later
  reads will see them (and be local at the same time).
* Redundant doc comments were also removed.

Change-Id: I9ed098d563c64dba605e7809bc96731da3b3e79d

objectcache: Fix grammar error in BagOStuff::getWithToken doc

Follows-up 1fa1235d32.

Change-Id: I19a4430609423f5ff32a1014ed21131175469adf

Make DeferredUpdates::doUpdates always commit per task

* All callers are either using commit already or would be fine
  using it (e.g. Maintenance scripts and JobRunner that have
  no real transaction open).

Change-Id: I9f54b27619da6dac2cb63d255995aabc4ee78002

Make hookErrorHandler() only care about serious signature errors

Previously, it would send all manor of warnings to the error
and error-json channels. This adds a lot of overhead due to
AbuseFilter parse/eval errors. By passing immediately instead
of after calling handleError(), that overhead is avoided. Since
it still passes (e.g. returns false), any default PHP warning
logging still applies.

Change-Id: I18e60c09c2a48f2e26abab5d451bb52ea4ba7961

Merge "TemplateParser: Use context makeKey() instead of wfMemcKey()"

TemplateParser: Use context makeKey() instead of wfMemcKey()

Also:
* Use ternary shorthand.
* Remove verbose comment about APC fallback. APC always requires
  a fallback and is enforced by the method being called. Stating
  the obvious is confusing here.

Change-Id: Ie5cb3bdc60600806b01b57f1f1b352b981818b0d

Merge "mediawiki.api: Don't hold references to finished requests forever"

Merge "Replace some calls to wfGetMainCache()"

Merge "Fix transaction warnings on test cleanup rollback()"

mediawiki.api: Don't hold references to finished requests forever

Follow-up to Ie614b05fbfbddca38ea201e90053bebdd58da949.

Also removed a TODO comment which no longers makes sense. (We can't
share API objects because users could abort each others' requests.)

Change-Id: I106139d6e463d7e5e3473035835eb74b18829b87

Merge "mediawiki.api: Remove incomprehensible TODO"

Merge "Send X-Database-Lagged header to help with debugging"

Fix transaction warnings on test cleanup rollback()

Change-Id: I85f607c7562474d57f515a947181884fccae735c

Send X-Database-Lagged header to help with debugging

Change-Id: Ib654c49a61a1279091c5da92a2bef2ad1f992d23

Merge "Convert showPatrolFooter() to using WAN cache"

Merge "mw.ForeignStructuredUpload: Provide category suggestions from the right wiki"

mediawiki.api: Remove incomprehensible TODO

Change-Id: Iae632527c8b104ddd94b89679d1dba977fddb557

Merge "mw.ForeignStructuredUpload: Rearrange messages to always display license name"

Add pst option to API difftotext

Adds the option difftotextpst to ApiQueryRevisionsBase.php, which will perform a
pre-save transform on the supplied text, before diffing it against the
requested revision.

Bug: T53155
Change-Id: Ia480e8cd4ceeeb0b2812dc8ec96650adb83c03af

ApiQueryAllRevisions: Actually use 'start' and 'end'

No idea how that got missed.

Bug: T116177
Change-Id: I69cb4d6ce12fe39ab5683f7791d00ee16958981d

Merge "Sync up with Parsoid parserTests."

Better phrasing for the contentmodelediterror message

Change-Id: Ie69642f8ae6993d7bb08b785229321ed04428502

Convert showPatrolFooter() to using WAN cache

Change-Id: I55503eab91d0c64b2dcbc86257088a3eac52a2a1

mw.ForeignStructuredUpload: Rearrange messages to always display license name

See the task for screenshots.

Bug: T116046
Change-Id: I3dc021713c460e4cd639b7d85545ad4b5afe514b

Replace some calls to wfGetMainCache()

Change-Id: I9ba8fd5918877af6312b0854634bd36211438f00

Remove wgAlwaysUseTidy from ExpandTemplates

Fixes ConfigException:

Exception encountered, of type "ConfigException"
[1235d69e] index.php/Special:ExpandTemplates ConfigException
from line 53 of
includes/config/GlobalVarConfig.php:
GlobalVarConfig::get: undefined option: 'AlwaysUseTidy'
Backtrace:
includes/specials/SpecialExpandTemplates.php(117):
GlobalVarConfig->get(string)
i includes/specialpage/SpecialPage.php(384):
SpecialExpandTemplates->execute(NULL)

Change-Id: Iba16f12f50f7427533f89817eb40f46a2ab58ec4

Merge "Improve MultiWriteBagOStuff::merge() cross-DC performance"

Improve MultiWriteBagOStuff::merge() cross-DC performance

Implement merge() by getting a lock on the tier 1
cache, getting it's value, generating the new one,
writing to all tiers, and then unlocking tier 1.
This is done by just using the stock mergeViaLock().

This means that if tier 1 is in the same DC, the
other tiers only need 1 request each, just for set().

Change-Id: I4b0c303ef3b86b63e7630032ed0b010e79706324

Merge "Handle revisions with different content models in EditPage"

Merge "Improve documentation of $wgShowRollbackEditCount"

resourceloader: Remove CacheEpoch from MessageBlobStore::getFromDB

CacheEpoch isn't meant for this (it's meant for page cache), I can't
imagine a scenario in which we'd want to bump that to invalidate
MessageBlobStore. It should be standalone and can be easily cleared
if needed by truncating the relevant table (it's automatically
repopulated).

This also removes wfTimestamp/DateTime overhead.

Change-Id: Iab06edbf71f20f3430207a80df90131c79dc03a7

mw.ForeignStructuredUpload: Provide category suggestions from the right wiki

Also check for category existence on the right wiki, and generate
links pointing to the right wiki. Usually.

Bug: T116075
Change-Id: I85da301db4cb407b011277b0c00eb09a8bf3829f

Improve documentation of $wgShowRollbackEditCount

There were a few grammatical errors, and ambiguities.

Change-Id: I49f998c3d2a693bd755c1aaa4cf08bc5fd5fd505

Add IDatabase::isReadOnly() method

Also made getReadOnlyReason() protected as it has no outside
callers and is not part of IDatabase.

Change-Id: If6694a19df038af645a97f701397a536570d1b42

Merge "Make DB handles inherit configured read-only mode"

Merge "Remove $wgAjaxWatch configuration variable"

Make DB handles inherit configured read-only mode

LBFactory inherits $wgReadOnly, the LBs inherit
any LBFactory read only mode, and Database objects
inherit any LB read-only mode.

Add some methods callers can use to check if
a DB/LB handle is read-only before trying writes.

Additionally:
* Fix 5ec1e47475 regression where readOnlyBySection
  read-only mode would not affect wfReadOnly() but only
  lagged-slave read-only mode for LBFactoryMulti.
* Catch errors when getLaggedSlaveMode() is called after
  master connection and object is established.
* Make getLaggedSlaveMode() a no-op if there are no slaves.
* Make string/false logic for read-only consistent everywhere.
* Remove mLaggedSlaveMode "m" prefix.

Change-Id: Ice3224caae564aa5ffb41b424c23d1593229117a

Add check for RCWatchCategoryMembership before trying to access form option

Change-Id: Ie38e0fd703eb688267e5d19c145256dd6c8ada94

Merge "Push post-edit RefreshLinks jobs into 'refreshLinksPrioritized'"

Merge "mediawiki.Upload: Don't choke on nameless or dateless files"

Push post-edit RefreshLinks jobs into 'refreshLinksPrioritized'

Previously the 'prioritize' flag was set in getAsJobSpecification()
but the job still went into the regular 'refreshLinks' queue. Since
the parser cache was just saved, they should be fast to run. The
separate queue stops them from getting stuck behind template updates.

Change-Id: I46c5760702d862dc9288618ee5eff3897f6e838b

mediawiki.Upload: Don't choke on nameless or dateless files

Bug: T116073
Change-Id: I5919f1457b019ebc913beeb458ee3c6290223cfe

Remove $wgAjaxWatch configuration variable

This is now enabled by default.
We still check $wgUseAjax and $wgEnableWriteAPI, however.

Originally introduced in r18598 (69ea9bcf9b; MediaWiki 1.9.0; T9169).

Change-Id: I87b1926e727ae0870a0239d6e8ad87cc3a5ad72b

Merge "Enable users to watch category membership changes #2"

Merge "Make JobQueueRedis stat calls match the DB one"

Merge "resourceloader: Wrap another CSSMin::remap call in MemoizedCallable::call"

Sync up with Parsoid parserTests.

This now aligns with Parsoid commit 31012bb740fea4fe6ce44464dd940d48576ed4ef

Change-Id: I525622766d702c53009d59c1a2a80a52966774fe

Make JobQueueRedis stat calls match the DB one

It looks like someone just forgot to update these to
the newer style (e.g. sans "job-").

Change-Id: Idf953bb73ad31425c5c366d4b2169a42bd5e022d