Merge "Convert getMagickVersion() to using APC"

Merge "Make sure, that a tags and input tags with mw-ui-button has the same height"

Merge "Installer: use _MainCacheType form variable"

Merge "mw.ForeignStructuredUpload: Mark description as being in source wiki's content language"

Installer: use _MainCacheType form variable

Do not use "wgMainCacheType" form variable
name that contains values that cannot be
assigned to $wgMainCacheType

Bug: T116375
Change-Id: I83459c8006cc4c1bcdeaa0d78a1230687c95db46

mw.ForeignStructuredUpload: Mark description as being in source wiki's content language

Bug: T116395
Change-Id: Id701ee053be226e9ed1791cbb59459d372ac7255

Changed paths to package dependency file

Paths to ./composer.lock is changed to ./vendor/composer/installed.json
and dependency information now is read from the installed.json file.
A new ComposerInstalled class has been declared and uses the class now
to access the getInstalledDependencies() method to read data

Bug: T106247
Change-Id: Ic216577bb19b4fc5832ba003fcbbe9195d707b41

TitleOptionWidget: Only set grey bg for icons

When a thumbanil image is used leave the background
transparent, as the thumbnail may have transparency.

Bug: T116588
Change-Id: Id7bd55fcdce337cfcf3f6d9aedc798630e2983c2

Merge "Special:Upload Fire wikipage.content hook"

Convert getMagickVersion() to using APC

Shelling out on my slow vagrant VM takes about ~3-4ms
so it's probably not worth a  fallback.

Change-Id: Ifd5758264cc15f1ae07972e839a243f5f891503e

Convert ForeignApiRepo::httpGetCached() to the WAN cache

Change-Id: I4f1098a6e98570fc4fea6941ffcd64540d6caebd

Make DateFormatter::getInstance use APC

Change-Id: Idfff805903bffcdd6ff8f2a3c1331ca63476933e

Merge "Remove unused fields from User"

Remove unused fields from User

Change-Id: Ib209747f1ebd1433969b13b1ecb86d3b57f9be9a

Merge "In UploadStash, prioritize core metadata over file handler metadata"

Merge "clone is not a function"

Preprocessor: Use correct cache prefix for the subclass

Follows-up 1559be9f7aef, which caused "Preprocessor" to be used as the
cache prefix for all subclasses, by using late static binding to access
the constant. Though use of that feature has been discouraged[1], this
change is a straightforward bug fix, and any improvements can be made
separately.

[1]: https://www.mediawiki.org/wiki/Manual:Coding_conventions/PHP#Late_static_binding

Change-Id: Ib25e1908a6373f6675659a0906e12d4a38af014c

Merge "Database::__construct(): Don't set $mTrxAtomicLevels to an SplStack"

Consolidate common Preprocessor caching code

* Consolidate nearly-identical caching code in Preprocessor_DOM and
  Preprocessor_Hash by making Preprocessor an abstract class rather than an
  interface and by implementing Preprocessor::cacheSetTree() and
  Preprocessor::cacheGetTree().
* Cache trees for wikitext blobs that have length equal or greater to
  PreprocessorCacheThreshold. Previously they needed to be greater than
  PreprocessorCacheThreshold, so this changes the requirement by one character.
  I did it because it seems more natural.
* Modernize the code to use singleton service objects rather than globals.

We spend a lot of time in the Preprocessor, so it would be nice for this code
to be well-factored and clear.

Change-Id: Ib71c29f14a28445a505e12c774a24ad964330b95

Database::__construct(): Don't set $mTrxAtomicLevels to an SplStack

Follows-up db0b9ef2649c and 01ef30fcc495.

Change-Id: I06188c746fb885819aa93e0e3caf3dc2bac7ae72

Merge "Update CACHE_MEMCACHED to not used newMemcached"

Special:Upload Fire wikipage.content hook

The warning here is a fragment of wikicode, and can include the video
player for instance.

Bug: T51751
Change-Id: I45e10f5f5700ea7c526a63b4f47a21d630c6d8ee

Localisation updates from https://translatewiki.net.

Change-Id: I82484aa5a52137eadc2cae6a7355fef38f089977

Merge "installer: Remove additional newline in LocalSettings.php"

installer: Remove additional newline in LocalSettings.php

Change-Id: I6a0630d109c0ab4299507d125e4e1748055bcd58

Merge "Cleanup on Special:AllPages and Special:PrefixIndex"

Update CACHE_MEMCACHED to not used newMemcached

* Follow up to 0dd27b1da9e45
* Also removed that method, which is not used by callers

Bug: T116541
Change-Id: Ic6e4e25089de112cfd263fb042d654ee06970859

In UploadStash, prioritize core metadata over file handler metadata

If us_props is too big for the database (> 64kb), don't store the
file handler metadata. This is usually by far the biggest portion
(For pdf/djvu it contains OCR data), and it's non-critical to the
upload process as it's only needed for display, and the file handler
will probably regenerate it anyway if it is missing.

At some point in the future, having data too big for a db field
is probably going to cause errors instead of silent truncation,
so we really don't want to be doing silent truncation.

An alternative way to solve T94562 might be to make it use us_sha1
instead of the one encoded in us_props, but seems like it's important
to fix us_props for other data in it too.

Bug: T94562
Change-Id: I8aed6a1a5c9a136090b36d4ad23d8429791f58c4

Merge "Use the new 'difftotextpst' option of prop=revisions API in live preview script"

Use the new 'difftotextpst' option of prop=revisions API in live preview script

This should improve the diff performance on large pages by a fair amount,
especially on slow connections, as you now just upload the page content once
and then download the diff, rather than having to upload the page content,
download the PST'd page content, re-upload the PST'd page content, and then
finally download the diff.

If there is a summary, the parse request is still performed with just the summary
text, but it is done in parallel to the diff request, and will likely finish
before the diff request anyway, so won't impact the diff performance.
A further improvement could be potentially made, by not sending a summary parse
request when the summary is plain text. This would be fairly easy to detect
(assuming extensions can't modify what is parsed in a summary), just
look for "[[" and "/*".

Also improves the error handling to show errors occurring on the diff request.

Bug: T116178
Change-Id: Ic81bad25ccc8b96c862feb31b7dedd80d1507eeb

Merge "Remove paranoid title check from RefreshLinksJob::runForTitle"

Merge "Install link to Manual:Combating_spam on the home page"

Measure commitMasterChanges() run time

Change-Id: Icf36ce5bc5b6997aec1b43e5d271ad196ab7bcb6

Protect WAN cache sets() against uncommitted data

This generally only effects wikis with no slave DBs,
but also matters if the master has non-zero LB load.
If the master ends up being used for DB_SLAVE, care
should be shown for cache-aside writes

Interesting WAN cache events are now logged.

Change-Id: I2cd8e84138263c13ea23beb9ab3d7562340e1fd3

ObjectFactory: avoid using ReflectionClass

Add a new ObjectFactory::constructClassInstance() method that uses
a loop unrolling type of technique to avoid using ReflectionClass when
creating new class instances with 10 or fewer constructor arguments.

I really wanted to also include the use of PHP 5.6's `...` splat
operator when supported but there is no way to conditionally use a new
operator in a way that still allows older versions of PHP to parse the
same source file.

Bug: T115729
Change-Id: Ia29c4526f4bac51696654c9b0677cb3f70359966

Merge "Fix bogus calls to encodeKey/decodeKey in the PHP memcached class"

objectcache: Remove outdated comment about back-compat defaults

Follows-up 0dd27b1da9e.

Change-Id: Ic21b02d93d6047eb4713dfec3cbb2fff4d51fdff

Fix bogus calls to encodeKey/decodeKey in the PHP memcached class

* Follow up to cdb543272883b180
* These are no longer needed

Change-Id: Id41c3aae50a13f3c53f2bbd9662027b36a1f4142

Merge "Move some memcached classes to /libs"

Move some memcached classes to /libs

Also removed a few MW dependencies from MemcachedPeclBagOStuff.
It still uses an IP class method, so it has to stay for now.

Change-Id: I8c5c83046c58fb58091d6ce11b2385208262460f

Validate status codes returned from the AbortLogin hook

In case of a return value which is not in LoginForm::$statusCodes,
this results in a nicer error message instead of an array access error.

Bug: T109193
Change-Id: I64c955327c7dfc64807fa83d30538f3da66618bc

Merge "Remove some MW dependencies from RedisConnectionPool"

Move MemcachedBagOStuff b/c logic to ObjectCache

Change-Id: Iedb173b00d543237b3e7560b8079b8d488e00d80

Remove some MW dependencies from RedisConnectionPool

Change-Id: I41ee08d8c6df14ef5994ea8dd2ee61eb220941e3

Merge "Make DBReadOnlyError extend DBExpectedError"

Merge "Move MultiWriteBagOStuff to /libs"

Make DBReadOnlyError extend DBExpectedError

This makes the output formatting a bit prettier

Change-Id: I5d5c5a421326029323ef367feac70179ecb2d9e1

Move MultiWriteBagOStuff to /libs

Also moved related tests files to /libs.

Change-Id: I806eeaa30205733d497adde933baf0c4157f7aae

Make sure, that a tags and input tags with mw-ui-button has the same height

Line-height inherited from another element behave different for input and a
tags. While a-tags correctly inherit the line-height from a parent element,
input tags doesn't. Fix that by adding the correct line-height (normal) to
a tags with mw-ui-button.

Bug: T116427
Change-Id: I4822754157b95094605209111e72bce11d34b077

Update grunt-jsonlint to 1.0.5

This is a minor update there were packages updates in this version.

Change-Id: I43cced8c20153d06f764ebba90f64de0431e2d3f

Merge "Minor fix to primeFileCache() comment"

Enforce stricter slave lag limits for bot API requests

* All users with the bot right sending requests to
  write APIs will get a read-only error when slave
  lag is high. The lag tolerance is configured via
  $wgAPIMaxLagThreshold.
* Making this lower than 'max lag' in the LBFactory
  config means bots get read-only errors before other
  users, which is sensible.
* The default LoadBalancer 'max lag' is now 10 instead
  of 30, which now matches the timeout used for waiting
  on MASTER_POS_WAIT() for ChronologyProtector. This is
  better for assuring that users see their own changes.

Bug: T95501
Change-Id: If9d8f4ef47258d5afb7a0e947c6e6f040cbc7e10

Merge "Provide some default $wgRateLimits values"

Provide some default $wgRateLimits values

* This provides some minimal out-of-the-box protection.
* These mostly are the values used by WMF in mediawiki-config

Change-Id: Ie510ca9314e151f9c0ad0705d096fe2bb749a59d

Merge "Fixes to MemcachedBagOStuff::makeKeyInternal()"

Add wfWaitForSlaves() to HTMLCacheUpdateJob

Change-Id: Iabf3d01f15b36bcb51e7fd8512404df2a3aedf35

Fixes to MemcachedBagOStuff::makeKeyInternal()

* Follow-up to 0c9fb12265e2
* Make sure colons actually get escaped
* Added more unit tests
* Also fixed the test actual/expected order

Change-Id: Ie04ea6059ee1eb6d1da8f30fefdec52fa49d38fb

Merge "Web installer should not pollute global namespace with session variables"

Remove paranoid title check from RefreshLinksJob::runForTitle

Change-Id: Ie2b875dcb394e9cf20818a26d245684933765baf

Escape colons in BagOStuff key segments

For the sake of safety and correctness, the following BagOStuff::makeKey()
invocations should return distinct keys:

   $cache->makeKey( 'ab:', 'cd' );
   $cache->makeKey( 'ab', ':cd' );

That is not currently the case, because while we use ':' as a key path
separator, we don't escape ':' in the input supplied to makeKey(). So, make
BagOStuff::makeKeyInternal() URL-encode colons.

To prevent this from messing up the max. key length calculations, reproduce
this logic in MemcachedBagOStuff::makeKeyInternal(), in lieu of having the
method call its parent.

Change-Id: I83ea7e7336a1c9e64aa42284c2517089a736efe5

Ensure all key transformations are applied by BagOStuff::makeKeyInternal()

Currently we have to undo any transformations we apply to keys in getMulti() by
iterating over the response array keys reversing any changes. This is hairy and
complicated. So --

* Replace calls to MemcachedBagOStuff::encodeKey() with calls to a new method,
  MemcachedBagOStuff::validateKeyEncoding(). The new method only validates that
  the key is compatible with memcached. If it is not, it throws an exception.
  If it is, it returns the key unmodified.

* Remove MemcachedBagOStuff::{encode,decode}Key(), since they no longer serve a
  purpose, and have no callers.

Change-Id: If3e20c6a1a1b42fc1f2823aa660328e37c26eccb

Minor fix to primeFileCache() comment

Change-Id: I7d040c5a914574df72fa31612df0eb28e15fd46c

Fixes related to WikiPage::triggerOpportunisticLinksUpdate()

* Focus on updating links that would *not* already be updated
  by jobs, not those that already *will* be updated.
* Place the jobs into a dedicated queue so they don't wait
  behind jobs that actually have to parse every time. This
  helps avoid queue buildup.
* Make Job::factory() set the command field to match the value
  it had when enqueued. This makes it easier to have the same
  job class used for multiple queues.
* Given the above, remove the RefreshLinksJob 'prioritize' flag.
  This worked by overriding getType() so that the job went to a
  different queue. This required both the special type *and* the
  flag to be set if using JobSpecification or either ack() would
  route to the wrong queue and fail or the job would go in the
  regular queue. This was too messy and error prone. Cirrus jobs
  using the same pattern also had ack() failures for example.

Change-Id: I5941cb62cdafde203fdee7e106894322ba87b48a

Web installer should not pollute global namespace with session variables

There is no need to store session variables
(that also include user-supplied arguments)
as $wgXXX global variables.

Bug: T116375
Change-Id: I880d4299566beaf99ed1fc21c690cdda64149b0e

Merge "Improve normalization and sanitization of memcached keys"

Install link to Manual:Combating_spam on the home page

Bug: T85327
Change-Id: I2bfe8b1489f748df2d24946d7c49b97d5cbf921e

Improve normalization and sanitization of memcached keys

The motivation for this patch came from seeing the following error in the
memcached log:

  memcached ERROR: Memcached error for key "flowdb:flow_ref:wiki:by-source:\
   v3:0:tawikinews:பூமிக்கு_அச்சுறுத்தலான_சிறுகோள்களைக்_கண்டுபிடிக்கும்_முயற்சியில்_தனியார்_நிறுவன0jம்:4.7" \
   on server ":": A BAD KEY WAS PROVIDED/CHARACTERS OUT OF RANGE

I submitted a fix to Flow in I26e531f6, but I noticed that AbuseFilter had a
similar issue (fixed by Aaron in I27b51a4b), so I started thinking about how
to solve this more generally:

* The regular expression we current use to sanitize keys does not cover
  characters outside the ASCII range, but such characters can be illegal
  if one of their constituent bytes (when taken by itself) is an ASCII
  control character. So change the regular expression to cover any and all
  characters that fall outside the range \x22-\x7e (and '#' -- see below).

* Enforce a key length limit of 255 bytes, which is the maximum length
  permitted by the memcached protocol. The Tamil segment in the key above is 84
  characters, but 233 bytes in UTF-8, which become 684 characters when
  URL-encoded. To fix this, try to shrink any segment that would push the total
  key length over the limit by md5()ing it. If the end result is *still* over
  the limit (this would happen if, for example, $args consists of many short
  strings), then concatenate all args together and MD5 them.

* MD5'd arguments are prefixed with '#'. Any "organic" '#'s in the key segments
  are URL-encoded.

Change-Id: Ia46987d3b0a09bb6b1952abd936d4c72ea7c56a0

Merge "installer: Define $wgResourceBasePath in LocalSettings.php"

Merge "poolcounter: Add 'trigger' field to the slow-parse log"

installer: Define $wgResourceBasePath in LocalSettings.php

Bug: T116374
Bug: T75031
Change-Id: I459c1097ed7048c3fe24e636e9ea22ec2e3b2675

poolcounter: Add 'trigger' field to the slow-parse log

To better indicate that these are only triggered by page views.

We don't currently have any slow-parse logging for the parser
invocation that happens during save (which means we're potentially
missing lots of them).

Once we add that, this will help distinguish them.

Bug: T110760
Change-Id: I22be5684ef93efd410d683637e223f770d6c768c

Merge "Remove buggy b/c logic in Parser::disableCache()/updateCacheExpiry()"

Remove buggy b/c logic in Parser::disableCache()/updateCacheExpiry()

* Setting mCacheTime to -1 is for old callers that
  only check getCacheTime() instead of getCacheExpiry().
  Most of them are already broken (WikiLog/SemanticForms) as
  they check for -1 which is in fact never returned
  due to the TS_MW conversion in Parser::getCacheTime.
* By using -1, the value of page_links_updated can end up
  as 1969, which is confusing and broken.

Change-Id: I8809a4258eacff05992a2c27ade7f6a0c1731c51

Localisation updates from https://translatewiki.net.

Change-Id: Ia0a10443f264e238e6136edbb2bb60dd9ddd1c96

Merge "Setup.php: Remove incorrect comment"

Setup.php: Remove incorrect comment

This is not true since $wgSkinExtensionFunctions was removed in r87487.

Change-Id: Ia2c75aa191516fa43272ed51789579cf7afd9e37

Throw Exceptions on preg_* failures in MagicWordArray::matchAndRemove()

There are a lot of other cases in this file alone that need to be fixed
(e.g. (bool)preg_match), but those should be fixed in a more systematic
way like a wrapper function.

Bug: T115514
Change-Id: I3840a56adc0a6e50963b930051892491f8e90245

Merge "Move CAPTCHA messages into ConfirmEdit and update class names"

mediawiki.notification.css: Avoid horizontal scrollbar on fade in and fade out

This is a follow-up to I01473a199665b9fd86ed50b7d117532ac94f3edf.

Change-Id: I596927bfca0efd52db8d46eeea9ba38c7a9f7ca5

Merge "ApiQueryAllRevisions: Actually use 'start' and 'end'"

mediawiki.notification: Use CSS tranforms for in/out animations

Remove the whole placeholder system. This was needed to preserve
parking space while visually animating the element elsewhere.
CSS transforms have this behaviour naturally.

Change-Id: I01473a199665b9fd86ed50b7d117532ac94f3edf

Reduce DBPerformance warning spam for jobs a bit

Change-Id: I1c5fdae6e0f98fff5f3336d8a46a4b3ff25d5bad

Merge "Bound BagOStuff::lock() RTT estimate for sanity"

Merge "Make TransactionProfiler show the actual query times"

Merge "Fix ChangeTag "lockTSE" values as INF does not actually work"

Displaying search results for multiple wikis

Uses fully translated string like search-interwiki-results-abwiki
which should be present in WikimediaMessages.

Requires Ic4bdd9462f844febea2e402e4b89d9dcc4c836b6
Supports I0d0efacf3066b3b5fe0bfcb058dd0b0f9988ccae

Bug: T112349
Change-Id: Ib6524bc79e1648ccf6adc5745f0dbc4c26dcb0d2

Merge "Revert "mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form""

Use ImportStringSource for simple import sources

Bug: T75283
Change-Id: I61c94202467ae6729ae52684a6477f7cbd8e00b7

Revert "mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form"

This actually won't work for Wikimedia wikis, turns out
that many of them disabled local uploads.

This reverts commit 29edb68446b5b6faa4b5038698f042ef25e4425d.

Bug: T115866
Change-Id: Ib28539f2ff22cdbf1d80b1b601e7855c1110ad40

Merge "mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form"

Merge "Make LinksUpdate::__construct() use normal type hints"

Fix ChangeTag "lockTSE" values as INF does not actually work

Change-Id: If6c6b034be60ffc8b22b67cef12e5d701a871788

Merge "Properly make LinksUpdate be recursive when done from job queue"

Make LinksUpdate::__construct() use normal type hints

Change-Id: Ie5f4de95d07ac9f24e415f92c5116385863a47f9

mediawiki.Upload.BookletLayout: If the user can't upload, don't show them the form

To improve in the future:
* Check the rights on the target wiki rather than current, they might
  not be the same
* Use a better error message when not all logged-in users can upload

Bug: T115866
Change-Id: I6f68122b5399f4b8766825c752e964478ae7563d

Properly make LinksUpdate be recursive when done from job queue

New enqueue method of DeferredUpdates was turning LinksUpdate
updates into Jobs. However RefreshLinksJob was not properly
reconstructing the secondary updates as being recursive (if they
were recursive). This means that templates weren't having the pages
that were using them being updated.

See also related T116001.

Change-Id: Ia06246efb2034fdfe07232fd8c2334160edbcf02

Localisation updates from https://translatewiki.net.

Change-Id: I7830f3ff793b90c23a08fa3496a7178c127cd605

Cleanup on Special:AllPages and Special:PrefixIndex

* Move pagination links to the left (on LTR) and below the form
* Drop a few HTML classes
* Minor code cleanups
* Remove Allpages link from Special:Allpages pagination links

Follows up I720d34e21950c18de3c6e0b1d6d8a4461db495cb

Bug: T32965
Change-Id: I19018d87b769320761a95410bb3198b31f16544d

Move CAPTCHA messages into ConfirmEdit and update class names

Depends on I0e55a159efd66a73cd217d9a5e86b2bced90f57a in ConfirmEdit .
This should be merged just after that.

Also, remove a dead config variable.

This leaves only the CAPTCHA stuff that is actually specific
to CreateAccount.

Change-Id: I8924d537cad3e39adace99fb20626247128d9bd9

Move Special:PageLanguage to the pagetools group on Special:SpecialPages

Acting on pages, so that group is better than the default of "other"

Change-Id: I50c993d69048eeee913fbab513711018999aafe9