Merge "RestbaseVirtualRESTService: Support production URL layout"

Merge "Remove redundant UNIQUE from rev_page_id"

Remove redundant UNIQUE from rev_page_id

The PRIMARY KEY is rev_id, so this is a waste and
makes the index slower to maintain (e.g. no change
buffering).

Bug: T142725
Change-Id: I63f817656ff5e62aa27caf607d70353cc99eb349

Merge "PreprocessorTest: test both implementations"

PreprocessorTest: test both implementations

* Instead of only testing the configured preprocessor, test each in turn.
* Fix a test error when testing Preprocessor_Hash by removing <equals>
  tags -- only Preprocessor_Hash emits them, but they have no effect on
  the expansion.

Change-Id: I596f6b66fc636b767c447af3450556bfebe28241

Merge "Cleanups to SqlBagOStuff"

Merge "Optimize ChronologyProtector writes for multi-DC case"

Merge "Fix AuthManagerSpecialPage submit button logic"

Fix AuthManagerSpecialPage submit button logic

Bug: T143840
Change-Id: I7fe442f5044c3dce27f89d83b8003dc6e4170296

Cleanups to SqlBagOStuff

* Keep track of the custom LoadBalancer when it makes one.
* Use the custom LoadBalancer to wait for slaves if one
  was used, rather than the main singleton.
* Only wait on the slaves in the LoadBalancer if the
  main DBs are being used.

Change-Id: I11de814306c44f27e0c33b08b5921c0fd4cdc24f

Merge "resourceloader: Improve coverage in ResourceLoaderTest.php"

resourceloader: Improve coverage in ResourceLoaderTest.php

* Fix signature of makeLoaderSourcesScript() to match
  the change in behaviour since e103ba265.

* Consistently order providers before the test.

* Simplify testRegisterValid() and remove needless @depends.

* Remove unused private method stripNoflip().

Coverage:

* Expand test coverage for register().

* Add tests for getModuleNames().

* Add tests for getModule().

* Expand test coverage for addSource().
  (case of invalid array)

* Expand test coverage for makeLoaderImplementScript().
  (case of unwrapped user script, and case of invalid scripts)

* Add tests for makeLoaderSourcesScript().

Change-Id: Ibca3e486fcd3664f171f135327a0f340ee6da9ee

Clear SiteStats process cache after DB update

This fixes a phpunit test error, wherein {{NUMBEROFFILES}} would give
the number of files in the host wiki, not in the temporary database,
when Scribunto was installed, due to a Scribunto phpunit data provider
calling SiteStats::pages().

Change-Id: Ic0d021a72addaa2a13a6b94fd34dccc423de3a8f

Merge "API: Log when too many values are passed for a multi-valued parameter"

Merge "Add LBFactory::beginMasterChanges() for doing DBO_TRX rounds"

Localisation updates from https://translatewiki.net.

Change-Id: If5f82b2d32ab93592dd54cf21cb5d36c52315936

Optimize ChronologyProtector writes for multi-DC case

Change-Id: Iecd218043814ac0963c67b16d043e697a6933741

Merge "Call ssl_set() in DatabaseMysqli if DBO_SSL is set"

Merge "Move Article checkLastModified() up to MediaWiki::performRequest"

Merge "Make Special:CreateAccount respect ?returnto parameter"

Make Special:CreateAccount respect ?returnto parameter

Change-Id: I074ee184ad1fec84ef2e93eea8397d932e96e0cd

Merge "Sync up with Parsoid parserTests."

Sync up with Parsoid parserTests.

This now aligns with Parsoid commit 47e085881094299aa652320aba1dfb5b99855690

Change-Id: I2da551dc9d8568c56decbabcad8bcf8d57680b47

API: Log when too many values are passed for a multi-valued parameter

Currently the API just throws away the excess values, no continuation.
This is probably not the best behavior. There is a warning, but clients
are notorious for just ignoring warnings.

We could improve the situation:
* Turn it into an error.
* Turn it into an error for most cases, but allow some to override if
  necessary.
* Allow some cases to make it an error, while keeping it a warning by
  default.

Before we can decide which option to pick, we should get an idea of how
often this is being hit and which things it's being hit for.

Bug: T41936
Change-Id: I52926f410c30d1cd7e7fcd86465b16519fb5cbd2

HTMLFormField: Move 'flatlist' handling to fields that use it and document

Change-Id: I5dc6ad71880a741c41757bc64d236971edfbabfa

Localisation updates from https://translatewiki.net.

Change-Id: Ib1a471eb8e9692fab1e5d66cf6711388ea2e20cc

Move Article checkLastModified() up to MediaWiki::performRequest

This lets revalidations via IMS headers run a bit faster.

Change-Id: I1f61086dea4c6bc460f6249ed7fda78316117a8d

Merge "VirtualRESTServiceClient management cleanups"

Merge "Avoid INSERT..SELECT in LocalFileDeleteBatch"

VirtualRESTServiceClient management cleanups

* Add getVirtualRESTServiceClient() to MediaWikiServices.
* Support auto-mounting services that are usable by the
  main MediaWikiServices instance.
* Support lazy-loading in mount(), where only class/args
  are set until the service is needed. This avoids excess
  overhead.

Change-Id: I5c22be59664b3f5716c957e2c3d7c8e70d5fdc6c

Merge "A few more DBLockManager fixes and cleanups"

Merge "Remove some unused hooks from hooks.txt"

Remove some unused hooks from hooks.txt

These were removed in I2b2c9693a.

Change-Id: I31c2ff3ce9d734fab94695bd3e8eb85cbf65803f

EditPage: Use context instead of globals (4/4)

Change-Id: Ie84bceb0ac0940a7d14b9790eb8ab81321b20629

EditPage: Use context instead of globals (3/4)

Change-Id: Id4f905c8db35d5c64375f55e2040d40b04f18dee

EditPage: Use context instead of globals (2/4)

Change-Id: I3b727fa5cb42ca2a7abf1a54fe4f2b4996f5150c

EditPage: Use context instead of globals (1/4)

Change-Id: Ie4e9c492679a75d753b69fb09f510564b9e7f0a8

EditPage: Fix some doc blocks

Change-Id: I0399df658b3b9c000b72dacbdc4ea18678a32db4

EditPage: Add getContext() function

EditPage already has access to a IContextSource object via
$this->mArticle->getContext(), but no code ever uses it. Add a
$this->getContext() helper function and $this->context member variable
so developers are aware that RequestContext is available and should be
used instead of globals. This is the first step to de-globalifying
EditPage.

Change-Id: I17130bdaf214e9bbe0577a0ee5564ca4760c99e1

Add LBFactory::beginMasterChanges() for doing DBO_TRX rounds

This is in intended to replace the DataUpdate transaction round logic.
It could also be useful for doing transaction rounds in maintenance
scripts.

Also renamed $db => $conn in a few LB methods for consistency.

Change-Id: If21c2ba5e8bac48c250b96137279e7edaa8289f7

Merge "EditPage: Allow the 'save' button's label to be 'publish' for public wikis"

Merge "EditPage: Show a different label for the button on create vs. modify"

Merge "HTMLMultiSelectField: Add 'dropdown' option for 'mw-chosen' behavior and document"

Merge "Upgrade justinrainbow/json-schema to ~3.0"

Upgrade justinrainbow/json-schema to ~3.0

The release between 1.6.1 and 3.0.0 has a huge amount of code
maintenance changes, as well as internal optimization and some
"visible" changes (as well as the one mentioned in the linked
task).

However, it's a version jump over 2 major versions, which is,
by it's definition a major change ;). Nonetheless, the (for us)
important api has changed marginally: Instead of using the
JsonSchema\Uri\UriRetriever class to retrieve the schema, we now use
the $ref keyword to reference the json schema file (which also is
an internal optimization). In this way, we let the json-schema library
decide, how to resolve a ref (and the schema) instead of relying
on the UriRetriever api to be public and stable.

The versions also include various bug fixes (which, as far as I know,
doesn't apply to us).

I tested this change with various combinations of valid and invalid
extension.json schemas (version 2 as well as version 3). Given that
there were no major changes to the schema interpretation itself, and
the good test coverage of the library, there shouldn't be a high risk
because of this change.

The full list of changes can be found at:
https://github.com/justinrainbow/json-schema/compare/1.6.1...3.0.0

as well as the changelogs of the single versions:
https://github.com/justinrainbow/json-schema/releases

Bug: T141281
Depends-On: I5687286da9f7fa2bb2b84699fa43ab3c2547fe03
Change-Id: Ie37e2ebc48684783abf8d99d2f775ee6a5988da7

CloneDatabase: Simplify callback structure

Change-Id: I4d5184fd7417e61e9a111bd414f8c62539229ef9

Implement NumericUppercaseCollation

This collation orders text with numbers "naturally", so that
'Foo 1' < 'Foo 2' < 'Foo 12'.

Note that this only works in terms of sequences of digits, and the
behavior for decimal fractions or pretty-formatted numbers may be
unexpected.

This is only expected to work mostly correctly for English-language
text. Consider it a proof of concept. You probably want to use
an UCA collation with '-u-kn' suffix rather than this.

Bug: T8948
Change-Id: Ie268f2d92c5c75d0aaecf54ede2bdda1af3b309d

Merge "content: Refactor normalization of line endings code"

content: Refactor normalization of line endings code

The code that normalizes line endings ("\r\n" and "\r" to "\n") and
trims trailing whitespace is buried in Parser::preSaveTransform(), and
was duplicated to TextContent in 96b6afb31dfcff, as non-wikitext content
models should still be normalizing line endings.

This splits the duplicated code into
TextContent::normalizeLineEndings(), and utilize it in the Parser.
Additionally, expand the documentation of
TextContent::preSaveTransform() to document that subclasses should make
sure they normalize line endings during the PST stage.

And remove a useless rtrim() call from WikitextContent that did nothing.

Change-Id: I9094c671d4bbd23d75436f8f1d682d6dd6e6d2fc

Merge "Avoid INSERT..SELECT in doArticleDeleteReal()"

Remove commit() calls from JobQueueDB

These are not safe for the common case where the local DB
handle is used for the queue (and other table writes).

Change-Id: Ic24a05c18bf31e49bf7e9a3c058deb5d35271511

Avoid INSERT..SELECT in LocalFileDeleteBatch

That construct has poor locking characteristics in terms of
auto-inc columns as well as not allowing such inserts concurrently
for statement-based replication. Also, the INSERT..SELECT did not
have an ORDER BY, which could lead to fa_id drift with statement
based replication.

Change-Id: Iaacb75d9931b4cd24b70bdcaadd0e3979c7e9c90

Avoid INSERT..SELECT in doArticleDeleteReal()

That construct has poor locking characteristics in terms of
auto-inc columns as well as not allowing such inserts concurrently
for statement-based replication. Also, the INSERT..SELECT did not
have an ORDER BY, which could lead to ar_id drift with statement
based replication.

Change-Id: I9396869e474bc082fa6161b60afa3a5247df773b

Merge "Tell users that js/css subpages are public"

Merge "Reduce problems caused by $wgRunJobsAsync"

Fix broken lockmanager-fail-releaselock status messages

Change-Id: Icb0cfa6e38bc81c35430023afe50dd94ef3b2013

Merge "Expose form field objects in HTMLForm"

Merge "Make login/signup footer available to AuthChangeFormFields hook"

Merge "Improve default behavior for HTMLForm::canDisplayErrors"

Merge "mw.widgets.CategoryCapsuleItemWidget: Debug logging for "queue[title] is undefined""

mw.widgets.CategoryCapsuleItemWidget: Debug logging for "queue[title] is undefined"

Bug: T139130
Change-Id: Icd852a0b0d5cc42863965e303c410d1be50ff364

Merge "SpecialMyLanguage: Use page language instead of wiki language for redirect target check"

SpecialMyLanguage: Use page language instead of wiki language for redirect target check

With the change, named in Follow up, it's possible for site owners to
allow to change the language of a page using a special page.
Theoretically, any page can have another or a different page language,
depending on, if the language was changed using the special page or not.
For Special:MyLanguage it isn't enough anymore to check, if the current
user language is the same as the default content language. It has to
check, if the page language (which can potentionally differ from the
default content language) is the same as the user language.

The problem:
If content language is the same as the user language, Special:MyLanguage
currently redirects to the "base page" of a page ("Testpage" instead of
"Testpage/de"), no matter, if the page language of the base part is
another one as the default content language. This can result in the
problem, that Special:MyLanguage redirects to a page, that has a
different language as the user language, even if a subpage with the user
language code exists. This is fixed with this change.

Follow up: I0f82b146fbe948f917c1

Bug: T121834
Change-Id: Ic9fc9049813c153111829d37a2c248dc0768e0fb

Merge "Introduce {{#time: xit}} for days in the month in Iranian calendar"

Merge "User namespace localisation update for Slovak"

OutputPage.php: Reuse existing variable $user

Follows-up to 81c291f2

Change-Id: Id32daf74549c8af886a46119b30ff29ab2a6ac94

Merge "objectcache: Add missing @covers to unit tests"

objectcache: Add missing @covers to unit tests

* HashBagOStuff: 100%
* CachedBagOStuff: 64%
* MultiWriteBagOStuff: 33%

Change-Id: I50bb8f5eda7eabadb5fd4b841af42b3bbcaf9611

Reduce problems caused by $wgRunJobsAsync

* Use getCanonicalURL() to avoid links with the wrong host (e.g.
  when it is virtual) and to avoid getting redirects.
* Also disable this setting when post-send execution is already
  available, by default.
* Bump the socket timeout slightly.

Bug: T107290
Bug: T68485
Change-Id: I56c43193fa6583cc0c8209ff59cf20c986a799a3

Code cleanups to SqlBagOStuff

* Refactor local DB usage check into usesMainDB() method.
* Avoid using the db member of DBError instances.

Change-Id: I7350f5a471c551492094bfaf545ebc222eb6f7dd

Merge "Pingback: Tweak docs a tiny bit to point to mw.org better"

A few more DBLockManager fixes and cleanups

* Do not do the connection init step if the same DB handle as
  wfGetDB( DB_MASTER ) is being used to avoid clobbering it.
* Remove begin(), since only one of the subclasses wants
  transactions. That one now uses startAtomic() now.
* Make getConnection() throw an error for bad config instead
  of return null, which was not documented or expected.

Change-Id: Ib09a7972d6569c29e83e329a8f7f9f47a393b896

Merge "Move EnqueueableDataUpdate to a separate file"

Merge "Release notes for all the previous security patches"

Merge "Remove redundant isLoggedIn() call"

Release notes for all the previous security patches

Change-Id: Ie93338b7d41a90f3ffdfa1b41891994935c965c7

Merge "SECURITY: Move 'UserGetRights' call before application of Session::getAllowedUserRights()"

Merge "Remove commit() hack from User::addToDatabase()"

Merge "Various database class cleanups"

Move EnqueueableDataUpdate to a separate file

Change-Id: Iabc291cd1f3c5390ca8bcc5da64a0ff01a082575

Remove redundant isLoggedIn() call

Follows-up 3e7a50d5, 81c291f26.

Change-Id: I76f71f92ed8f2f57b871fa359c469f83357d8025

SECURITY: Move 'UserGetRights' call before application of Session::getAllowedUserRights()

This prevents hook functions from accidentally adding rights that should
be denied based on the session grants.

If some extension really needs to be able to override session grants,
add a new hook where the old call was, with documentation explicitly
warning about the security implications.

Bug: T139670
Change-Id: I6392cf4d7cc9d3ea96554b25bb5f8abb66e9031b

Merge "SECURITY: XSS in unclosed internal links"

Merge "SECURITY: Escape '<' and ']]>' in inline <style> blocks"

Merge "Run LinksDeletionUpdate after commit() in namespaceDupes.php"

Merge "resourceloader: Move batch fetch logic out of mw.loader.work()"

SECURITY: XSS in unclosed internal links

rawurldecode was being run on unclosed internal links
which could allow an attacker to insert arbitrary
html into the page.

See also related: r13302

Bug: T137264
Change-Id: I4e112a9e918df9fe78b62c311939239b483a21f5

SECURITY: Escape '<' and ']]>' in inline <style> blocks

This is to prevent people from closing the <style> tag, and
then doing arbitrary js-y things. In particular, this is needed
for when previewing user css pages.

This does not escape '>' since its used as the child selector
in css, and generally speaking, '>' is safe inside the contents
of elements.

Bug: T133147
Change-Id: If024398d7bd4b578ad7f8c74367787f5b19eb9d7

resourceloader: Move batch fetch logic out of mw.loader.work()

Changes:

* Move batch fetch logic out of work() into a new private method
  called batchRequest().

* Avoid confusion between request as 'network fetch' and request as
  'need a module'. Renamed 'request()' to 'enqueue()' to avoid
  confusion with doRequest.
  Changed most other instances of 'request' to 'require', 'need', or
  more specific request details such as 'url' and  'query string'.

* Keep comment about important of clearing the queue in work()
  and move it to be about 'queue' instead of 'batch'.
  Variable 'batch' is now local to work() and no longer shared
  through scope. I don't know why this wasn't local before.

* Remove bad early return in work() when batch is empty. This was before
  the clearing of the queue. This could cause cached modules to remain in
  the queue for the next time work() is called.

This commit is in preparation for T142129, which will make the cache-eval
logic asynchronous in mw.loader.work().

Change-Id: I91e50232637e01822b03d77d1add3a2275e18027

SECURITY: Require login to preview user CSS pages

Anon users have predictable edit tokens, hence someone could
force an anon to execute arbitrary CSS by means of a CSRF.

Bug: T133147
Change-Id: I442b2b46cadb967aaa1f35648eff183fc7eaa475

Various database class cleanups

* Refactor out some code duplication in query() into a
  separate private method.
* Remove the total master/slave query profiling, which is not
  necessary and redundant.
* Provide a default implementation for reconnect().
* Make reconnect() catch errors so it can match the docs that say
  it returns true/false to indicate failure. Likewise for ping().
* Optimize ping() to no-op if there was obvious recent activity.
* Move the ping() round in JobRunner to approveMasterChanges.
  This way, all commit rounds benefit from this logic.
* Add more doc comments for DatabaseBase fields.

Change-Id: Ic90ce2be4187244a0e8d44854c39d4b78be8e642

Merge "SECURITY: Do not allow undeleting a revdel'd file if its top file"

Merge "SECURITY: Make $wgBlockDisablesLogin also restrict logged in permissions"

SECURITY: Do not allow undeleting a revdel'd file if its top file

This prevents admins being able to view suppressed files, by simply
deleting them, and then undeleting only the file revision that they
want to view.

This dates back to r43288. Unclear if it was intentional.

Bug: T132926
Change-Id: Ib767de853a37099305db20529378fa756ee1bdfe

SECURITY: Make $wgBlockDisablesLogin also restrict logged in permissions

Does both Title and user related methods, so it catches things that only
call $wgUser->isAllowed( 'read' ), as well as giving a nicer error message
for things that use $title->userCan().

Otherwise, the user can still do stuff and read pages if they have an
ongoing session.

Issue reported by Multichill

Bug: T129738
Change-Id: Ic929a385fa81c27cbc6ac3a0862f51190d3ae993

Merge "SECURITY: Make blocks log users out if $wgBlockDisablesLogin"

Merge "SECURITY: Check read permission when loading page content in ApiParse."

Remove direct rollback() calls from some places

Rely on the mass-rollback logic in MWExceptionHandler instead.
This results in a better chance of atomicity.

Change-Id: I2eb5661d4acc105a1323d69c5463268c234bd745

SECURITY: Make blocks log users out if $wgBlockDisablesLogin

Issue originally reported by Multichill

Bug: T129738
Change-Id: Iddc58e504297c60f6d3ca99f21034fe7c5cf9801

SECURITY: Check read permission when loading page content in ApiParse.

Prevents leaking page contents for extensions that deny read rights
to certain pages via a userCan hook, but still allow the user to
have read rights in general.

Issue originally reported by Tobias

Bug: T115333
Change-Id: I19f5c2583393794cff802a70af7ccf43c2fed85c