Accept BCP 47 codes as aliases for nonstandard variants

The browser Accept-Language header uses BCP 47 codes, which don't
precisely match our internal mediawiki variant names in a number of
places.  Allow proper BCP 47 codes to alias our internal variants
for: Accept-Language parsing, URL parsing, user preferences, and
explicit enumeration of codes in LanguageConverter rules.

Change-Id: I8468a56d5b88f5786abd0a17b67bda2f1687fd0c

Ensure LanguageCode::bcp47() returns a valid BCP 47 language code

MediaWiki uses a number of nonstandard codes which do not validate
according to the IANA language subtag registry.  Some of them have
the wrong semantics entirely: MediaWiki's `sr-ec` variant maps to
BCP 47 `sr-EC` which is "Serbian as used in Ethiopia" (!).

Extend LanguageCode::bcp47() to map our nonstandard codes to valid
BCP 47 language codes.  Export the mapping so that it can be used
in JavaScript's corresponding mw.language.bcp47() implementation
as well.

Thanks to TheDJ (I10b4473c7e53f027812bbccf26bb47aec15fddfd) and
Fomafix (I93efc190714ba76247d30ba49fc21ae872fc3555) for previous
attempts at this!

Also removed a fixme for the name of 'Twi', dating back to 2004
(f59c3be23b209e178a917cb14ebedcc243c847b6) -- checking
tw.wikipedia.org it certainly appears that the autonym of 'Twi'
is correctly 'Twi'.

Tracking bugs for invalid language codes are T125073 and T145535.
Discussion of zh-XX => zh-HanX-XX mapping is at T198419.

Bug: T34483
Bug: T106367
Bug: T120847
Change-Id: I807dd55d49e9bd19443329231326a5b0d3e6c453

Merge "Hard deprecate Language::truncate()"

Merge "Don't armor french spaces before punctuation followed by word characters"

Merge "Add test for PageArchive::getPreviousRevision"

Merge "Put <dt>/<dd>/<li> in the always-suppressing category of doBlockLevels"

Merge "Use a closure instead of PathRouterPatternReplacer"

Put <dt>/<dd>/<li> in the always-suppressing category of doBlockLevels

This is a clarification of what already happens in practice for lists
generated from wikitext syntax, since that parsing happens
simultaneously.

Parsoid, for its part, does list handling prior to paragraph wrapping,
so must make use of these definitions.

Further, this helps reduce paragraph wrapping in interstitial spacing of
lists from HTML syntax, as spec'd in the tests, though the possibility
isn't eliminated entirely.

The TOC generation code is altered to reduce the number of newlines
emitted in between list items, since those are now left intact.

Change-Id: I6888b6e8e6768b0737565b87924fefa5a06ebd18

Merge "<ins>/<del> elements can be phrasing or flow"

<ins>/<del> elements can be phrasing or flow

The changes to the parserTests.txt highlight the differing opinions that
doBlockLevels and Remex had on whether these should be paragraph wrapped.

Since the only time they wouldn't have been was when found on a line
with other flow tags, this likely isn't a behaviour that was depended on
in practice.  And, indeed, the task describes this as a bug.

A sampling of pages from an insource:/\<(ins|del)\>/ search on wiki bears
this out.

Bug: T17491
Change-Id: I311da777a63aa3c45013f2cfc090be35a022497e

Add test for PageArchive::getPreviousRevision

Regression test for  I4e2031f9625744

Change-Id: Id22984bf7d1c3d6f57e827e9f1283231918b59b1

[PageArchive] Fetch ar_rev_id instead of ar_id

Introduced in I92afda8, the query fetches ar_id but the code expects
ar_rev_id.

Change-Id: I4e2031f96257449a264142a6d697aca802e897df

installer: Add missing new-line after "comment fields are up to date"

Before:
> ...comment fields are up to date...hitcounter doesn't exist.
> ...site_stats table does not contain ss_total_views field.

After:
> ...comment fields are up to date.
> ...hitcounter doesn't exist.
> ...site_stats table does not contain ss_total_views field.

Change-Id: Ia99758f9af379a84c20d99e05838802965def3b6

Merge "Let 'shows page creation' test be skipped"

Let 'shows page creation' test be skipped

Troubleshooting can happen in parallel without blocking
unrelated work from being merged.

Bug: T198137
Change-Id: Ie84a868a580968ff99ff6879050080c6495fa72a

Merge "Replace use of deprecated Language::truncate()"

Localisation updates from https://translatewiki.net.

Change-Id: Iae46fa70b5925ec04bf8d2fda05695e2e7af64d0

Pedantic strict equals.

Change-Id: I53b046def3ce44b218490ee2a1f0a77dc27825d7

Merge "WebReponse: Use values altered in 'WebResponseSetCookie' hook"

Merge "Fix populateContentTables.php with no rows"

Fix populateContentTables.php with no rows

MIN() and MAX() return null if there are no rows. Fill in a dummy row in
that case.

Change-Id: I7caba98a5ec30e15e19d49effa22a70c78a71c28

StringUtils: Deprecate Replacer classes

The Replacer classes were added in 1.9, when MediaWiki supported PHP 5.0
and 5.1. They were designed to be used with preg_replace_callback() and
StringUtils::delimiterReplaceCallback(). Now that Closures exist in PHP
5.3 and newer, there is no need to define a class for this purpose.

All existing Replacer subclasses are simple enough that their few uses
can easily be replaced with Closures, without making the code harder to
understand. In fact, the code probably becomes easier to understand, as
what each match is replaced with becomes more obvious -- no need to
refer to a separate class.

MediaWiki code search finds no uses in extensions. Thus, these classes
are hard deprecated immediately.

Change-Id: I441c21689909fb06a1ea07a305259eeb82cb2345

Merge "Deprecate specialized file errors in OutputPage and fix escaping"

Merge "Start working on phan-taint-check warnings. Fix minor escaping issues."

Merge "Mark InnoDB as recomended in the installer."

Mark InnoDB as recomended in the installer.

Most users will have no idea what this is, and I honestly wonder
why we even offer a choice here.

Change-Id: I496d1056f089c35bff321a8206ca264b12a54d56

Sync up with Parsoid parserTests.txt

This now aligns with Parsoid commit 564b5d3a37580912793b81a021011e3e33d1219a

Change-Id: I8203797d6d6383a6a2d58d6e6f9a7d46b5c788f3

Merge "Special:Log: Convert to HTMLForm"

Start working on phan-taint-check warnings. Fix minor escaping issues.

This fixes 26 of the phan-taint-check warnings on MW core. Some
are outright fixed, others are false positives that were suppressed.

This really only covers some of the easy ones. There are still
314 warnings to go.

Change-Id: I30463bc3a09fd4324d190de8533f51784764dd3a

Merge "objectcache: make CachedBagOStuff implement makeKeyInternal()"

Merge "Add config to use change_tag_def table for Special:Tags"

Merge "Hide TOC with CSS instead of JavaScript"

Localisation updates from https://translatewiki.net.

Change-Id: I2a5c983b0576df41ee9258890589c45448d24b53

Merge "shell.php: prevent permission error"

Merge "Convert numerous UNIQUE INDEX to PRIMARY KEY"

Merge "rdbms: add IDatabase::lockForUpdate() convenience method"

Convert numerous UNIQUE INDEX to PRIMARY KEY

MySQL, SQLite, PostgreSQL and MSSQL done with transitional patches.

One additional duplicate index removed from PostgreSQL schema.

Having a PK is essential to do maintenance, specially on large tasks.
By not having a PK it is impossible to add it in a safe way if not done
directly on the master.

Having a PK means that we can easily change the PK into another one if
needed in the future. The ones we chose might not be the best ones, but
will allow us to get them changed.

Bug: T198811
Change-Id: I6b96a427687085c6c24bcd759c9739f81288b919

Merge "Rename index type_action to log_type_action"

Rename index type_action to log_type_action

Bug: T51199
Change-Id: I697fd5689e573bfa965ca75385f919c9a8403c14

Merge "Update OOUI to v0.27.5"

Merge "RCFilters: Explicitly set the default highlight color to null"

Deprecate specialized file errors in OutputPage and fix escaping

OutputPage has a number of specialized error reporting methods
related to file handling. With exception of showFileDeleteError,
they are all unused. In my opinion such specialized error handling
does not belong in OutputPage, but in whatever class is generating
the error.

Futhermore, these functions do not appropriately escape their
arguments or their i18n messages. I replaced the one usage
in SpecialUpload with an equivalent that does escape properly.
This is not exploitable as the attacker is not in control of
the temporary file name, but it is very bad practice.

This deprecates the following methods:
* OutputPage::showFileDeleteError()
* OutputPage::showFileNotFoundError()
* OutputPage::showFileRenameError()
* OutputPage::showFileCopyError()
* OutputPage::showUnexpectedValueError()

[Discovered with the help of an experimental phan plugin]

Change-Id: I9e7aaa59ded66f32c78cfdfed1e59e073ffd5051

Update OOUI to v0.27.5

Release notes:
 https://phabricator.wikimedia.org/diffusion/GOJU/browse/master/History.md;v0.27.5

Depends-On: I9d3b2480e1bece91f1e43fd268fa5ab0fbfb89aa
Change-Id: I2896bc9a07ab9939e254b18ee5ff3b38fdf5c44a

RCFilters: Explicitly set the default highlight color to null

Other code checks !== null on this, and since undefined !== null, it
will incorrectly think a highlight color is set when it's not.

Bug: T199144
Change-Id: I5dbe95ff3c2a5e9c4597a1794a0d3256b671238f

Use $lang->hasVariants() instead of count( $lang->getVariants() ) > 1

Change-Id: I23668c69a8d8cc886168cbbd4f94cf13b597b5a6

Add config to use change_tag_def table for Special:Tags

Bug: T199334
Change-Id: Ieb8709caf0d8ee16086296baa75f751c7723c101

objectcache: make CachedBagOStuff implement makeKeyInternal()

Change-Id: I38821d131982d103b9d130e7310bc652f57ea696

rdbms: fix value of ChronologyProtector::POSITION_COOKIE_TTL

This was supposed to be 10 (~LoadBalancer::MAX_WAIT_DEFAULT) but
ended up as 60 by mistake in 52af356cad (when the constant was added).

Bug: T194403
Change-Id: Ie94949eebaafde2e0c4e2fcffabcb78866363a27

Merge "In RevisionStore, use DB_MASTER when READ_LATEST is set."

Merge "Simplify PHP by using ?? and ?:"

Merge "Implement makeKeyInternal() for ReplicatedBagOStuff/MultiWriteBagOStuff"

Use a closure instead of PathRouterPatternReplacer

In PHP 5.3+ it's simpler to use closures rather than a replacer class to
pass parameters through to the preg_replace_callback() callback.

Remove without deprecation internal class PathRouterPatternReplacer,
unused in core and Gerrit-hosted extensions.

The new implementation is very similar, except that I renamed some
variables for clarity.

Also fixed an incorrect doc comment parameter type.

Change-Id: I4cd3c0162acdb02d51ab5b7f03b0a16e0a818d99

Expand the default watchlist time from 3 to 7 days

Bug: T194414
Change-Id: I682161b93ea018dc1f552b6ac1a0555c162e7339

SpecialChangeEmail: Log email changes

Bug: T151415
Change-Id: Icc403be286f87a591ebc9d3e07d84b09f8b87713

Simplify PHP by using ?? and ?:

Also remove not necessary surrounding parentheses.

Change-Id: I0eb5c9c1bdfb09a800258379cdcefb5fd4d3d21c

Merge "mediawiki.language: Combine with 'mediawiki.language.data' and 'mediawiki.language.init'"

Merge "mediawiki.api: Simplify mw.Api constructor"

Localisation updates from https://translatewiki.net.

Change-Id: I3e4bbf58fac272565129be799bb50912296bcb4c

Replace redundant Assert calls with native typehint

* PageUpdater: Plain class type hints never needed Assert,
  not sure why that was here.

* CategoryMembershipChange: The 'callable' typehint was introduced
  in PHP 5.4.

Change-Id: I958bd63a7f9edec3a297f34fe43339fac5f43006

In RevisionStore, use DB_MASTER when READ_LATEST is set.

This fixes a few instances where a replica connection was used to read
auxilliary data even if the READ_LATEST flag was passed.

Bug: T198869
Change-Id: Ie3b5f7921f939e6bd5216130dc4adcf242e5c624

rdbms: add IDatabase::lockForUpdate() convenience method

Change-Id: I238fd96407e1122e90058e2c4acf743044a267ec

Merge "Use master  when fetching revision to base a null-revison on."

Merge "Run populateContentTables.php from update.php"

Merge "RELEASE-NOTES-1.32: Re-wrap to 80 chars again"

mediawiki.language: Combine with 'mediawiki.language.data' and 'mediawiki.language.init'

The latter two modules are never used separately and have no references
anywhere in Wikimedia Git outside MediaWiki core.

Remove without deprecation as they were introduced only as internal
work-around to be able to call setData after init.js and the rest of
'mediawiki.language'. Which is actually trivially done by concatenating
one after the other, but for some reason I didn't think of that when
reviewing 4c6c50f20661 in 2012.

Also fix an annoying race condition in the unit tests that
often caused tests to fail locally.

Change-Id: Ic61f86b0dcbfac82da230770f66cb72e97bd9a03

Use master  when fetching revision to base a null-revison on.

Bug: T198869
Change-Id: I7396246581deabc2cb7206b3e5d2a6f97f6d7418

Merge "Special:PasswordReset: Make the user field a user lookahead field, not just text"

Run populateContentTables.php from update.php

Since update.php will eventually be dropping the old columns and fields,
we should make sure the migration script gets run first.

Bug: T197818
Change-Id: I47f5ba4e21b4fe2ef0beb9fc83896cd4b0a0d505

mediawiki.api: Simplify mw.Api constructor

* Use a different variable for the argument and the created
  'defaults' object for this instance.

* Don't modify the given object (it could previously modify
  the 'ajax.url' property).

* Make the 'useUS' logic more explicit and merge it with the
  'ajax.url'  handling, that it previously reacted to.

Change-Id: Ib1f50876359152935b8cb9b021ea0a95915808e2

mw.special.preferences: Prevent invisible accessibility hint from affecting content

With the current styles, if there is some text before the preferences
form (it can be defined in the 'preferences-summary' message), the
`<div class="mw-navigation-hint">` somehow pushes the rest of the page
content down by a few pixels. I think it might be preventing some
margins from collapsing? This actually causes a tiny FOUC after the
styles load.

Instead, use a neat pure CSS technique borrowed from Vector:
b843094a2d8c27a17e2c2b2ba97fb4aeea1d95d4.

I'm only changing the OOUI version, since the old one doesn't have the
problem.

Bug: T195986
Change-Id: I21924dd13bb83a0cb75b337ae7439c8ad8357946

Merge "List deleted revisions in well defined order"

Merge "[MCR] Make PageArchive aware of MCR"

List deleted revisions in well defined order

Change-Id: I3040e0a3f6367809a22198b8b3f76048aa6c1562

[MCR] Make PageArchive aware of MCR

Bug: T194015
Change-Id: I92afda87961860983f080d96fa0616a6fcca64e4

Implement makeKeyInternal() for ReplicatedBagOStuff/MultiWriteBagOStuff

Make these proxy to the "write"/"main" cache backend like the other
key methods.

Change-Id: Ie176577d9b52807493d6da9eea963ba440b86330

Special:Log: Convert to HTMLForm

* All Xml generation code has been removed.

* The LogEventsListGetExtraInputs hook now needs a form
  descriptor array and not plain HTML.
  See I37e0d3e81a46239750465b9299279fbbd7c7f87a.

* LogPager and LogEventList also take the $day parameter
  for 'From date (and earlier)' and pass it to getDateCond
  as well.

* Since FormOptions can't automatically extract the date
  from the request this is being done manually in the
  execute method of Special:Log using MWTimestamp.

Bug: T117737
Change-Id: Iba3c6aa5ac40dcdee0792c2d045b238b02d76521

Merge "mediawiki.inspect: Add headings to console and use console.group()"

Merge "Fix the bug for dates between 1912 and 1941 in Thai language"

Merge "Use Language::equals to compare Language objects"

Merge "Language: compare on same object in equals()"

Merge "registration: Document ResourceLoaderImageModule's useDataURI option"

Use Language::equals to compare Language objects

With I8a47a8500922906bd4e4936b59b657de3bb9abdc Language::equals can
directly and faster compare the objects.

$wgLanguageCode can differ from $wgContLang->getCode() when a deprecated
language code is used. This change prevents this because Language
replaces deprecated language codes in Language::factory().

Change-Id: I07f47eceff8b3a4192278b1e9e1cfd9a41816a1c

Language: compare on same object in equals()

Change-Id: I8a47a8500922906bd4e4936b59b657de3bb9abdc

mediawiki.inspect: Add headings to console and use console.group()

This adds a log message before each dump to indicate which report follows.
Most of the table's headings communicated to some extend what the table is
about, but the heading should make it easier to use.

Also, where available, use console.group(), which makes the
tables collapsible for easier navigation.

Change-Id: I6855441ce6e3052cdc875e439380820b61d040c1

registration: Document ResourceLoaderImageModule's useDataURI option

Without these rules, validation will fail in any skin or
extension that tries to use it.

Follows-up 36252b7.

Bug: T198930
Change-Id: Iee77655d4868a7d921be8cc23776a7859d9acf0c

CSP: Allow an option of disabling nonces

The current rollout plan calls for initial rollout to only
disallow external JS, and leave removing unsafe inline stuff
to a later date. Thus this adds a useNonces option to the CSP
config to allow that.

Renamed ContentSecurityPolicy::isEnabled() to isNonceRequired
for clarity. The old name has never been in a released version
of MediaWiki, so is removed immediately.

Change-Id: I756d8e97b77c6f97dbbf040a20c8750fecb157c5

Merge "Avoid arithmetics on localized number string ("0,04") in SpecialWatchlist"

Merge "Ensure whether user can rollback page in ChangesList"

Special:PasswordReset: Make the user field a user lookahead field, not just text

Change-Id: If7795ca038d230e4a9bc665bae0c90d534f0f3ad

Merge "UsersMultiselectWidget: Reduce default non-JS rows to 10"

Localisation updates from https://translatewiki.net.

Change-Id: I9831872a1c218da0ac6b25c8b39548d269a64025

Merge "Add a method to HTMLForm that allows the preText to be accessed externally."

Merge "Remove most uses of deprecated Language::truncate()"

Hard deprecate Language::truncate()

This was split into Language::truncateForVisual() (which measures characters)
and Language::truncateForDatabase() (which measures bytes) in 1.31.

Bug: T197492
Change-Id: I949eab4ceb8dcb707b45edf7623e496eb99fe33b

Replace use of deprecated Language::truncate()

Follow-up to I2291c69d9df17c1a9e4ab1b7d4cbc73bc51d3ebb -- this code uses
sprintf to align text, which won't really work for multibyte UTF8 or
unicode combining characters.  Alas.  Do the best we can for now.

Bug: T197492
Change-Id: Iaa4d7bd64588ca1f215921339d84f960380ae12b

Merge "Replace 'capsule' with appropriate 'tag'"

Merge "Avoid losing cached ParserOutput in doEditContent."

Replace 'capsule' with appropriate 'tag'

UsersMultiselectWidget class extends OOUI's MenuTagMultiselectWidget,
not CapsuleMultiselectWidget any more.

Change-Id: Iea7450a371720bed392dfedb1032bc8c63c89fc4

Remove most uses of deprecated Language::truncate()

The Language::truncate() function was split into
Language::truncateForVisual() (which measures characters) and
Language::truncateForDatabase() (which measures bytes) in 1.31, but
the patch which soft-deprecated Language::truncate() didn't actually
remove all the uses in the codebase.  Replace most of those old uses
now, which should actually improve the situation for
non-latin-alphabet users who were getting unfairly squeezed in a
number of places.

Bug: T197492
Change-Id: I2291c69d9df17c1a9e4ab1b7d4cbc73bc51d3ebb

UsersMultiselectWidget: Reduce default non-JS rows to 10

Reducing non-JS textarea `rows` attribute value to a more sane
default of `10`.

Bug: T194525
Change-Id: I6457ff354023a68d3e878e62161912dea4ff3d70