Merge "StripState testing and cleanup"

Merge "Limit total expansion size in StripState and improve limit handling"

Merge "Fix master/replica race condition when creating null revisions"

StripState testing and cleanup

* Added StripState unit tests
* Deprecated unmaintained "half-parsed" serialization experiment
* Renamed some variables for brevity and removed unused "prefix"

Change-Id: I838d7ac7f9a2189e13d39c6939dba5d70e74a6b7

Limit total expansion size in StripState and improve limit handling

* Add a new limit to the parser which limits the size of the output
  generated by StripState. The relevant bug shows exponential blowup in
  output size.
* Remove the $prefix parameter from the StripState constructor. Used by
  no Gerrit-hosted extensions, hard-deprecated since 1.26.
* Convert the existing unstrip recursion depth limit to a normal parser
  limit with limit report row, warning and tracking category. Provide
  the same features in the new limit.
* Add an optional $parser parameter to the StripState constructor so
  that warnings and tracking categories can be added.

Bug: T187833
Change-Id: Ie5f6081177610dc7830de4a0a40705c0c8cb82f1

ApiQueryContributors: Use correct variable

Bug: T188813
Change-Id: Ibc705d61d57cfe8867d1bde35781515c25b777c1

Merge "Drop 'comma' value for wgArticleCountMethod"

Localisation updates from https://translatewiki.net.

Change-Id: I12d8afdf599386fa27fd3f9ff96f77e16ef9a560

Fix master/replica race condition when creating null revisions

RevisionStore::newFromNullRevision() carefully reads the latest revision
from the master, but then forgets to instruct emulateMainSlot_1_29() to
do the same, so the lookup query for rev_text_id in the text table is
done against a replica.

This is not usually a problem for null revisions, but it is a problem
when editing a page and then immediately moving it: this causes a null
revision to be created based on a freshly created revision, which
doesn't yet exist on the replica.

Bug: T184670
Change-Id: Ied4db5ee770716ff3edb918d2be722934c79d0c7

Localisation updates from https://translatewiki.net.

Change-Id: I29741ea3f2e69c74456584857b144f2cdb7465f9

Merge "Introduce hasSlot in RevisionRecord and RevisionSlots."

[MCR] NameTableStore

General purpose cached store for things like:
 - content_models (id,name)
 - slot_roles (id,name)
And in the future possibly namespaces & content_formats
as mentioned at:
https://www.mediawiki.org/wiki/Multi-Content_Revisions/Schema_Migration#Name_tables

Bug: T188518
Change-Id: Ia550ef7fe30af25ac3fee5ac8a89d032544563bf

Merge "rdbms: make LoadBalancer::getConnection() ignore CONN_TRX_AUTO when unusable"

Merge "rdbms: avoid strange uses of empty()"

Merge "rdbms: add missing hint check DatabaseMysqlBase::isInsertSelectSafe"

Merge "Ensure abort link parsing on xmlish tag in link title position"

rdbms: make LoadBalancer::getConnection() ignore CONN_TRX_AUTO when unusable

Change-Id: I1fd13171c3cfbe071e8e398d561281188d998767

Merge "Fix undefined $ok in DatabaseUpdater::migrateComments"

Fix undefined $ok in DatabaseUpdater::migrateComments

Change-Id: I608a693e688039526975ef5d3fe4c40c7679ed7b

Merge "User: Remove ::setCookie/etc., deprecated in 1.27"

Merge "EditPage: Remove methods from OOUI transition, deprecated in 1.30"

Merge "resourceloader: Un-deprecate makeLoaderConditionalScript()"

User: Remove ::setCookie/etc., deprecated in 1.27

Change-Id: I6b37ffd957cdeba79037dadd36f50e0a0b89e5f5

EditPage: Remove methods from OOUI transition, deprecated in 1.30

No uses found in code search.

Change-Id: I683538f72eab3002ebb4b3e0c76a1ffa6fb9e39a

rdbms: in Database::selectSQLText, do not treat $conds = "0" as no condition

This fixes an issue that arises because empty( "0" ) is true in PHP.

The new behavior rejects any conditions that are not strings or arrays,
and lets $conds = "0" be passed to the databases as WHERE 0.

Some databases may reject this as invalid syntax, which is the expected
behavior here, instead of silently ignoring the 0, causing no condition to
be applied to the query.

Bug: T188314
Change-Id: I5bc4d7f41221a886c85e54d9da67c4c095a7d9ce

rdbms: add missing hint check DatabaseMysqlBase::isInsertSelectSafe

This was lost when a bunch of other logic was split off in 671368a59e3

Change-Id: I3d3f744f8fce007ecf88cbd2c9f99918b06f0573

rdbms: avoid strange uses of empty()

Change-Id: Id1a8d1aae72cdee48e43ddb3227cd697516411e0

Merge "Expose the latest modified index seen by EtcdConfig"

Merge "rdbms: make Database::insertSelect() stricter about replication safety"

rdbms: make Database::insertSelect() stricter about replication safety

Avoid the native INSERT SELECT method if a LIMIT clause is present.

Change-Id: Ibf9b8a4a42092fbc98d7ebd45167203a6a8801ee

Pass '' instead of false for the $conds parameter in select calls.

Per documentation on IDatabase, $conds must be a string or an array.
Passing false for conds is confusing, since it's unclear whether this
should match everything or nothing.

Bug: T188314
Change-Id: I8be1ac4cbdaafc41aadc2a658be8a99b754b0268

resourceloader: Un-deprecate makeLoaderConditionalScript()

It was deprecated to encourage callers to use makeInlineScript()
instead, because before makeInlineScript() was introduced, callers
would often manually wrap it in a <script> tag, which we don't want
because 1) We want de-duplication through WrappedString and 2)
callers sometimes forget to use Html.php methods that ensure
proper escaping as-needed.

However, there is still use in getting thet wrapped script without
also the wrapped HTML script tag. Namely, for use in http responses
that produce JavaScript, rather than HTML, where there cannot be
an HTML script tag.

There is at least one such caller (in SpecialJavaScriptTest) and
it's fine for there to be others.

Change-Id: Icfc285e12293c76dc68a220deb6816e32b058209

Follow-up 6d4e1547: Hard-deprecate these functions

Only use in Wikimedia production is in GlobalCssJs, below.

Depends-On: I7543fe9ea393901379c16c4f0b1e96fa20955b6f
Change-Id: I66292b179d948e46dba3513f50c3d36012765a9d

Drop 'comma' value for wgArticleCountMethod

We have three methods for page counting currently supported for wikitext
non-redirect pages; 'any' counts any page that exists, 'link' counts any
page that has any outbound links, and 'comma' which searches for any ','
in the text having loaded it. This last option is much slower than these
other two, and is only used on a very small number of installations. Now
by dropping support for this method we can simplify this code and so run
it more often. Note that non-wikitext pages already did not support this
count method.

Installations with this setting set to 'comma', or any other string will
now work as if it was configured with 'any'.

Bug: T188472
Change-Id: I965927edcd2485ec4b49b2d80fdf216dbf19520b

rdbms: make replace()/upsert() use atomic sections

This makes them consistent with nonNativeInsertSelect()

Style aside, there is also the potential edge case of:
a) no transaction being active yet, with
b) the first query being replace() or upsert(), with
c) DBO_TRX being set (usually part of an implicit transaction round)

Previously, in that case, these methods would commit the transaction
they started, rather than leave it open. The correct semantics are
to leave it open. Since MySQL redefined upsert() to use ON DUPLICATE
KEY UPDATE, it already had the right behavior.

Also make sure that rollback() always sets the affectedRowCount
field to 0.

Change-Id: I15f923d3d4799cffc60e3aaea934f4ca1a9488e1

Merge "rdbms: refactored code into separate Database::getClass method"

rdbms: refactored code into separate Database::getClass method

Change-Id: Ic09ce2ea541d04f3cb3bc80a4a59c8b525ed8c53

Localisation updates from https://translatewiki.net.

Change-Id: Ibd74ef97fc27e4cd42491a049f9bd08a06859487

Merge "multiselect: Use MenuTagMultiselectWidget"

multiselect: Use MenuTagMultiselectWidget

…instead of CapsuleMultiselectWidget

Bug: T183299
Change-Id: I58385968c03e9b53ea8fc4d64de5d6540d12acc1

Ensure abort link parsing on xmlish tag in link title position

This shouldn't be dependent on the current definition of legal title
chars and strip marker.

See the test "<nowiki> inside a link"

Change-Id: I0d87aca1bb0adf4ec5ac480e0373a65fcd150a72

mw.widgets: Add SizeFilterWidget and its PHP implementation

Bug: T183765
Change-Id: Ieb551e901405749489059366de9af6316f369cc0

NewPagesPages: Use array_merge rather than + for RC query info fields

Unlike CommentStore::getJoin() and ActorMigration::getJoin(), the tables
and fields of various ::getQueryInfo() methods aren't guaranteed to be
safe to use with array '+'.

Bug: T188555
Change-Id: Ibe99edcb93d1729935fed6232ba4fe2e7d39cea6

Expose the latest modified index seen by EtcdConfig

While not immediately useful for fecthing the configuration, this is
basically a version information about the configuration currently loaded
from etcd. A typical use-case for this index is monitoring the freshness
of the configuration across a cluster of servers.

Bug: T182597
Change-Id: I58189d36a5b620fb44323bae87257f085a64386e

Merge "Only add header when description not already has it"

Merge "Fix bogus DatabaseOracle::__construct() calls in OracleInstaller"

Merge "Use findSelectedItems instead of getSelectedItems"

Use findSelectedItems instead of getSelectedItems

Bug: T76630
Depends-on: Ic1be36b62f6c48c9f40feace009fe4ca3e7a8e3f
Change-Id: I0f0e0f3494e2993e604dd7d0e6d15c2d1f34e772

Fix bogus DatabaseOracle::__construct() calls in OracleInstaller

Change-Id: I12a35ac0eeb68e5da9ba07ba44d3522213e9de8e

Merge "rdbms: allow callers to hint that native insertSelect() is safe"

Merge "Database: Add batching to non-native insertSelect()"

Merge "Fix table loading bug for CRH transliteration"

Localisation updates from https://translatewiki.net.

Change-Id: I59d4acb939e5ac374a3166c5edf61f72bde87e37

Merge "Parser: Don't wrap <style> or <link> tags in paragraphs"

Parser: Don't wrap <style> or <link> tags in paragraphs

If <style> or <link> tags are by themselves on a line, don't wrap them
in <p> tags. But, at the same time, don't end an existing paragraph if
we find <style> or <link> in the middle (like we would if we just
treated them as block tags).

If <style> or <link> is on a line with other text, though, let it be
wrapped in a paragraph along with that other text.

Bug: T186965
Change-Id: Ide4005842cdab537226aa538cb5f7d8e363ba95d

rdbms: allow callers to hint that native insertSelect() is safe

An INSERT SELECT in MySQL/MariaDB is unsafe for replication if a column
is getting values from auto-increment, statement-based replication is in
use, and the default innodb_autoinc_lock_mode is set.

I9173f655 added checks to force non-native insertSelect for the
statement-based replication and innodb_autoinc_lock_mode != 2 case, but
determining whether a column is getting values from auto-increment is
too hard to do automatically there.

Instead, let's add a flag to let the caller hint that the query isn't
getting any auto-increment values. And use it in MysqlUpdater when
appropriate.

Bug: T160993
Change-Id: If70450a64aa3bcbf763c62838bb21306d124ae3d

Database: Add batching to non-native insertSelect()

It would be easy for a call to nonNativeInsertSelect() to generate an
INSERT that's too big for the database to actually process. Add batching
to try to avoid that.

Bug: T160993
Change-Id: I1de994208d95926f0d75c0d7cab7b5fe1dd565c3

Merge "Separate additional swift users for public and private"

Merge "API: Update main description to reflect reality"

Merge "WikiPage: Avoid $user variable reuse in doDeleteArticleReal()"

Merge "Update namespaces for Sindhi"

WikiPage: Avoid $user variable reuse in doDeleteArticleReal()

$user was being used to represent the person who was deleting the page as
well as a variable when dermining the person who made an edit in each
row as it was moved to the archive table.

Make it unambigious which variable is used to represent the person deleting
the article by renaming it to $deleter.

Bug: T188479
Change-Id: Ia06e7fb840ebc68446127352e336a7e33c813042

Merge "In StripState use closures instead of temporary member variables"

Merge "Avoid use of deprecated SiteStatsUpdate::__construct()"

API: Update main description to reflect reality

For quite a while now, the API no longer "may change at any time". Any
potential breaking change goes through code review, usage analysis, and
usually, a deprecation process.

This process was implemented as part of the "API roadmap"[1] RfC in
2014.

Today, the API is mature and stable, but still actively developed and
maintained. Breaking changes can still happen, and we want people to
subscribe to the -announce mailing list, but it's not as scary as the
old text implied.

[1]
<https://www.mediawiki.org/wiki/Requests_for_comment/API_roadmap#Deprecation_process>

Change-Id: If13172a35a3d041bce745aa72a835bfddcfe62c0

Merge "Do not run ipblocks cleanup randomly, just do it all the time"

Do not run ipblocks cleanup randomly, just do it all the time

It's a deferred update and the number of blocks are small

Change-Id: I75e0b7dc38b22f8aa7453582d535a8ab8121fd1a

Avoid use of deprecated SiteStatsUpdate::__construct()

Change-Id: I9bf70fefe3ca146525e9b7cb436c9a577fb8eaee

Merge "RCFilters: Actually apply the $autoCloseIgnore to the overlay"

RCFilters: Actually apply the $autoCloseIgnore to the overlay

The way we extended the configuration meant we overrided the
overlay $autoCloseIgnore with default rather than override the
default with the overlay.

Bug: T188459
Change-Id: If20bd400a8a206aa77c25c390d9e9ce5111b68cb

In StripState use closures instead of temporary member variables

The former convention was an awkward workaround for the lack of
closures.

Change-Id: I8722e168fb9b5e76cf6a937139be728bb3fc3e92

Merge "shell: Don't use --seccomp=@default for firejail < 0.9.50 support"

Merge "Update more forms to limit comments by codepoints rather than bytes"

Add a missing check of $wgActorTableSchemaMigrationStage

We shouldn't be trying to update the table when it's MIGRATION_OLD.

Bug: T188437
Change-Id: Id5aae5eaafc36bf7e65009e67fe91619fb1df295

Localisation updates from https://translatewiki.net.

Change-Id: I9451759812c8112ae1be6583659a78a6f53ef935

Merge "Use findSelectedItem instead of getSelectedItem"

Merge "Remove wfWaitForSlaves when using Maintenance::commitTransaction"

Use findSelectedItem instead of getSelectedItem

Depends-on: I0f1d9c1f31efcc10d3647103548770d2101050d9
Bug: T76630
Change-Id: I6782909cfff3b10c0f651a26081cb73f37e82b83

Merge "Remove wfProfileIn/wfProfileOut"

Merge "Accept non-fully qualified TestCase in StructureTest"

Merge "Create a custom log formatter that allows log entries to contain wikitext"

Create a custom log formatter that allows log entries to contain wikitext

This creates a new log formatter called WikitextLogFormatter, which
is a simple class that allows log entries to contain properly
formatted wikitext. This makes it easier for extensions so they don't
have to create their own subclass of LogFormatter.

Change-Id: I2b7fddf5c6ef017a0925b4bf75cfd47cb55aa5de

shell: Don't use --seccomp=@default for firejail < 0.9.50 support

Just using a plain `--seccomp` automatically enables the default list.

Bug: T183680
Change-Id: I623db943eeb5c3e9d4f7a553fb6a17a60d659dce

Localisation updates from https://translatewiki.net.

Change-Id: I11123ffd371ab1883530b4342f1d4af38485464f

Remove wfWaitForSlaves when using Maintenance::commitTransaction

Maintenance::commitTransaction is calling waitForReplication already.
No need to wait a second time, hopefully the lags are 0 already.

Change-Id: Id457ed2cdd6bfd9663665ba0cd5c4e3dd640b738

Merge "updateCollation.php: Improve --dry-run mode"

Exit populateIpChanges maintenance script if there are no revisions

Bug: T188225
Change-Id: Ice1bdae3d16cf365da14c6df0e8d91d2b914f064

Fix table loading bug for CRH transliteration

In production, the regex and exception tables were not being loaded,
resulting in very poor transliteration. The loading has been moved to
the contructor, similar to the implementation of the Kazakh
transliteration.

Also, a bug in the mappings for Ö/ö -> Ё/ё and Ü/ü -> Ю/ю has been
fixed.

Test cases for specific additional examples have been added. (Though
it is worth noting that the regex and exception tables did load
properly during unit testing, so the problem wasn't caught there.)

Bug: T186727
Change-Id: I6bacee7d9de6f4a870a8a9ef1f04b819ad489c02

Update more forms to limit comments by codepoints rather than bytes

This updates the deletion forms, Special:Block, Special:EditTags,
Special:MovePage, Special:RevisionDelete, Special:Undelete, and
Special:UserRights to limit by code point count rather than by byte (or,
in some cases, by UTF-16 code unit).

Bug: T185948
Change-Id: I20d11d7cc4f58902cbcb6dda70af533bce6dd170

Introduce hasSlot in RevisionRecord and RevisionSlots.

Change-Id: Ie7ee2afe26d37ac726f4682c96166cb89134227c

Accept non-fully qualified TestCase in StructureTest

This makes StructureTest also recognize test classes which look like

    use PHPUnit\Framework\TestCase;

    class FooTest extends TestCase {

instead of

    class FooTest extends \PHPUnit\Framework\TestCase {

This form is preferred, for instance, in Wikibase code.

Bug: T188276
Change-Id: I5bef035df33d317893ad3ba195ecb75f3b09a62f

Separate additional swift users for public and private

For better security seggregation it can be desirable
to set different additional swift users when dealing
with private containers.

Bug: T187822
Change-Id: I66d26ec81b3a3577d274c0d28cf86db7b505e082

Merge "Chinese Conversion Table Update 2018-1"

Merge "SpecialPageAliasTest: Fix arguments of Language::fetchLanguageNames"

Localisation updates from https://translatewiki.net.

Change-Id: I1eed5fd6944bbd829ed1fbb5950e89c8b85c87f6

Chinese Conversion Table Update 2018-1

1. Update the Chinese conversion table routinely to fix bugs reported from https://zh.wikipedia.org/wiki/Wikipedia:%E5%AD%97%E8%AF%8D%E8%BD%AC%E6%8D%A2/%E4%BF%AE%E5%A4%8D%E8%AF%B7%E6%B1%82 .

2. Fully support the conversion of Chinese characters included in "Table of General Standard Chinese Characters" (通用规范汉字表).

It is only data changes and only works for Chinese WikiProjects.

Change-Id: I7f94eb01b3b50427cbb96084152e574b066d5fbf

SpecialPageAliasTest: Fix arguments of Language::fetchLanguageNames

Language::fetchLanguageNames( 'mwfile' ) means all languages with the
default filter 'mw' and names in the language 'mwfile'.

Language::fetchLanguageNames( null, 'mwfile' ) means language all
languages with the filter 'mwfile' and names in the default language.

This change removes the test for the language codes:
* aa
* als
* bat-smg
* be-x-old
* cho
* fiu-vro
* ho
* hz
* kj
* kr
* mh
* mus
* ng
* no
* rn
* roa-rup
* shi-latn
* shi-tfng
* simple
* tum
* uz-cyrl
* uz-latn
* zh-classical
* zh-min-nan
* zh-yue

Change-Id: I7266a67e37862daf863d1565d84cfeebaf5cb680

content: Fix @return doc for AbstractContent::getDeletionUpdates()

If a subclass re-implements this function, then there's no guarantee
that it will be returning instances of LinksDelet

Change-Id: I09a0c0a786b687997e61344847f8af08b20cebf2

Fix phpdoc for Maintenance::getDB

It has the same parameter as wfGetDB including $groups as string

Change-Id: Id531488e1c2bddce71946423010620323e08bc0a

Remove wfProfileIn/wfProfileOut

@deprecated since 1.25

Change-Id: Ie13c31816280fa577ef6bfb5fef172163f83c408