selenium: page spec, make it easier to see where strings come from

Having randomly generated strings is great, but sometimes
it can help to allow a human to easily see where the string
is actually being generated in code, so add an optional suffix
to the string being generated.

Change-Id: Ibfe45f74b4880a70a76c01223a787dabcd43607e

Use wd/hub not /wd/hub in selenium.sh

I have run into this before and we fixed it in the README
but not in this script (I wasn't using this script at the time)

This was changed in the README in change:
I85a9e7dbd9a66418c85585969adb5ac1548f5ef6

Bug: T182421
Change-Id: I6ab92c6a61a57dc313b05321d0789dcbeb776c94

Don't use killall in selenium.sh

git bash for windows apparently doesn't have killall
by default, so instead get the PID of the chrome driver
we start and kill that specifically.

Change-Id: I8a9a773a7d3dc23807dc3ec12f5b3ef03661c9e3

Merge "RCFilters: Reduce min-height for Watchlist"

Improve LinkRenderer::getLinkText() coverage

Change-Id: I067522025c247346888c9f5a3d905bf03a93b7bc

Remove deprecated Linker::getLinkColour()

Change-Id: I1818d9eb369c620cc436c13446a5362816e8362d

Merge "linker: Hard-deprecate LinkBegin and LinkEnd hooks"

mediawiki.ui: Don't style non-MWUI `<input type="number">` elements

These styles mess with the styles for OOUI NumberInputWidget.

Change-Id: I9b7c8a010bc704c922cb6200a0316ed8e48851c5

Merge "rdbms: make getCPInfoFromCookieValue() stricter about allowed values"

Remove unnecessary Parser::getConverterLanguage() indirection

The getConverterLanguage() method was added in March 2012 in commit
561424c266128a8c2c213cd803d4786313fc20cc as a workaround for a regression
in mediawiki 1.19.  It was an indirection which checked the global variable
$wgBug34832TransitionalRollback to return a different converter language
for Chinese wikis.

When this temporary bugfix was reverted in January 2013 in commit
a3fbdaaa2c4eb5ddc6bfbd62ae57a7804a307f12, the temporary global variable
was removed, but not the getConverterLanguage() indirection.  Since then,
new code in the parser seems to have faithfully used getConverterLanguage()
instead of getTargetLanguage(), even though they are identical and the
need for getConverterLanguage() has long since passed.

Strike a small blow for elegant minimalism by removing the completely
unnecessary Parser::getConverterLanguage() indirection.  Well, sort
of: since this blight has been slowly growing inside Parser.php for
so long, we need to deprecate getConverterLanguage() first just in
case any external dependency has been infected.  Next release we
can finally excise the unnecessary method.

Change-Id: I567c29c9c7699020955699b76cbe8578d02e2fe6

Merge "Add @coversNothing to tests that don't cover specific PHP classes"

Merge "hooks.txt: Clean-up whitespace and wrapping for consistency"

RCFilters: Reduce min-height for Watchlist

Bug: T195903
Change-Id: I8d4622951026cb5058efd63aa1adcb3607dd79bc

Use PHP 7 '??' operator instead of if-then-else

Change-Id: I790b86e2e9e3e41386144637659516a4bfca1cfe

Add @coversNothing to tests that don't cover specific PHP classes

Change-Id: Idbd364561bc28547e9fac20d7a80b9a44edf14a9

hooks.txt: Clean-up whitespace and wrapping for consistency

This file is a disaster, but now at least we actually wrap at 80 chars
for all the hooks, not just the ones where the developer felt like it.

Change-Id: I10d3d51412af29b135fd7e9a0393ff0b57eb25aa

hooks.txt: Label which hooks are deprecated when

Many of these are still soft-deprecated, so tracking down their age
and kicking off the full deprecation process is hard, let alone
actually removing them. Doing this makes that future work easier.

Change-Id: Ib096190accceabf9082f621ba96243f7dedb025d

Merge "Follow-up 23cfebd3d25: Hard-deprecate LanguageGetMagic hook"

Merge "Follow-up 23cfebd3d25: Hard-deprecate LanguageGetSpecialPageAliases hook"

Merge "Fix typehint-typo in MediaWikiTestCase"

Merge "Convert SearchResultSet to typical iteration"

Fix typehint-typo in MediaWikiTestCase

Change-Id: I3817d586cfaaaf38439820741e68eff044e9bf76

rdbms: make getCPInfoFromCookieValue() stricter about allowed values

All components, not just the write index, must now be present.

Bug: T194403
Change-Id: I279ba3e16d470aca09fdb74cec91d28efb5e2f95

Reduce frequency of refreshCounts() calls in LinksDeletionUpdate

Bug: T195397
Change-Id: I0a39c735ec516b70c43c7a40583c43289550b687

Disable WebResponse setters for post-send processing

When jobs are being run synchronously post-send, we don't want to allow
bugs to result in a job somehow setting cookies or headers that
interfere with those that were intended to be set in the request.

Bug: T191537
Change-Id: Ib5714a17af417797140f99e41eaacbba1bfd20f4

Follow-up 23cfebd3d25: Hard-deprecate LanguageGetMagic hook

Change-Id: I7e442e20744a196644d6be186158fd901f9db1ce

Category: Lock the category row before the categorylinks rows

We've noticed a large increase in deadlocks between
LinksDeletionUpdate deleting categorylinks rows and
Category::refreshCounts() trying to update the category table.

My best guess as to what's going on there is that LinksDeletionUpdate
locks the category row via the call to WikiPage::updateCategoryCounts()
then the categorylinks rows via its own deletions, while Category first
locks the categorylinks rows (in share mode) and then the category row
when it tries to update or delete it.

To break the deadlock, let's have Category do a SELECT FOR UPDATE on the
category row first before it locks the categorylinks rows.

Bug: T195397
Change-Id: Ie11baadf2ff0ba2afbc86b10bc523525c570a490

Merge "Link to revisions and log entries from tag logs"

Follow-up 23cfebd3d25: Hard-deprecate LanguageGetSpecialPageAliases hook

Change-Id: I543c2ff9e9d82869a4b443410528a179f65e3d02

Fix flaky MessageBlobStoreTest assertion failures

Bug: T176097
Change-Id: I0f1e9a6a73bb5b2bc54ee400c5710055e992c3f1

Add release notes for 0eb4eaefd3 and f7f71359

Change-Id: Ie139db2f178660aa42009661716290158d60c8fc

Merge "parser: Validate $length in padleft/padright parser functions"

Make $wgEmailConfirmToEdit only affect edit actions.

Previously it would affect all actions that use Title::userCan.
This used to be less noticable, but recently was expanded to include
the 'read' action. This only affected the case where both
$wgBlockDisablesLogin and $wgEmailConfirmedToEdit were enabled.

I don't think anyone was relying on the old behaviour as it was
undocumented, and only affected obscure permissions (checked with
Title::userCan and not depending on "edit" rights)

Follow-up b675be2083

Bug: T143790
Change-Id: I4ad93ed78de4f1ed444f73df6dc26d405a67e553

Merge "Remove deprecated hook EditPageBeforeEditChecks"

Merge "PHP: Use short ternary operator (?:) where possible"

Remove deprecated hook EditPageBeforeEditChecks

Change-Id: I525a3a81787214dae42d3ce641d8c62761d17797

registration: Catch correct exception type from ObjectCache

ObjectCache::newFromId() now throws an InvalidArgumentException if the
specific id can't be found.

Change-Id: Idcb0f2158a38555c1ec1681ba0635c7903e48718

Silently drop unknown titles in completion search

This mimics how full text works by silenty dropping results returned from
search that no longer exist. This could be because the search index is slightly
out of sync with reality, or the search engine could simply be broken.

Only silent from the users perspective. We maintain a count in statsd of
the number of titles dropped. This can be monitored over time to
recognize any increases.

Bug: T115756
Change-Id: I2f29d73e258cd448a14d35a2b4902a4fb6f61c68

Push pagination decision for search into SearchEngine

Various code using the search engine shouldn't need to implement it's
own methods, such as over-fetching, to determine if there are more
results available. This should be knowledge internal to search that is
exposed by a boolean.

Change-Id: Ica094428700637dfdedb723b03f6aeadfe12b9f4

Convert SearchResultSet to typical iteration

The funky iteration here was at best annoying. Switch
it over to an iterator based approach with appropriate
BC code to simulate the old iteration style.

Depends-On: I19a8d6621a130811871dec9335038797627d9448
Change-Id: I9fccda15dd58a0dc35771d3b5cd7a6e8b02514a0

Localisation updates from https://translatewiki.net.

Change-Id: I266e6f3e0974d9e597e86b5790871cd118043d57

rdbms: avoid redundant SPI logging fields in ChronologyProtector log entries

Also renamed the field to a better name.

Change-Id: I8bd13a01415a7518b5d9f7dc393b32848efebbf6

Merge "Use PHP 7 '??' operator instead of '?:' with 'isset()' where convenient"

Merge "npm selenium command, use bash"

Use PHP 7 '??' operator instead of '?:' with 'isset()' where convenient

This is a followup to 485f66f1.

Change-Id: I7a2a44b7e933103178929b3cdc015859612c8b35

Add langauge 'zgh' Standard Moroccan Amazigh

This change adds the Standard Moroccan Amazigh language with ISO
639-3 code 'zgh' with 'kab' (Kabyle) fallback. The default script is the
Neo-Tifinagh script.

Bug: T137491
Change-Id: Idd13f92d7ae05cd47267558c8ff4fa368b701e24

PHP: Use short ternary operator (?:) where possible

Change-Id: Idcc7e4fcdd4d8302ceda44bf6d294fa8c2219381

npm selenium command, use bash

On Windows this seems to complain unless bash is specified

Change-Id: I4515c851ffea143d4c1c6d111ffdd64b62f9f304

Avoid deprecated LinkCache::singleton()

Change-Id: Ie0e5c4ef0fe6ec896378bb2433af0898655dd907

Localisation updates from https://translatewiki.net.

Change-Id: Ie01e48ef17e431ae619237e8ae1e2810d454d1de

linker: Hard-deprecate LinkBegin and LinkEnd hooks

Change-Id: Ia1d766d019a2711c96e7c41913055774eff9f777

parser: Validate $length in padleft/padright parser functions

$length is user input, so cast it to an int before passing it to min().
If there is nothing to add at that point, return immediately.

In PHP 7.1+ this raised a warning of "A non-numeric value encountered"
because min() will return the junk value, returning a string. Then we
try and subtract an int from it (return value of mb_strlen()),
triggering the warning.

Added a parser test to verify the behavior, and confirmed that it
triggers warnings without the patch.

Bug: T180403
Change-Id: I614750962104f6251a864519035366ac9798fc0f

SECURITY: Special:BotPasswords should reauthenticate

More specifically, it should reauthenticate when creating a bot password
or resetting the password. But we may as well do it for all accesses.

Bug: T193237
Change-Id: I9a38a3109492753fff1f33c0f280e5b0f1fc1a76

Pass $parser, &$query and &$widthOption to the 'ImageBeforeProduceHTML' hook

This allows extensions to essentially reimplement Linker#makeImageLink
completely. Before this wasn't 100% possible as these three are needed for
that.

Inspired by wikiHow's core hacks to /includes/Linker.php, which can now be
moved to an ImageBeforeProduceHTML hook subscriber. wikiHow uses those
changes together with the WikihowArticle extension to heavily modify the
article DOM for various extensions and the default skin.

Change-Id: I8b5ab42d9cf021d66b90d15be68a0239643c10e3

Merge "WebInstaller::docLink: Use Html::element to generate the link"

Merge "WebInstaller::getDocUrl: Use getUrl to generate the URL"

Merge "Localize some special pages into Korean (ko)"

Merge "resourceloader: Re-enable testGetBlobCached() test case"

Merge "FormatJson: cleanup after PHP 5.5 support removal"

Localize some special pages into Korean (ko)

* (Manually) synced from MessagesEn.php
* Changed Listfiles so it is less ambigious.

Change-Id: I59da5461efcc34511f99872cfc26d2ae63a52531
Signed-off-by: Yongmin Hong <revi@pobox.com>

Merge "Escape text in Linker::specialLink()"

Merge "Get rid of call_user_func(_array)(), part 3"

Get rid of call_user_func(_array)(), part 3

Also cleaned up nearby code in a couple places.

Change-Id: Ibf44ee7c0ceb739d7e79406e4ff39303c316e285

Clean up CSPRNG support for PHP7

Replace it all with random_bytes(), leave
only MWCryptRand::generateHex() as a convenience helper.

Change-Id: Ic30376a90e66d8f00dab86e7e6466fb3a750b87d

Merge "Remove PhanParamReqAfterOpt from blacklist"

Merge "LoginSignupSpecialPage: Use $this->msg instead of wfMessage"

Merge "Replace call_user_func_array(), part 2"

Do not require titles on Special:ComparePages

By default, title fields are required, so the form cannot be submitted
without them. However, here we need either the title or the revision id.

Change-Id: Iedafec485851d7e91affb69a2c9c3fd40d31ded4

LoginSignupSpecialPage: Use $this->msg instead of wfMessage

Change-Id: If1313112f39a449857028da6a4a22d6950c500a3

FormatJson: cleanup after PHP 5.5 support removal

* Use PHP 5.6 constant expression support in definition of ALL_OK.
* Remove one level of nesting in encode(). Follows up I801eaffc.
* Update HTML5 section number in doc comment for XMLMETA_OK.
* Made other minor doc comment fixes, such as capitalizing "JSON".
* Not done: changing $badChars and $badCharsEscaped to constants.
  This will have to wait until HHVM 3.18 support is dropped.

Change-Id: I06413dfe0fedddfd20d3e375eadd9daad6d6230e

Merge "Hard deprecate Interwiki static methods"

Remove PhanParamReqAfterOpt from blacklist

Change-Id: I569656068c9034f7325312afcce837e2712b4f29

Merge "Resolve required parameter after optional in language"

Merge "Resolve required parameter after optional in specials"

Merge "Resolve required parameter after optional in Xml"

Merge "Resolve required parameter after optional in Message"

Merge "Resolve required parameter after optional parameter in Linker"

Escape text in Linker::specialLink()

Linker::linkKnown -> Linker::link -> $text is wrapped by HtmlArmor

Bug: T85864
Change-Id: I8755948131ffca4a0b5949b2f8cabf19f59c1c9e

Merge "Rewrite IEUrlExtensionTest using a data provider"

Localisation updates from https://translatewiki.net.

Change-Id: I5bd33ca666aaa4ad76bbae4e0cc9d3e7cb44c345

Rewrite IEUrlExtensionTest using a data provider

Change-Id: I67568f997d682b88ad99676a57b85395b1b20f85

Resolve required parameter after optional in specials

Change-Id: If2c85d97d68b24fc5cb2bec19804034b994b348d

Add more logging to ChronologyProtector::initPositions()

Bug: T194403
Change-Id: I8f1ccb3c6e257ae48ae6bbecd8f2a8f51cd2ed41

Resolve required parameter after optional parameter in Linker

Change-Id: I2569e30922e93404a59fa282df8ae8d3d19912fd

Resolve required parameter after optional in Message

It looks like this parameter has had a default since it was first
created, and somehow kept it even after a new parameter was added
to the end. codesearch.wmflabs.org suggests, and I could not find,
and calls to this function from any other code that would need
the defaulted param (probably because they fail due to the later
required parameter).

Change-Id: Iae6e736c5c957d9fccb6ab5813a3b5b02eeb3f6f

Resolve required parameter after optional in Xml

Change-Id: If04d3b347ec2839b986d8fe85d3f2ed392fc83ed

Resolve required parameter after optional in language

Change-Id: I6e0c3b14f1bcea112be7ab694efff5a67622d637

Merge "build: Allow HHVM 3.21+ failures in Travis"

Merge "(y)etsin fixes, test refactoring, and misc fixes"

Follow-up Ieaeb3113a: Add RELEASE-NOTES

Change-Id: I79f1d28b54532a7495fb8e205c9b6636016587d7

Merge "CurlHttpRequest: remove open_basedir check"

Fix phpdoc for wfMessage $params for phan

phan and phpDoc expect that the type of variadic params is the type of
each individual item.

Change-Id: I8229d52b3e4b70a9de6c5bb813bab776c5547e5d

CurlHttpRequest: remove open_basedir check

This only applied to PHP 5.5 and older, which we no longer support,
and was apparently overlooked in I740f32ac.

Change-Id: I1d56ac0ef7ac2cc14da16e1397e9614564c7ee23

Release notes for  I57e05c5ae

Cherry picked from commit d5e4bf920c7.

Change-Id: Ie7c9393c5a77279b9342152b9fdc187f22acf5c0

Merge "Ensure $user is passed by reference in TitleMoveComplete hook on HHVM"

build: Allow HHVM 3.21+ failures in Travis

Keep them in the post-merge matrix, but don't make its failure
affect the commit status indicator (e.g. "non-voting").

Wikimedia only runs HHVM 3.18 in production at the moment, and
it seems these newer versions don't currently pass the test and
fixing them is probably not a priority at the moment.

Follows-up 8fde6115a8368e.

Change-Id: I8f6e637882e89663257cafd8c832f71131a9c488

Link to revisions and log entries from tag logs

Bug: T142888
Change-Id: Ieccd6a831a6231c1f3e83ba311eac65f956fe2ec

Merge "HashRing: use bisection instead of guess and refine"

Merge "Enable InterwikiTest::testDatabaseStorage()"

HashRing: use bisection instead of guess and refine

Use bisection to find the position within the ring, as in ketama.
According to my benchmarking this is faster than the guess/refine
algorithm for rings with 100 locations, i.e. 16000 ring nodes requiring
at most 14 bisection iterations.

Change-Id: I6042f382de093081971b5ec210eda8dfa74988f2