В двух сводках стоит 70% побед на карте. Первая команда выиграла семь раз из десяти, вторая семьдесят из ста. При простой статистической модели второй результат точнее ограничивает возможную долю побед. Первый совместим с гораздо более широким диапазоном, даже если пока оставить в стороне соперников, смены состава и выбор карт. Процент без исходного числа карт стирает это различие.
Возьмём две выборки с ясными условиями
Используем придуманные результаты на одной карте. Каждая сыгранная карта даёт один бинарный исход, победу или поражение. Числа не относятся к настоящим командам или картам. Для расчёта интервала предположим, что внутри каждой выборки испытания независимы и вероятность победы постоянна. Так можно выделить влияние размера выборки. Реальные матчи требуют дополнительных проверок, прежде чем превращать такую оценку в прогноз на следующего соперника.
Доля побед равна числу побед, делённому на число сыгранных карт. В обеих строках выходит 0,70. Для двустороннего интервала Уилсона с уровнем доверия 95% обращаем тест для биномиальной доли, используя нормальное критическое значение около 1,96. Границы зависят от наблюдаемой доли, числа испытаний и критического значения. При таком расчёте центр и ширина меняются с размером выборки, а границы остаются в диапазоне вероятности. В таблице они приведены в процентах.
| Победы / карты | Доля побед | Интервал Уилсона 95% |
|---|---|---|
| 7 / 10 | 70% | 39,68% – 89,22% |
| 70 / 100 | 70% | 60,42% – 78,11% |
Прочитаем интервалы до сравнения команд
Для десяти карт интервал тянется примерно от 40% до 89%. Для ста карт он идёт примерно от 60% до 78%. После округления эти диапазоны дают две разные характеристики одинаковой наблюдаемой доли. Первая оценка довольно рыхлая, вторая точнее в рамках заданной модели. Перекрытие интервалов здесь ожидаемо при равных наблюдаемых долях. Само перекрытие не служит проверкой равенства вероятностей.
Уровень 95% характеризует метод построения интервалов при повторении выборок в рамках модели. Он не присваивает вероятность 95% тому, что именно эти границы содержат фиксированную величину силы команды. Следующий соперник тоже может отличаться от тех, кто вошёл в исходную выборку. Я бы ставил интервал рядом с числителем и знаменателем и указывал, какие матчи допускались в подсчёт. Голый процент слишком легко перенести на условия, которые он никогда не описывал.
Выясним, какие карты вообще могли попасть в выборку
В отчёте о серии видны карты, на которых сыграли. Команда может часто выбирать сильную карту или оставлять её против отдельных соперников. Карты, исключённые на этапе вето, не дают ни победы, ни поражения в этом журнале. Если вопрос касается другой процедуры выбора карты, исходная доля описывает отобранный набор. Более узкий интервал может всего лишь точнее описывать тот же отобранный набор.
Представим две условные группы соперников. Команда часто играет карту против слабой группы и редко против сильной. Общий процент учитывает обе группы в пропорциях старого календаря. Если следующий матч относится ко второй группе, смысл общего числа как входа в прогноз меняется. Для проверяемого отчёта можно привести счётчики по уровню соперников, если такие группы сопоставимы. Отдельно отмечайте выбор своей команды, выбор соперника и решающую карту, если источник позволяет надёжно их различить.
Посмотрим, откуда взялись сто карт
В старых матчах мог играть другой состав или действовать существенно другая версия игры. Добавление таких наблюдений способно сузить формальный интервал и одновременно уменьшить применимость к нынешнему составу. Выберите окно до просмотра побед и поражений. Если есть документированное изменение условий, покажите доли и объёмы по обе стороны. Широкий интервал на подходящем периоде может оказаться честным результатом. Разделение должно следовать известному изменению условий, а не желаемому проценту.
Несколько карт также могут приходиться на одну серию, одного соперника или один турнир. Один частый соперник способен дать заметную часть строк. Базовый интервал предполагает независимость испытаний и постоянную вероятность. Когда существенная часть данных приходится на несколько групп, воспринимайте его ширину как учебное приближение. Сначала покажите концентрацию матчей. При подходящем наборе данных можно сгруппировать строки по сериям или турнирам и проверить, насколько меняется оценка при исключении целой группы.
Соберём запись, которую можно проверить
Начните с идентификатора карты, идентификатора матча, даты, соперника, исхода и метки состава или версии, которую использует анализ. Добавьте источник и основание включения каждой строки. Отдельно храните технические поражения, дубли и отсутствующие карты, пока решаете, как их учитывать. Серия, закончившаяся раньше решающей карты, не даёт наблюдения по этой карте. Записав её как поражение, вы добавите в таблицу выдуманный результат.
Затем сложите победы и сыгранные карты по заранее описанным правилам. Пересчитайте процент из этих чисел и сохраните разбивку хотя бы по одному наиболее важному условию, например периоду состава или типу выбора карты. Читатель должен суметь собрать числитель из допущенных строк. Расчёт Уилсона полезно хранить рядом с исходными числами, чтобы границы можно было воспроизвести без доверия к графику.
Воспроизведём две границы и проверим отбор
В арифметике p обозначает наблюдаемую долю, n число карт, а z нормальное критическое значение. Центр равен (p + z²/(2n)), делённому на (1 + z²/n). Половина ширины равна z, умноженному на квадратный корень из p(1 − p)/n + z²/(4n²) и делённому на тот же знаменатель. Вычтите половину ширины из центра для нижней границы и прибавьте для верхней. Для процентов умножьте результат на сто. Округляйте только на последнем шаге. В приложенном расчёте обе строки получены этой формулой.
Если в публикации приведены только семь побед, попросите указать общее число карт и правило отбора. Семь побед при трёх поражениях и семь побед при трёх поражениях плюс пяти пропущенных строках внешне похожи. В первом случае знаменатель известен. Во втором сначала предстоит выяснить, что произошло с пропусками. Укажите, какие результаты потерялись, какие строки задвоены и где в источнике видно, что карта действительно сыграна. Такая проверка полезнее, чем уточнение процента до третьего знака.
Отдельная проблема возникает, когда сначала просматривают все карты, а затем публикуют только карту с наибольшей долей побед. Максимум по нескольким малым выборкам может отражать удачный разброс. Интервал для заранее выбранной карты отвечает другому вопросу. Если выбор сделан после просмотра, покажите и остальные карты, по которым искали максимум. Для следующей проверки зафиксируйте карту заранее и оцените её на новых данных. Тогда можно будет отделить результат выбора от результата проверки.
Для подписи графика достаточно пары чисел и короткого описания выборки. Запись «7 побед из 10 сыгранных карт при заданном правиле отбора» сохраняет больше информации, чем «70%» в одиночку. С такой подписью читатель сможет проверить ширину интервала и понять, к каким матчам относится результат.
Решим, какую часть оценки использовать дальше
Для описания завершённой выборки доли и интервала может хватить, если понятны допущения. Для сравнения в будущем сначала определите, каких соперников, условия карты и период должна представлять оценка. Модель, которая подтягивает малые выборки к базовому уровню, бывает полезна при явно заданном ориентире и весе. Такую модель проверяют на отложенных матчах. Это уже другая оценка с дополнительными допущениями. Здесь мы измеряем лишь неопределённость, связанную с размером биномиальной выборки.
В двух учебных строках одинаковые 70%, но разный объём информации. При реальном сравнении я бы сначала запросил исходные строки и правило отбора, прежде чем переносить число на будущую карту. Если вывод зависит от узкого круга соперников, отметьте это рядом с оценкой. Тогда после накопления более подходящих матчей будет понятно, что именно пересчитывать.
