1. Оцінка рівня фальсифікацій ЄДІ з математики 2013 року
2. «Витоку 2013 роки не вплинули на високобалльніков»
3. висновок

Під час здачі єдиного державного іспиту з математики. Фото: ІТАР-ТАСС / Володимир Смирнов

20 травня на сайті Slon.ru вийшла замітка «Десятки тисяч випускників просто вигравали свій результат в" лотерею "». Виявляється - і це новина, - в країні вже цілих 5 років діє робоча група, яка на замовлення Рособрнадзора досліджує статистичними методами фальсифікації при проведенні процедури ЄДІ. Керівники цієї групи (директор МЦНМО Іван Ященко і завкафедрою вищої математики ВШЕ Олексій Макаров) відповіли на широкий спектр питань, що стосуються не тільки власне ЄДІ, а й загальних проблем освіти. В принципі з багатьма їх судженнями я готовий погодитися (десь повністю, десь частково), але є кілька тверджень, які або викликають щире здивування, або допускають іншу інтерпретацію, відмінну від декларованої в статті.

Я провів власні розрахунки на основі відкритих даних про ЄДІ з математики і прийшов до висновку, що рівень фальсифікацій 2013 року неймовірно вище.

Оцінка рівня фальсифікацій ЄДІ з математики 2013 року

на прес-конференції 28 червня 2013 року представник Рособрнадзора пред'явив присутнім слайд з розподілами балів ЄДІ з математики в 2011-2013 роках. Мені вдалося його скопіювати. Ось він.

Результати ЄДІ з математики в 2011-2013 роках, тисяч чоловік

Результати ЄДІ з математики в 2011-2012 роках утворюють розподіл у формі дзвону. Форма кривої результатів 2013 року теж нагадує дзвін, але з наявністю явно видимих ​​дефектів у вигляді горбів, провалів, зсувів та інших статистичних збочень (взагалі, складається враження, що в 2013 році крива набраних балів перенесла дуже серйозну хворобу).

Слід зауважити, що дзвіноподібний розподіл для набраних балів ЄДІ вийшло не випадково - в природі такі криві з'являються із завидною регулярністю. Їх називають нормальним розподілом , Або розподілом Гаусса. (Якщо сильно спростити, то розподіл оцінок повинно мати форму дзвони без зайвих піків і провалів в тому випадку, якщо не було зовнішнього впливу, штучно відсікаючого одні бали і додає інші. В розподілі Гаусса пік кривої - це і є арифметичне середнє для всього розподілу. - Slon.)

Для коректного опису ідеального нормального розподілу досить знати всього лише два параметра. Перший - це середня величина розподілу (на малюнку нижче це параметр μ). Другий параметр - це так зване середньоквадратичне відхилення (на малюнку це параметр σ, сигма), яке характеризує ширину нормального розподілу.

Приклад нормального розподілу

Крива щільності розподілу набраних тестових балів ЄДІ з 2011 по 2013 рік з кожним роком неухильно зміщується вправо, що природно означає зростання середнього бала ЗНО з математики. Розподіл за 2010 рік також є у відкритих джерелах і повністю вкладається в цю закономірність.

Я взяв офіційні картинки розподілу набраних балів ЄДІ за 2010-2013 роки, відновив по ним чисельні значення щільності розподілу, далі по плотностям порахував середні бали і середньоквадратичні відхилення. Для порівняння наводжу і офіційні значення середніх балів - їх відмінність від розрахункових середніх я можу пояснити лише недоробками Міністерства освіти.

зростання рівня фальсифікацій - основна причина. Випускники, які отримали «допомогу» в будь-якому вигляді, отримують більшу кількість балів, ніж належить їм по нормальному розподілу, отже, розподіл розтягується по горизонталі; зростання поширеності інституту репетиторства - допоміжна причина. Послугами репетиторів користуються здебільшого мотивовані і тлумачні випускники. Вони і без репетиторів в будь-якому випадку були б правіше середнього бала по країні, але в результаті додаткових занять їх відрив ще збільшується.

Виходячи з усієї інформації, яка є у відкритому доступі, і базового розуміння ситуації в цілому, розумно припустити, що якість підготовки дітей до іспиту рік від року зростала плавно і рівномірно - аномального зсуву в 2013-му воно викликати не могло. Складність КІМов [контрольно-вимірювальних матеріалів, тобто завдань ЄДІ] з 2011 до 2013 року залишалася приблизно однаковою.

Це означає, що в 2013 році в порівнянні з 2012 роком відбулося зростання (можливо, в рази) рівня фальсифікацій, що видно як по збільшенню середнього бала на 4 одиниці (з 44 у 2012 році до 48 в 2013-му), так і по росту середньоквадратичного відхилення на 2 одиниці (з 16 до 18 - на рівні країни це дуже велика зміна) .Також не забуваємо про наявність видимих ​​деформацій графіка кривої ЄДІ-2013.
З урахуванням усього сказаного переміщення по кривій ЄДІ-2013 щодо кривої ЄДІ-2012 повинен відрізнятися від зсуву попереднього року лише підвищеним рівнем фальсифікацій. Я спробував його оцінити, вимірявши площі непересічних частин кривих за ці три роки. (Детальніше про методику розрахунку читайте в примітці *. - Slon.)
За моїми розрахунками, в 2013 році як мінімум 27,3% балів були отримані з фальсифікаціями різного роду. Для отримання абсолютного значення фальсифікацій у 2013 році необхідно додати до них ненульовий рівень фальсифікацій у 2012 році.

Для затвердження, що нульовим він не був, досить відкритих даних Рособрнадзора. Один лише ефект натягування балів двієчникам для проходження мінімального порогу ЄДІ (24 бали зі 100) під час перездач в масштабах країни я оцінив в 1,7% балів. Ця оцінка зроблена на прикладі Республіки Башкортостан в 2012 році, де з різницею в пару днів двієчники змогли поліпшити свій середній бал на 20,7 бала. (Олексій Макаров в інтерв'ю Slon оцінив базовий рівень фальсифікацій 2012 і 2013 року без урахування списування з інтернету в 6-8% від усіх учасників ЄДІ. - Slon.)

Підсумовуючи 27,3% і 1,7%, ми отримаємо оцінку 29% балів. Таким чином, приблизно на кожні 7 чесних балів ЄДІ-2013 по математиці доводилося не менше 3 балів, набраних за допомогою різного роду фальсифікацій.

«Витоку 2013 роки не вплинули на високобалльніков»

На щастя, Рособрнадзор видав в публічній доступ достатньо інформації, щоб ми могли самостійно скласти свою думку з цього питання, грунтуючись виключно на офіційних даних. Так, на графіку нижче представлені статистичні дані Рособрнадзора з математики за 2012 і 2013 роки, згруповані за діапазонами в 10 тестових балів ЄДІ. Я прибрав стовпці від 0 до 60 балів, оскільки вони не належать до високобалльним результатами.

Розподіл випускників за балами ЗНО з математики в 2012-2013 роках

Джерело: Офіційний інформаційний портал ЄДІ

Звідси шляхом нехитрих арифметичних обчислень легко отримати зростання числа високобалльніков 2013 року до порівнянні з 2012-м. Для числа випускників, які набрали 71+ балів, є як мінімум дворазове зростання. Якщо Олексій Макаров вважає, що спостережуваний двократне зростання не є результатом витоків, то тоді дуже б хотілося почути з його вуст пояснення цього феномена. Було б непогано почути також і пояснення феномена структури зростання - чим правіше ми беремо хвіст нормального розподілу, тим більше зростання ми спостерігаємо. Для діапазону 91+ балів зростання становить 5,2 рази, а для діапазону 81+ балів - майже триразове зростання.

Напевно, хтось може сказати, що в 2013 році на країну раптом обрушилася епідемія поліпшення якості шкільної освіти з математики або підготовки до здачі ЄДІ. Добре, нехай це так, тоді виникає наступне питання: а які школи забезпечили спостерігається поліпшення?

Логічно думати, що в першу чергу цей прорив повинен бути помітний на кращих школах країни, адже саме там зосереджені найбільш розумні і мотивовані учні. Для семи російських шкіл, що входять до переліку 500 кращих шкіл країни, мені вдалося знайти первинні дані за результатами ЄДІ з математики.

Сумарне зростання за всіма сімома школам дає значення в 1,2 рази, тобто лише 20% з 100% зростання числа випускників, які набрали 70+ балів, забезпечується кращими школами країни. Звичайно, дана таблиця не є доказом, оскільки дану вибірку не можна визнати статистично значущою. Однак це аргумент на користь того, що якщо епідемія поліпшення якості освіти мала місце, то проявилася вона чомусь не в кращих школах, а в безлічі середніх за якістю шкіл (що не входять в число провідних як в своєму регіоні, так і в масштабі країни ). Так сталося масове поліпшення роботи середніх шкіл? Навряд чи. Тоді хотілося б зрозуміти, за рахунок яких чинників стався в 2013 році дане зростання.

Іван Ященко призводить також такий аргумент: «За варіантами, які потрапили і не потрапили в інтернет, дуже добре видно, на кого цей витік вплинула. Вона майже не вплинула на тих, хто в підсумку набрав високі бали ». Однак розподіл, яке він демонструє на знак того, допускає і інші пояснення.

По-перше, не факт, що робочою групою були помічені всі витекли варіанти. Думаю, що дійсно майже всі продавці ЄДІ використовували соціальні мережі для пошуку клієнтів, але продавці розумніше напевно поширювали реальні варіанти КІМов НЕ через соціальні мережі, а через електронну пошту.

Теоретично робоча група мала можливість відстежити такі витоку за допомогою включення в американську програму «Ешелон», але на практиці в це абсолютно не віриться. Не треба думати, що ця проблема є унікальною для Рособрнадзора, саме ту ж проблему має, наприклад, Міністерство внутрішніх справ, коли ставить перед собою наступне питання: наскільки статистика розкритих злочинів по країні адекватно представляє загальну структуру злочинів? Це питання, відповідь на який зовсім не очевидний і вимагає окремого дорогого вивчення.

По-друге, в коментарях до статті було здорове міркування Арсенія Іванова: «Про варіанти, яких не було в інтернеті, автор насмішив. Досить було прорешать один варіант, інші відрізнялися лише цифрами ». Оскільки варіанти КІМов з'явилися заздалегідь, то їх дійсно прорешівалі як самі учні, так і на офіційних консультаціях в школах, і з репетиторами, і з батьками, і т.д. і т.п. А оскільки число випускників, які набрали 70 і більше балів, було в 2013 році близько 91 тисячі - і це, мабуть, здебільшого з великих і середніх міст, - то гіпотеза про те, що практично всі ці випускники заздалегідь прорешалі реальні завдання, не виглядає фантастичною.

висновок