В рубрике говорим о том, в какой мере ЕГЭ оценивает качество образования, а также представляем работу наших постоянных партнеров - команды Российского тренингового центра ИУО РАО, предлагающих включиться в обсуждение принципов построения рейтинга образовательных учреждений.
ПАРТНЕР РУБРИКИ Российский тренинговый центр Института управления образованием РАО
Директор Центра кандидат педагогических наук Вальдман Игорь Александрович
Вальдман Игорь Александрович, к.п.н., заведующий лабораторией контроля и мониторинга в образовании Института управления образованием Российской академии образования
Боченков Сергей Анатольевич, эксперт Независимого агентства оценки качества образования "Лидер"
Иванова Екатерина Борисовна, научный сотрудник лаборатории контроля и мониторинга в образовании Института управления образованием Российской академии образования
ВВЕДЕНИЕ
Рейтинги в образовании становятся все более популярным и востребованным инструментом управления и информирования потребителей образовательных услуг.
Сегодня актуальная и достоверная информация о результатах работы образовательных учреждений и системы образования далеко не всегда является доступной для широкого круга пользователей. Поэтому существуют высокая потребность в систематизированной и наглядно представленной информации о системе образования.
Одной из наиболее удобных форм представления такой информации являются различные рейтинги.
Следует отметить, что грамотный рейтинг очень важен для потребителей образовательных услуг - учащихся и их родителей, он является своеобразным навигатором для желающих дать своим детям достойное образование.
Кроме того, рейтинги - это инструмент, стимулирующий конкуренцию между образовательными организациями и служащий целям подотчетности перед обществом.
Рейтинг - это своеобразный "бенч-маркинг" - равнение на лучшего.
Результаты рейтинга заставляют организации образования вносить коррективы в стратегию своего развития. Практика построения рейтингов школ становится все более массовой.
Во многих регионах России органы управления образованием используют имеющиеся данные о результатах работы школ (результаты ЕГЭ и ГИА, итоги предметных олимпиад, статистика, данные различных мониторингов и т.п.) для составления тех или иных ранжированных списков общеобразовательных учреждений. [С примерами некоторых из них можно ознакомиться в материалах учебных мероприятий Российского тренингового центра URL: http://www.rtc-edu.ru]
При этом нель-
зя не отметить, что многие из рейтингов пока еще далеки от совершенства. Зачастую они составляются без научно обоснованной методики и предварительной ее локальной апробации, не проходят внешнюю экспертизу, используют не самые надежные и достоверные источники данных, не обеспечивают корректное сопоставление образовательных учреждений с учетом контекстных условий, в которых они работают, и т.п.
С целью преодоления указанных недостатков авторы сформулировали набор базовых принципов, которые могут использоваться при создании самых различных рейтинговобщеобразовательных учреждений. Данная работа была проделана с учетом признанного международного опыта и опиралась на такие документы, как Берлинские принципы ранжирования высших учебных заведений, [Берлинские принципы ранжирования высших учебных заведений. URL: http://www.ireg-observatory.org] разработанные международной экспертной группой по ранжированию (IREG) в 2006 году, и Правила аудита рейтингов (IREGRankingAuditRules), [IREG-Ranking Audit. Purpose, Criteria and procedure. IREG Observatory on Academic Ranking and Excellence, 2011. http://www.ireg-observatory.org/pdf/IREG_audit.pdf] принятые в 2011 году. Эти материалы были критически проанализированы и доработаны с учетом специфики деятельности школы.
Представляем их для критического анализа и замечаний, которые будут учтены в дальнейшей работе и, возможно, послужат основой для широкого профессионального обсуждения проблематики использования рейтингов в образовании.
Рейтинги должны удовлетворять следующим принципам, которые следует учитывать при их проектировании.
ЦЕЛИ И КЛЮЧЕВЫЕ ОСОБЕННОСТИ РЕЙТИНГОВ
1. Рейтинг - один из подходов к оценке деятельности школы.
Любой рейтинг дает представление об ограниченном спектре условий и результатов работы школы. Наряду с рейтингом существуют другие процедуры и способы получения информации об эффективности деятельности школы - аккредитация ОУ, опросы потребителей образовательных услуг, статистика, результаты обучения школьников и др. Все они должны приниматься во внимание для составления целостной картины о работе школы.
2. Ясное понимание целевой аудитории
Рейтингование должно осуществляться в строгом соответствии с информационными запросами целевой аудитории. Индикаторы, разработанные для удовлетворения информационных потребностей одной целевой аудитории, далеко не всегда пригодны по отношению к другой целевой аудитории.
3. Учет разнообразия общеобразовательных учреждений и условий их работы
Неправомерно сравнивать результаты образования всех школ по единой шкале без учета их специфических характеристик и факторов, оказывающих влияние на результаты работы (территориальное расположение, особенности контингента обучаемых и их семей, направленность образовательных программ и др.).
Результаты работы школ повышенного уровня (лицеи, гимназии, школы с углубленным изучением предметов) существенно отличаются от результатов образовательных учреждений, реализующих образовательные программы "базового уровня" и (или) работающих с учащимися с особыми образовательными потребностями (дети-инвалиды, ученики коррекционных классов, дети-мигранты и т.п.).
Также следует добавить, что различие образовательных учреждений связано не только с их статусом и направленностью образовательных программ, но и особенностями контингента школьников, которые в них учатся. При оценке и рейтинговании школ нужно учитывать долю детей с определенным уровнем социально-экономического статуса семьи (определяется доходом семьи, образованием родителей, их профессией и рядом других характеристик). Такой учет возможен при кластерном подхо-
де к анализу и представлению результатов рейтинга.
4. Опора на различные информационные источники
Следует опираться на несколько информационных источников, представляющих данные по тем аспектам работы школы, на основе которых строится рейтинг. К таким источникам могут относиться: государственная статистика, базы данных, результаты внешних оценочных процедур, мнения школьников, учителей и родителей и т.п. Каждый из источников имеет собственный фокус в описании оцениваемого аспекта деятельности образовательного учреждения.
5. Систематичность проведения
Рейтинг не является одноразовым срезом существующего положения дел. Его цель - задание приоритетов деятельности ОУ и стимулирование к развитию по направлениям, заложенным в рейтинг. Происходит ли такое развитие, можно судить только после проведения нескольких циклов рейтингования.
6. Наличие экспертного органа, обеспечивающего достоверность рейтингования
Для повышения достоверности и объективности результатов рейтинга следует предусмотреть создание профессионального органа (такого как, например, экспертный совет), оказывающего методическую помощь и осуществляющего контроль на ключевых этапах проведения рейтинга (разработка методологии, организация и проведение рейтинга, представление и интерпретация результатов). Предпочтительно, чтобы такой орган работал с участием признанных в профессиональном сообществе специалистов и авторитетных экспертов.
7. Использование результатов
Рейтинг имеет свои возможности и ограничения в использовании результатов. Как правило, он позволяет принимать решения относительно верхней и нижней части объектов рейтингования. В случае рейтингования школ, например, рейтинг позволяет выявлять школы-лидеры и "неуспешные" ОУ. Возможные решения по отношению к лидерам - поощрение, пропаганда и распространение успешного опыта, информирование родителей, создание позитивного имиджа данного ОУ. Возможные решения по отношению к "неуспешным" ОУ - оказание целевой помощи и поддержки, наложение санкций, стимулирование улучшения работы, информирование родителей.
РАЗРАБОТКА ИНДИКАТОРОВ И ИХ ВЕСОВ
1. Прозрачность методологии составления рейтинга
Выбор методов, используемых в ходе рейтингования, должен быть ясным и однозначным. Прозрачность должна охватывать как источники данных, так и методику подсчета индикаторов.
2. Релевантность и валидность индикаторов
Возможность включения каждого из индикаторов в комплекс должна определяться его способностью отражать суть и свойства оцениваемых процессов и измеряемых результатов. Выбор показателей должен быть основан не только и не столько на их доступности, сколько на способности отображать качество и результаты работы ОУ. Должно быть понятно, почему были включены именно эти показатели, для расчета каких индикаторов они используются и что они отображают.
3. Обеспечение достоверности данных
Индикаторы должны рассчитываться на основе результатов внешних по отношению к объекту рейтингования оценочных процедур. Исходная информация должна быть количественной, проверяемой и не носить характер общих суждений, по возможности опираться на источники, не связанные напрямую с объектом рейтингования. Рейтинг заслуживает большего доверия, если он использует данные, полученные от организаций и специалистов, не заинтересованных в итоговых результатах.
4. Ориентация на показатели результатов
При рейтинговании по возможности следует отдавать предпочтение показателям достигнутых результатов, а не имеющихся ресурсов, информация о которых зачастую более доступна. Именно показатели результатов обеспечивают более точную оценку состояния и (или) качества учебного заведения или образовательной программы. При выборе показателей результатов необходимо учитывать представления о результатах образования для каждой из групп потенциальных пользователей рейтинга.
5. Неизменность методов оценки
Следует четко определять методы оценки различных индикаторов и по возможности ограничить изменения в них. Перемены в методах оценки вводят в заблуждение всех, кто пользуется рейтингами. Пользователям трудно понять, в чем причина того, что статус образовательного учреждения или программы в рейтинге изменился, - связано ли это с самим объектом оценки или вызвано переменами в методологии проведения рейтингования. Кроме того, изменения в методах оценки затрудняют корректное сравнение результатов работы образовательных учреждений в динамике.
СБОР И ОБРАБОТКА ДАННЫХ
1. Соблюдение этических стандартов
Чтобы рейтинги пользовались доверием, лица, ответственные за сбор, обработку данных и их проверку, должны сохранять объективность и беспристрастность, неукоснительно следовать рекомендациям, сформулированным в данных Принципах.
2. Обеспечение надежности данных
Следует использовать по возможности проверенные и уточненные данные, такие как данные статистического наблюдения, результаты внешних оценочных процедур (экзамены, мониторинга учебных достижений), данные мониторинговых исследований, результаты социологических исследований и т.п. Эти данные известны и понятны общеобразовательным учреждениям, затраты по их сбору незначительны.
3. Использование данных исследований
Если необходимо использование данных, собранных в ходе специальных исследований, то важно, чтобы были соблюдены все требования, предъявляемые к научным исследованиям, включая репрезентативность и достоверность полученной информации.
ПУБЛИКАЦИЯ И ПРЕЗЕНТАЦИЯ РЕЗУЛЬТАТОВ
1. Доступность для пользователей
Рейтинг должен быть доступен для пользователей в течение определенного периода либо в печатном виде, либо в Интернете.
2. Открытость информации о методике рейтингования
Публикация рейтинга должна содержать: а) описание методов и индикаторов, используемых при построении рейтинга учебных заведений; б) информацию о баллах и весах для каждого отдельного индикатора, используемых для расчета итогового/комплексного индикатора. Это необходимо для того, чтобы пользователи могли самостоятельно проверить подсчет результатов рейтингования.
Также крайне важно, чтобы в тех случаях, когда это возможно, методика рейтингования публиковалась заблаговременно - до того момента, как будет обнародован рейтинг.
3. Получение обратной связи от пользователей рейтинга
Рейтинг, опубликованный в печати или представленный в электронном виде в Интернете, должен содержать контактный адрес, по которому отдельные пользователи или общеобразовательные учреждения, включенные в рейтинг, могут получить разъяснения о применяемой методологии, а также направить свои комментарии о рейтинге или об обнаруженных неточностях.
4. Конструирование вариантов представления результатов
Желательно, чтобы при представлении рейтинга в Интернете у пользователя была возможность проводить сортировку образовательных учреждений по произвольному набору базовых индикаторов, изменять веса индикаторов в зависимости от своих предпочтений. Это позволит пользователям принимать индивидуальные решения относительно релевантности и весов индикаторов.
ЗАКЛЮЧЕНИЕ
Рассмотренные выше принципы разработаны на основе примеров из зарубежного опыта, таких как: [С подобным рассмотрением примеров можно ознакомиться на сайте журнала http://obr.direktor.ru]
- SchoolReportCards. Рейтинг школ от Института Фрейзера, Канада;
- Рейтинг школ интернет-портала SchoolDigger.com (США).
Авторы статьи будут признательны за любые замечания и предложения относительно предложенных принципов рейтингования. Свои предложения можно посылать на имя зав. лабораторией мониторинга в образовании ИУО РАО Вальдмана Игоря Александровича, e-mail: iavaldman@gmail.com.
Новые публикации: |
Популярные у читателей: |
Новинки из других стран: |
Контакты редакции | |
О проекте · Новости · Реклама |
Либмонстр Россия ® Все права защищены.
2014-2024, LIBMONSTER.RU - составная часть международной библиотечной сети Либмонстр (открыть карту) Сохраняя наследие России |