ПЕДАГОГИКА ШКОЛЬНАЯ (последнее)
ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ В СИСТЕМЕ ОБРАЗОВАНИЯ
Актуальные публикации по вопросам школьной педагогики.
В современных условиях качество образования становится важнейшей характеристикой, определяющей конкурентоспособность учреждений и национальных систем образования, а задачи его обеспечения и контроля занимают центральное место в образовательных реформах многих стран, в том числе и России. Кардинальное изменение подходов к контрольно-оценочной системе, связанное с введением новых форм и методов, в первую очередь, при аттестации выпускников, вызвало в нашей стране активные дискуссии о судьбах единого государственного экзамена (ЕГЭ), эффективности применения современных контрольных измерительных материалов и компьютерных технологий для оценки качества обучения студентов и школьников. В этих дискуссиях зачастую традиционные методы контроля характеризуются как совершенные, проверенные временем и не требующие замены. В сознании многих практиков тесты от контрольных работ отличаются только формой заданий и тем, что преподаватель устранен из контрольно-оценочного процесса. Однако на самом деле эти различия значительно глубже.
Чтобы в какой-то мере прояснить сложившуюся ситуацию, следует отметить ряд факторов, обусловливающих необходимость реформирования контрольно-оценочной системы и необратимость реформы контроля и оценки подготовленности обучающихся. Наиболее важные из них:
- интеграция российской системы образования в мировое образовательное пространство, участие России в Болонском процессе, необходимость введения международных стандартов качества обучения и контроля его результатов;
- изменение содержания образования, информатизация всех его уровней и повышение значения развития творческих аспектов в подготовке обучающихся;
- вариативность учебных программ и инвариантность требований к освоению базового уровня образования;
- совершенствование структуры государственных образовательных стандартов, введение ЕГЭ как формы независимой аттестации выпускников и системы отбора абитуриентов;
- построение общероссийской системы оценки качества образования и многие другие направления, актуализирующие проблему совершенствования контроля результатов учебного труда по множеству дисциплин и на разных этапах обучения.
Принципиальное различие между традиционной системой оценивания знаний и педагогическими измерениями заключается в том, что в первом случае речь идет о качественном оценивании учебных достижений обучающихся, а во втором - о получении количественных показателей уровня учебных достижений. И одна, и другая системы контроля обладают как набором достоинств, так и недостатками. Традиционные методы, как известно, базируются на взаимодействии обучающегося и педагога, поэтому одним из их достоинств является развитие ком-
стр. 14
--------------------------------------------------------------------------------
муникативных способностей обучающихся, простота приемов и оперативность получения результатов. Без сомнения, отдельные элементы педагогических измерений всегда присутствуют и при подобной оценке знаний. Однако они нацелены исключительно на получение качественных эквивалентов оцениваемых свойств обучающихся, но не на их количественное измерение, поэтому результаты такого контроля невозможно сравнивать между собой. На фоне возрастания роли педагогических измерений в технологиях ЕГЭ все более достигается понимание того, что традиционные средства контроля имеют низкий обучающий потенциал, сдерживают развитие инновационных методов обучения, не обеспечивают условий для самоконтроля и самоуправления. К числу существенных недостатков, несовместимых с современными направлениями модернизации образования и совершенствования системы управления его качеством, также можно отнести следующие: проявления субъективизма со стороны педагогов; недостаточность средств контроля, адекватных компетентностному подходу в обучении; отсутствие единых шкал и критериев оценивания; слабое методическое обеспечение самооценки и самокоррекции результатов учебной деятельности и др.
В отличие от традиционных, современные технологии оценки качества обучения базируются на квалиметрическом (количественном) подходе, целью которого является получение численных эквивалентов, отождествляемых с оценками измеряемой переменной, в качестве которой рассматривается латентный параметр обучающегося - его предметная (или межпредметная) подготовленность. В количественном измерении уровня учебных достижений обучающихся зарубежные и отечественные ученые добились наибольших успехов, заложив в контрольно-оценочную деятельность новые направления, особенно эффективные на стадии "школа - вуз", которая всегда и везде требовала к себе наибольшего внимания.
На первый взгляд кажется, что сам термин "измерения" является сомнительным в педагогической практике. Это обусловлено явными отличиями знаний от физических объектов, для оценки свойств которых имеется шкала, точка отсчета и единица измерения. Как бы в противовес идее непрерывности свойств физических объектов, показатели подготовленности учащихся ассоциируются с дискретным распределением, где между привычными точками традиционной пятибалльной или другой шкалы нет промежуточных значений, нет фиксированного нуля и далеко не всегда можно ввести единицу измерений на шкале, построенной по результатам традиционного оценивания знаний [1]. Вместе с тем именно педагогические измерения составляют основу новой контрольно-оценочной системы. Для их проведения чаще всего используют стандартизированные тесты учебных достижений, обладающие квалиметрическими характеристиками, такими как: надежность, точность, валидность, дифференцирующая способность, шкала измерений, статистические нормы качества и др. [2].
Проблема измерения и оценки результатов обучения является одной из важных в педагогической теории и практике, так как ее решение позволяет определять эффективность и пути совершенствования содержания, методов и организации обучения, системы управления. Объективные, достоверные, теоретически обоснованные измерения и оценки результатов обучения могут дать педагогам информацию о ходе педагогического процесса, учебных достижениях каждого обучаемого, выявить влияние тех или иных факторов на ход обучения и его результаты.
В основе квалиметрического подхода к современному тестированию лежат
стр. 15
--------------------------------------------------------------------------------
идеи использования математических моделей для конструирования и параметризации тестов по методологии IRT (Item Response Theory), получившей развитие в трудах зарубежных ученых [5; 6; 7]. Основным предположением IRT является наличие взаимосвязи между наблюдаемыми результатами учебных достижений, латентными свойствами самих тестируемых (подготовленность по предмету на момент тестирования) и характеристиками используемых тестовых заданий (уровнями трудности). При этом латентные параметры тестируемых выявляются как результат взаимодействия двух множеств, обусловливающих наблюдаемые итоги выполнения теста и результаты, получающиеся непосредственно из эмпирических данных тестирования в виде первичного балла (числа выполненных заданий). Элементами одного множества являются значения qi - уровни учебных достижений испытуемых (где i = 1, 2,........N - номера испытуемых, а N - количество участников тестирования). Второе множество образуют значения bj - уровни трудности тестовых заданий (где j = 1, 2,..........., n - номера заданий, а n- общее число заданий в тесте).
На практике всегда ставится задача по числу правильно выполненных заданий оценить значения латентных параметров q и b. Именно для ее решения и выбирают тот или иной вид соотношения между ними (математическую модель), устанавливают взаимосвязь между эмпирическими результатами тестирования и значениями этих латентных переменных на шкале оценок. На основе той или иной математической модели конструируется тест, создается и апробируется на статистически значимой выборке необходимое число его вариантов, определяются квалиметрические характеристики и строится шкала оценок, после чего тест получает свойства педагогического измерителя.
Наиболее простой и широко используемой в педагогической практике является однопараметрическая модель теста, предложенная датским математиком Г. Рашем (G. Rasch). В ней рассмотренные выше латентные переменные введены в виде разности (qi - bj), а вероятность правильного ответа Pj (q) задается логистической функцией с параметром (qi - bj) [5]:
Вероятность правильного ответа растет с ростом параметра q: чем выше уровень знаний тестируемых, тем выше вероятность правильного ответа на j-е задание теста. Взаимосвязь между этими параметрами хорошо просматривается по характеристической кривой j-го задания теста, вид которой представлен на рис. 1.
Рис. 1. Характеристическая кривая тестового задания
Достоинством этой модели является то, что оба параметра q и b оцениваются на одной и той же шкале логитов, где логит - математически обоснованная единица измерения уровня учебных достижений (шкала получает название логистической). Таким образом, основная идея педагогического измерения заключается в том, что разность (qi - bj) представляет собой некоторое "расстояние" в логитах между уровнем знаний тестируемого и уровнем трудности задания. Если эта разность велика и отрицательна, то задание является трудным и бесполезным для измерения уровня подготовленности данного испытуемого. Если она велика и поло-
стр. 16
--------------------------------------------------------------------------------
жительна, то задание также неэффективно, так как такой уровень трудности уже хорошо освоен. Отсюда наиболее информативным является измерение подготовленности i-го испытуемого j-м тестовым заданием с уровнем трудности в точке перегиба кривой при равенстве qi = βj, вероятность правильного ответа в этом случае равна 0,5. Из этого следует, что чем ближе значение разности (qi - βj) к нулю, тем эффективнее подобрано задание и тем меньше стандартная ошибка измерения уровня подготовленности обучающегося. Вероятность выбора правильного ответа хорошо подготовленными испытуемыми стремится к 1, а слабыми - к 0. При этом увеличение трудности задания на некоторую константу c > 0 смещает характеристическую кривую вправо. С прежней вероятностью на такое задание сможет ответить испытуемый уже с другим уровнем знаний, равным (q + c). Составленный из набора заданий с известными уровнями трудности (калиброванных заданий) тест является педагогическим измерителем.
В однопараметрической модели симметрично Pj(q) возникла математическая модель, описывающая вероятность Pi (b) выбора правильного ответа i-м испытуемым на разные по трудности задания теста:
Вероятность получения правильного ответа i-м испытуемым является убывающей функцией в зависимости от трудности заданий теста. Ее график представляет собой индивидуальную кривую подготовленности испытуемого (рис. 2). В точке перегиба кривой вероятность правильного ответа так же, как и на характеристической кривой задания, равна 0,5. В процессе обучения по мере накопления знаний индивидуальная кривая подготовленности испытуемого смещается вправо по логистической шкале.
Рис. 2. Индивидуальная кривая подготовленности испытуемого
Помимо системы Г. Раша в теории педагогических измерений существуют и другие математические модели с дополнительным введением тех или иных параметров. Например, двухпараметрическая модель А. Бирнбаума получена путем добавления к указанным выше критериям дифференцирующей способности тестовых заданий а, т.е. способности различать уровни учебных достижений учащихся [7]. Совершенствование модели А. Бирнбаума привело к необходимости введения еще одного параметра, учитывающего фактор угадывания правильного ответа. Сама модель стала называться логистической трехпараметрической.
Таким образом, комплексным показателем подготовленности обучающихся в теории педагогических измерений признаются их учебные достижения (знания, умения и навыки) в той или иной предметной области как объект тестового контроля, а количественной мерой качества образования по когнитивной составляющей является уровень этих достижений как измеряемый параметр. Результат измерения получают путем того или иного преобразования числа выполненных заданий в тестовые баллы с учетом уровней их трудности- шкалирования [1]. При этом истинный балл рассматривается как константа (количественная характеристика испытуемого на момент педагогического измерения), не зависящая от
стр. 17
--------------------------------------------------------------------------------
средств измерения, но меняющаяся в процессе обучения.
Важным в практике педагогических измерений является использование математико-статистического аппарата для апробации и стандартизации теста, анализа и коррекции распределения эмпирических данных тестирования, а также применение специальных программно-инструментальных средств автоматизированной обработки результатов выполнения тестов. Для эффективного функционирования контрольно-оценочной системы необходимо получение объективной достоверной информации о качестве обучения, которая обеспечивается путем достижения высокой надежности и валидности педагогических измерений [3]. Тест считается надежным, если он обеспечивает высокую точность измерений и дает при повторном выполнении на одной и той же выборке близкие результаты при условии того, что подготовка испытуемых не изменилась за время до повторной диагностики. В самой общей трактовке надежность тестов можно рассматривать как характеристику существующих различий между тестовыми результатами и истинными баллами испытуемых в той мере, в какой эти различия порождаются случайными ошибками измерения.
Важнейшим фактором, влияющим на надежность, является внутренняя согласованность теста, обеспечиваемая высокой однородностью содержания заданий, отбираемых для него. Хотя вывод базируется на математическом обосновании, его можно получить, основываясь на здравом смысле. Вполне понятно, что точность тестовых оценок возрастает по мере повышения однородности (гомогенности) содержания теста, когда содержание всех заданий нацелено на измерение только одной переменной.
Вторым фактором, влияющим на надежность, следует считать длину теста. Реальный путь повышения его надежности связан с его удлинением, однако при этом увеличивается утомляемость тестируемых и снижается их мотивация к выполнению заданий, что ведет к росту ошибки измерения. Поэтому при выборе оптимальной длины теста руководствуются группой факторов, среди которых важными являются: высокая дисперсия тестовых баллов, нормальный характер распределения результатов измерений, тестовая форма используемых заданий, возраст тестируемых и время тестирования в соответствии с их физиологическими возможностями и другими ограничениями организационного характера, неизбежно сопутствующими реальной ситуации выполнения заданий.
Помимо надежности важна и валидность теста как совокупность характеристик, определяющих его способность служить цели создания, т.е. измерять именно то, ради чего он создан.
Наряду с истинным баллом в теории педагогических измерений рассматривается и ошибка измерения. Если она превышает допустимые пределы запланированной точности, то говорить о достижении какой-либо объективности не приходится даже в тех случаях, когда в процессе педагогического измерения устранено влияние педагогов-предметников и использовались стандартизированные тесты.
В связи с вопросами качества тестов как педагогических измерителей возникает необходимость введения ошибки измерения, что, собственно, и закладывает научный фундамент обоснования надежности тестов. Она определяется из соотношения: Xij = Ti + Eij , где
Xij - наблюдаемый результат выполнения 1-м испытуемым выборки тестового задания j;
Ti - его истинный балл;
Eij - суммарная ошибка измерения при оценке i-го испытуемого с помощью j-го задания теста.
Использование в теории педагогических измерений аксиом и предположений
стр. 18
--------------------------------------------------------------------------------
о нормальном характере распределения результатов массового тестирования приводит к соотношению, связывающему дисперсию наблюдаемых баллов Sx 2 , истинных баллов ST 2 и ошибок измерения Sc 2 :
Sx 2 = ST 2 + Sc 2 ,
где Sx 2 определяется различиями в подготовленности испытуемых и в содержании заданий теста.
Естественно предположить, что чем ближе Sx 2 к ST 2 , тем выше корреляция между множеством наблюдаемых баллов X и множеством истинных баллов T и, следовательно, тем надежнее весь тест. Поэтому отношение ST 2 /Sx 2 обычно трактуют как характеристику надежности теста.
Несмотря на встречающиеся значительные трудности технологического характера, есть ряд аргументов, склоняющих практиков к использованию моделей IRT. Единая шкала, содержащая единицы измерения учебных достижений - логиты, позволяет реализовать ряд преимуществ, не обеспечиваемых традиционной системой оценивания, дает возможность проводить сравнения объективных результатов достижений испытуемых по различным предметам, создания надежных и доступных методов самооценки и самокоррекции своей деятельности как обучающимися, так и педагогами.
Таким образом, под педагогическим измерением в IRT понимается процесс установления соответствия между оцениваемыми характеристиками обучающихся и точками эмпирической шкалы, на которой отношения между различными оценками характеристик испытуемых выражены свойствами числового ряда. При этом роль шкалы педагогических измерений играют тестовые задания с известными уровнями трудности (калиброванные тестовые задания), объектами оценивания являются уровни учебных достижений испытуемых, а результатом измерения - шкала баллов тестируемых.
В таком случае тест выступает в виде своеобразного педагогического измерительного инструмента определенной разрешающей способности, надежности, точности и других квалиметрических характеристик: показателей содержания, статистических данных апробации, точности, дифференцирующей способности, валидности и др. Именно эти ключевые понятия теории и практики педагогических измерений пока остаются непривычными для учителей, в то время как тестовый контроль, проводимый независимо от тех, кто обучает школьников, рассматривается как внешняя научно обоснованная контрольно-оценочная система, обеспечивающая объективность результатов, измерение, оценку и выявление основных характеристик обучающихся и факторов, влияющих на условия образовательного процесса [4].
Комплекс необходимых показателей обеспечивает целостное, качественное и количественное представление о состоянии объекта исследований и динамике его изменений. К числу таких показателей относят: первичный балл испытуемого, выраженный в числе выполненных заданий теста; сертификационный или тестовый балл испытуемого, полученный в результате шкалирования и учета статистического веса трудности тестовых заданий; средний тестовый балл генеральной выборки; средний тестовый балл исследуемой выборки; проценты правильно выполненных заданий теста для разных категорий и групп испытуемых; индивидуальный рейтинг участника тестирования; рейтинг общеобразовательного учреждения; рейтинг территории, региона и др.
При этом эффективность тестирования как педагогической контрольно-оценочной технологии зависит не только от качества используемых тестов-измерителей, но и от методов анализа и интерпретации результатов их выполнения. Самый простой метод подсчета результатов основывается на обычном суммировании
стр. 19
--------------------------------------------------------------------------------
баллов (дихотомических или политомических), выставляемых при выполнении каждого задания теста. Получаемые при этом индивидуальные итоговые баллы испытуемых принято называть первичными, наблюдаемыми, или сырыми, подчеркивая тем самым возможность их непосредственного вычисления без всяких преобразований по результатам выполнения тестов. Эти баллы вполне пригодны для оценивания учебных достижений отдельных учеников или студентов в текущем учебном процессе. Однако они не годятся для массового тестирования при проведении выпускных или вступительных экзаменов, поскольку не позволяют выявить истинные различия в уровне подготовленности испытуемых, сравнить их результаты между собой, правильно истолковать даже в том случае, когда оценки испытуемых получены по различным вариантам одного и того же теста. Для устранения возможных недостатков при интерпретации тестовых результатов процедуры их шкалирования и выравнивания должны проводиться по определенным правилам путем перевода сырых баллов, полученных испытуемыми по различным вариантам теста, в одну из стандартных шкал.
Предупреждая отдельные заблуждения, встречающиеся среди педагогов-практиков, хотелось бы отметить, что процедура шкалирования направлена целиком на расширение возможностей интерпретации и сопоставимости тестовых баллов, но ни в коей мере не связана с повышением точности педагогических измерений. Оптимизируя процедуру шкалирования, нельзя повысить качество тестовых измерений и получить более точные представления об истинных баллах испытуемых. Однако неудачный выбор шкалы может огрубить результаты тестирования, уничтожив различия сырых, или тестовых, баллов, и снизить тем самым дифференцирующий эффект теста. Так часто происходит при отборе абитуриентов. В некоторых вузах оценки 100-балльной шкалы переводятся в 5-балльную, в результате чего разные по уровню достижения становятся совершенно одинаковыми.
Интенсивное развитие системы независимого массового тестирования (международные обследования, единый государственный экзамен (ЕГЭ), централизованное, различные виды регионального тестирования и др.) делает систему образования открытой обществу в сфере оценки результатов учебного труда. Создаются условия для целенаправленного использования материалов, технологий и методов тестирования в массовой образовательной практике. Это значит, что сама концепция оценки качества образования начинает претерпевать заметные изменения и затрагивать не только учащихся и их достижения, но также образовательные учреждения, преподавателей и всю систему образования в целом. Тестирование все более становится неотъемлемой составляющей образовательного процесса и управления его качеством, методом развития школьников в процессе обучения и контроля, фактором внешнего воздействия на образовательные системы.
Оперативный и всесторонний анализ объективных результатов тестирования активизирует обучающую функцию контроля, переносит центр тяжести с оценивания на коррекцию обучения и совершенствование образовательного процесса при условии:
- оптимальности сочетания традиционного контроля и обучающего тестирования;
- использования различных организационных форм обучающего тестирования (входное, рубежное, репетиционное, аттестационное и др.) на разных стадиях обучения;
- учета единых показателей и критериев оценки качества образовательного процесса и образовательных систем;
- использования методов многофакторного анализа эмпирических результатов
стр. 20
--------------------------------------------------------------------------------
массового тестирования с позиций педагогической квалиметрии и их корректной интерпретации;
- обеспечения доступности результатов всем субъектам образования;
- перевода контрольно-оценочной и мониторинговой деятельности педагогов на современные информационные средства для повышения эффективности педагогического труда.
Однако следует учитывать, что, несмотря на значительные успехи теории и практики педагогических измерений, тестирование не является совершенной формой контроля. Как и любой другой измерительный инструмент в любом контролируемом процессе, тесты способны измерять только то, ради чего они созданы, только в том диапазоне переменных, на который рассчитаны, и с той точностью, которую удается обеспечить при их конструировании, апробации и определении статистических характеристик. Это всегда необходимо учитывать. Следует также отметить ряд других важных проблем и трудностей, связанных с недостаточным развитием тестирования в отечественном образовании.
Во-первых, производство качественного тестового продукта представляет собой длительный и трудоемкий процесс, требующий обеспечения валидности и надежности педагогических измерений. А главное, для создания теста необходим достаточно емкий банк калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Получить его сложно, поскольку для этого требуется многолетняя практика разработки и применения стандартизованных тестов, их апробация на репрезентативных выборках и расчет параметров трудности заданий. Созданием таких педагогических измерителей должны заниматься центры, имеющие специалистов в области теории и практики конструирования и параметризации такой продукции. В свою очередь, стандартизованные тесты должны быть доступны общеобразовательным учреждениям, а квалификация учителей должна быть достаточной для того, чтобы оценить качество используемой продукции и ее возможности.
Во-вторых, внутренняя противоречивость тестов создает мнение о том, что задания с выбором правильного ответа из числа предложенных (альтернативные тестовые задания) обеспечивают проверку знаний только низшего уровня. Считается, что тестовая методика не дает возможности проверить понимание учащимися того или иного процесса, закономерности или явления, что тестировать можно лишь формализованные знания. Однако, как показывает опыт, многое зависит от качества и содержания тестов, структуры тестовых заданий, подбора дистракторов (правдоподобных ответов), учета их выбора при оценивании. В концептуальной модели современного контроля задания для теста конструируются так, чтобы обеспечить проверку различных уровней подготовленности испытуемых, выявить не только внешнее выражение умений, но и оценить латентные процессы мыслительной деятельности при подготовке конечного ответа на тестовые задания, выявить характер затруднений.
В-третьих, существует объективно обусловленная содержательная ограниченность теста, как и любого другого измерительного инструмента. Тест - это всегда ограниченная выборка заданий из общей совокупности дидактических единиц, требующих проверки усвоения.
В-четвертых, как и всякий другой измерительный инструмент и процесс, тестирование имеет свои границы применимости. При отсутствии тестовой культуры в педагогической среде оно вместо положительного может дать и отрицательный результат: натаскивание на механистическое запоминание ответов, вольное обращение с учебным материалом и ограничение изучаемого содержания,
стр. 21
--------------------------------------------------------------------------------
подчинение его нуждам тестирования, замена части базового материала другой информацией. По-видимому, разработка и введение образовательных стандартов, подготовка емких банков тестовых заданий, варьирование структуры контрольных измерительных материалов и создание компьютерных технологий проведения тестирования могут в значительной степени снять эту проблему в ближайшем будущем.
В-пятых, существует возможность нарушения процедур тестирования с искажением и фальсификацией результатов эксперимента, как, впрочем, и при любом другом виде контроля знаний. Однако, как показывают опыт и статистика результатов ЕГЭ, доля нарушений на едином экзамене на несколько порядков ниже, чем при традиционной аттестации. Вместе с тем тестирование, как всякий измерительный инструмент и процесс, подлежит совершенствованию, что достаточно хорошо заметно в ходе проведения эксперимента по введению ЕГЭ.
И, наконец, в-шестых, можно назвать чисто субъективные недостатки: сохранение у части педагогов неверия в возможности тестирования и его объективность из-за отсутствия необходимых знаний; отказ от использования новых технологий и боязнь личных проблем, возникающих при независимом контроле; консерватизм некоторых руководителей, не желающих менять устоявшуюся традиционную систему работы.
Однако следует отметить, что, обладая серьезными недостатками, тесты являются единственным способом педагогических измерений, исключающим влияние субъективного фактора, позволяющим получать объективные оценки учебных достижений и обеспечивающим условия для целенаправленного воздействия на педагогический процесс и образовательные системы с целью создания положительных тенденций в образовании. Тестирование создает реальные возможности дифференциации уровней подготовленности обучающихся и способствует практической реализации идей личностно ориентированного образования.
ЛИТЕРАТУРА
1. Заочников Б. И., Найденова Н. Н., Никифоров С. В., Челышкова М. Б. Шкалирование и выравнивание результатов педагогических измерений. М., 2003.
2. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000.
3. Челышкова М. Б. Теория и практика конструирования педагогических тестов. М., 2002.
4. Ефремова Н. Ф. Современные тестовые технологии в образовании. М., 2003.
5. Rasch G. Probabilistic Model for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright/ The Univ. Of Chicago Press. Chicago; L, 1980.
6. Weiss D.J., Kingsbury G.G. Application of computerized adaptive testing to educational problems // Journal of Educational Measurement. 1984. N 21.
7. Birnbaum A. Some Latent Trait Models and Their Use in Inferring an Examinee's Ability. In Lord F.M. and Novick. Statistical Theories of Test scores. Reading Mass.: Addison-Wesley. 1968. Ch. 17 - 20.
стр. 22
Чтобы в какой-то мере прояснить сложившуюся ситуацию, следует отметить ряд факторов, обусловливающих необходимость реформирования контрольно-оценочной системы и необратимость реформы контроля и оценки подготовленности обучающихся. Наиболее важные из них:
- интеграция российской системы образования в мировое образовательное пространство, участие России в Болонском процессе, необходимость введения международных стандартов качества обучения и контроля его результатов;
- изменение содержания образования, информатизация всех его уровней и повышение значения развития творческих аспектов в подготовке обучающихся;
- вариативность учебных программ и инвариантность требований к освоению базового уровня образования;
- совершенствование структуры государственных образовательных стандартов, введение ЕГЭ как формы независимой аттестации выпускников и системы отбора абитуриентов;
- построение общероссийской системы оценки качества образования и многие другие направления, актуализирующие проблему совершенствования контроля результатов учебного труда по множеству дисциплин и на разных этапах обучения.
Принципиальное различие между традиционной системой оценивания знаний и педагогическими измерениями заключается в том, что в первом случае речь идет о качественном оценивании учебных достижений обучающихся, а во втором - о получении количественных показателей уровня учебных достижений. И одна, и другая системы контроля обладают как набором достоинств, так и недостатками. Традиционные методы, как известно, базируются на взаимодействии обучающегося и педагога, поэтому одним из их достоинств является развитие ком-
стр. 14
--------------------------------------------------------------------------------
муникативных способностей обучающихся, простота приемов и оперативность получения результатов. Без сомнения, отдельные элементы педагогических измерений всегда присутствуют и при подобной оценке знаний. Однако они нацелены исключительно на получение качественных эквивалентов оцениваемых свойств обучающихся, но не на их количественное измерение, поэтому результаты такого контроля невозможно сравнивать между собой. На фоне возрастания роли педагогических измерений в технологиях ЕГЭ все более достигается понимание того, что традиционные средства контроля имеют низкий обучающий потенциал, сдерживают развитие инновационных методов обучения, не обеспечивают условий для самоконтроля и самоуправления. К числу существенных недостатков, несовместимых с современными направлениями модернизации образования и совершенствования системы управления его качеством, также можно отнести следующие: проявления субъективизма со стороны педагогов; недостаточность средств контроля, адекватных компетентностному подходу в обучении; отсутствие единых шкал и критериев оценивания; слабое методическое обеспечение самооценки и самокоррекции результатов учебной деятельности и др.
В отличие от традиционных, современные технологии оценки качества обучения базируются на квалиметрическом (количественном) подходе, целью которого является получение численных эквивалентов, отождествляемых с оценками измеряемой переменной, в качестве которой рассматривается латентный параметр обучающегося - его предметная (или межпредметная) подготовленность. В количественном измерении уровня учебных достижений обучающихся зарубежные и отечественные ученые добились наибольших успехов, заложив в контрольно-оценочную деятельность новые направления, особенно эффективные на стадии "школа - вуз", которая всегда и везде требовала к себе наибольшего внимания.
На первый взгляд кажется, что сам термин "измерения" является сомнительным в педагогической практике. Это обусловлено явными отличиями знаний от физических объектов, для оценки свойств которых имеется шкала, точка отсчета и единица измерения. Как бы в противовес идее непрерывности свойств физических объектов, показатели подготовленности учащихся ассоциируются с дискретным распределением, где между привычными точками традиционной пятибалльной или другой шкалы нет промежуточных значений, нет фиксированного нуля и далеко не всегда можно ввести единицу измерений на шкале, построенной по результатам традиционного оценивания знаний [1]. Вместе с тем именно педагогические измерения составляют основу новой контрольно-оценочной системы. Для их проведения чаще всего используют стандартизированные тесты учебных достижений, обладающие квалиметрическими характеристиками, такими как: надежность, точность, валидность, дифференцирующая способность, шкала измерений, статистические нормы качества и др. [2].
Проблема измерения и оценки результатов обучения является одной из важных в педагогической теории и практике, так как ее решение позволяет определять эффективность и пути совершенствования содержания, методов и организации обучения, системы управления. Объективные, достоверные, теоретически обоснованные измерения и оценки результатов обучения могут дать педагогам информацию о ходе педагогического процесса, учебных достижениях каждого обучаемого, выявить влияние тех или иных факторов на ход обучения и его результаты.
В основе квалиметрического подхода к современному тестированию лежат
стр. 15
--------------------------------------------------------------------------------
идеи использования математических моделей для конструирования и параметризации тестов по методологии IRT (Item Response Theory), получившей развитие в трудах зарубежных ученых [5; 6; 7]. Основным предположением IRT является наличие взаимосвязи между наблюдаемыми результатами учебных достижений, латентными свойствами самих тестируемых (подготовленность по предмету на момент тестирования) и характеристиками используемых тестовых заданий (уровнями трудности). При этом латентные параметры тестируемых выявляются как результат взаимодействия двух множеств, обусловливающих наблюдаемые итоги выполнения теста и результаты, получающиеся непосредственно из эмпирических данных тестирования в виде первичного балла (числа выполненных заданий). Элементами одного множества являются значения qi - уровни учебных достижений испытуемых (где i = 1, 2,........N - номера испытуемых, а N - количество участников тестирования). Второе множество образуют значения bj - уровни трудности тестовых заданий (где j = 1, 2,..........., n - номера заданий, а n- общее число заданий в тесте).
На практике всегда ставится задача по числу правильно выполненных заданий оценить значения латентных параметров q и b. Именно для ее решения и выбирают тот или иной вид соотношения между ними (математическую модель), устанавливают взаимосвязь между эмпирическими результатами тестирования и значениями этих латентных переменных на шкале оценок. На основе той или иной математической модели конструируется тест, создается и апробируется на статистически значимой выборке необходимое число его вариантов, определяются квалиметрические характеристики и строится шкала оценок, после чего тест получает свойства педагогического измерителя.
Наиболее простой и широко используемой в педагогической практике является однопараметрическая модель теста, предложенная датским математиком Г. Рашем (G. Rasch). В ней рассмотренные выше латентные переменные введены в виде разности (qi - bj), а вероятность правильного ответа Pj (q) задается логистической функцией с параметром (qi - bj) [5]:
Вероятность правильного ответа растет с ростом параметра q: чем выше уровень знаний тестируемых, тем выше вероятность правильного ответа на j-е задание теста. Взаимосвязь между этими параметрами хорошо просматривается по характеристической кривой j-го задания теста, вид которой представлен на рис. 1.
Рис. 1. Характеристическая кривая тестового задания
Достоинством этой модели является то, что оба параметра q и b оцениваются на одной и той же шкале логитов, где логит - математически обоснованная единица измерения уровня учебных достижений (шкала получает название логистической). Таким образом, основная идея педагогического измерения заключается в том, что разность (qi - bj) представляет собой некоторое "расстояние" в логитах между уровнем знаний тестируемого и уровнем трудности задания. Если эта разность велика и отрицательна, то задание является трудным и бесполезным для измерения уровня подготовленности данного испытуемого. Если она велика и поло-
стр. 16
--------------------------------------------------------------------------------
жительна, то задание также неэффективно, так как такой уровень трудности уже хорошо освоен. Отсюда наиболее информативным является измерение подготовленности i-го испытуемого j-м тестовым заданием с уровнем трудности в точке перегиба кривой при равенстве qi = βj, вероятность правильного ответа в этом случае равна 0,5. Из этого следует, что чем ближе значение разности (qi - βj) к нулю, тем эффективнее подобрано задание и тем меньше стандартная ошибка измерения уровня подготовленности обучающегося. Вероятность выбора правильного ответа хорошо подготовленными испытуемыми стремится к 1, а слабыми - к 0. При этом увеличение трудности задания на некоторую константу c > 0 смещает характеристическую кривую вправо. С прежней вероятностью на такое задание сможет ответить испытуемый уже с другим уровнем знаний, равным (q + c). Составленный из набора заданий с известными уровнями трудности (калиброванных заданий) тест является педагогическим измерителем.
В однопараметрической модели симметрично Pj(q) возникла математическая модель, описывающая вероятность Pi (b) выбора правильного ответа i-м испытуемым на разные по трудности задания теста:
Вероятность получения правильного ответа i-м испытуемым является убывающей функцией в зависимости от трудности заданий теста. Ее график представляет собой индивидуальную кривую подготовленности испытуемого (рис. 2). В точке перегиба кривой вероятность правильного ответа так же, как и на характеристической кривой задания, равна 0,5. В процессе обучения по мере накопления знаний индивидуальная кривая подготовленности испытуемого смещается вправо по логистической шкале.
Рис. 2. Индивидуальная кривая подготовленности испытуемого
Помимо системы Г. Раша в теории педагогических измерений существуют и другие математические модели с дополнительным введением тех или иных параметров. Например, двухпараметрическая модель А. Бирнбаума получена путем добавления к указанным выше критериям дифференцирующей способности тестовых заданий а, т.е. способности различать уровни учебных достижений учащихся [7]. Совершенствование модели А. Бирнбаума привело к необходимости введения еще одного параметра, учитывающего фактор угадывания правильного ответа. Сама модель стала называться логистической трехпараметрической.
Таким образом, комплексным показателем подготовленности обучающихся в теории педагогических измерений признаются их учебные достижения (знания, умения и навыки) в той или иной предметной области как объект тестового контроля, а количественной мерой качества образования по когнитивной составляющей является уровень этих достижений как измеряемый параметр. Результат измерения получают путем того или иного преобразования числа выполненных заданий в тестовые баллы с учетом уровней их трудности- шкалирования [1]. При этом истинный балл рассматривается как константа (количественная характеристика испытуемого на момент педагогического измерения), не зависящая от
стр. 17
--------------------------------------------------------------------------------
средств измерения, но меняющаяся в процессе обучения.
Важным в практике педагогических измерений является использование математико-статистического аппарата для апробации и стандартизации теста, анализа и коррекции распределения эмпирических данных тестирования, а также применение специальных программно-инструментальных средств автоматизированной обработки результатов выполнения тестов. Для эффективного функционирования контрольно-оценочной системы необходимо получение объективной достоверной информации о качестве обучения, которая обеспечивается путем достижения высокой надежности и валидности педагогических измерений [3]. Тест считается надежным, если он обеспечивает высокую точность измерений и дает при повторном выполнении на одной и той же выборке близкие результаты при условии того, что подготовка испытуемых не изменилась за время до повторной диагностики. В самой общей трактовке надежность тестов можно рассматривать как характеристику существующих различий между тестовыми результатами и истинными баллами испытуемых в той мере, в какой эти различия порождаются случайными ошибками измерения.
Важнейшим фактором, влияющим на надежность, является внутренняя согласованность теста, обеспечиваемая высокой однородностью содержания заданий, отбираемых для него. Хотя вывод базируется на математическом обосновании, его можно получить, основываясь на здравом смысле. Вполне понятно, что точность тестовых оценок возрастает по мере повышения однородности (гомогенности) содержания теста, когда содержание всех заданий нацелено на измерение только одной переменной.
Вторым фактором, влияющим на надежность, следует считать длину теста. Реальный путь повышения его надежности связан с его удлинением, однако при этом увеличивается утомляемость тестируемых и снижается их мотивация к выполнению заданий, что ведет к росту ошибки измерения. Поэтому при выборе оптимальной длины теста руководствуются группой факторов, среди которых важными являются: высокая дисперсия тестовых баллов, нормальный характер распределения результатов измерений, тестовая форма используемых заданий, возраст тестируемых и время тестирования в соответствии с их физиологическими возможностями и другими ограничениями организационного характера, неизбежно сопутствующими реальной ситуации выполнения заданий.
Помимо надежности важна и валидность теста как совокупность характеристик, определяющих его способность служить цели создания, т.е. измерять именно то, ради чего он создан.
Наряду с истинным баллом в теории педагогических измерений рассматривается и ошибка измерения. Если она превышает допустимые пределы запланированной точности, то говорить о достижении какой-либо объективности не приходится даже в тех случаях, когда в процессе педагогического измерения устранено влияние педагогов-предметников и использовались стандартизированные тесты.
В связи с вопросами качества тестов как педагогических измерителей возникает необходимость введения ошибки измерения, что, собственно, и закладывает научный фундамент обоснования надежности тестов. Она определяется из соотношения: Xij = Ti + Eij , где
Xij - наблюдаемый результат выполнения 1-м испытуемым выборки тестового задания j;
Ti - его истинный балл;
Eij - суммарная ошибка измерения при оценке i-го испытуемого с помощью j-го задания теста.
Использование в теории педагогических измерений аксиом и предположений
стр. 18
--------------------------------------------------------------------------------
о нормальном характере распределения результатов массового тестирования приводит к соотношению, связывающему дисперсию наблюдаемых баллов Sx 2 , истинных баллов ST 2 и ошибок измерения Sc 2 :
Sx 2 = ST 2 + Sc 2 ,
где Sx 2 определяется различиями в подготовленности испытуемых и в содержании заданий теста.
Естественно предположить, что чем ближе Sx 2 к ST 2 , тем выше корреляция между множеством наблюдаемых баллов X и множеством истинных баллов T и, следовательно, тем надежнее весь тест. Поэтому отношение ST 2 /Sx 2 обычно трактуют как характеристику надежности теста.
Несмотря на встречающиеся значительные трудности технологического характера, есть ряд аргументов, склоняющих практиков к использованию моделей IRT. Единая шкала, содержащая единицы измерения учебных достижений - логиты, позволяет реализовать ряд преимуществ, не обеспечиваемых традиционной системой оценивания, дает возможность проводить сравнения объективных результатов достижений испытуемых по различным предметам, создания надежных и доступных методов самооценки и самокоррекции своей деятельности как обучающимися, так и педагогами.
Таким образом, под педагогическим измерением в IRT понимается процесс установления соответствия между оцениваемыми характеристиками обучающихся и точками эмпирической шкалы, на которой отношения между различными оценками характеристик испытуемых выражены свойствами числового ряда. При этом роль шкалы педагогических измерений играют тестовые задания с известными уровнями трудности (калиброванные тестовые задания), объектами оценивания являются уровни учебных достижений испытуемых, а результатом измерения - шкала баллов тестируемых.
В таком случае тест выступает в виде своеобразного педагогического измерительного инструмента определенной разрешающей способности, надежности, точности и других квалиметрических характеристик: показателей содержания, статистических данных апробации, точности, дифференцирующей способности, валидности и др. Именно эти ключевые понятия теории и практики педагогических измерений пока остаются непривычными для учителей, в то время как тестовый контроль, проводимый независимо от тех, кто обучает школьников, рассматривается как внешняя научно обоснованная контрольно-оценочная система, обеспечивающая объективность результатов, измерение, оценку и выявление основных характеристик обучающихся и факторов, влияющих на условия образовательного процесса [4].
Комплекс необходимых показателей обеспечивает целостное, качественное и количественное представление о состоянии объекта исследований и динамике его изменений. К числу таких показателей относят: первичный балл испытуемого, выраженный в числе выполненных заданий теста; сертификационный или тестовый балл испытуемого, полученный в результате шкалирования и учета статистического веса трудности тестовых заданий; средний тестовый балл генеральной выборки; средний тестовый балл исследуемой выборки; проценты правильно выполненных заданий теста для разных категорий и групп испытуемых; индивидуальный рейтинг участника тестирования; рейтинг общеобразовательного учреждения; рейтинг территории, региона и др.
При этом эффективность тестирования как педагогической контрольно-оценочной технологии зависит не только от качества используемых тестов-измерителей, но и от методов анализа и интерпретации результатов их выполнения. Самый простой метод подсчета результатов основывается на обычном суммировании
стр. 19
--------------------------------------------------------------------------------
баллов (дихотомических или политомических), выставляемых при выполнении каждого задания теста. Получаемые при этом индивидуальные итоговые баллы испытуемых принято называть первичными, наблюдаемыми, или сырыми, подчеркивая тем самым возможность их непосредственного вычисления без всяких преобразований по результатам выполнения тестов. Эти баллы вполне пригодны для оценивания учебных достижений отдельных учеников или студентов в текущем учебном процессе. Однако они не годятся для массового тестирования при проведении выпускных или вступительных экзаменов, поскольку не позволяют выявить истинные различия в уровне подготовленности испытуемых, сравнить их результаты между собой, правильно истолковать даже в том случае, когда оценки испытуемых получены по различным вариантам одного и того же теста. Для устранения возможных недостатков при интерпретации тестовых результатов процедуры их шкалирования и выравнивания должны проводиться по определенным правилам путем перевода сырых баллов, полученных испытуемыми по различным вариантам теста, в одну из стандартных шкал.
Предупреждая отдельные заблуждения, встречающиеся среди педагогов-практиков, хотелось бы отметить, что процедура шкалирования направлена целиком на расширение возможностей интерпретации и сопоставимости тестовых баллов, но ни в коей мере не связана с повышением точности педагогических измерений. Оптимизируя процедуру шкалирования, нельзя повысить качество тестовых измерений и получить более точные представления об истинных баллах испытуемых. Однако неудачный выбор шкалы может огрубить результаты тестирования, уничтожив различия сырых, или тестовых, баллов, и снизить тем самым дифференцирующий эффект теста. Так часто происходит при отборе абитуриентов. В некоторых вузах оценки 100-балльной шкалы переводятся в 5-балльную, в результате чего разные по уровню достижения становятся совершенно одинаковыми.
Интенсивное развитие системы независимого массового тестирования (международные обследования, единый государственный экзамен (ЕГЭ), централизованное, различные виды регионального тестирования и др.) делает систему образования открытой обществу в сфере оценки результатов учебного труда. Создаются условия для целенаправленного использования материалов, технологий и методов тестирования в массовой образовательной практике. Это значит, что сама концепция оценки качества образования начинает претерпевать заметные изменения и затрагивать не только учащихся и их достижения, но также образовательные учреждения, преподавателей и всю систему образования в целом. Тестирование все более становится неотъемлемой составляющей образовательного процесса и управления его качеством, методом развития школьников в процессе обучения и контроля, фактором внешнего воздействия на образовательные системы.
Оперативный и всесторонний анализ объективных результатов тестирования активизирует обучающую функцию контроля, переносит центр тяжести с оценивания на коррекцию обучения и совершенствование образовательного процесса при условии:
- оптимальности сочетания традиционного контроля и обучающего тестирования;
- использования различных организационных форм обучающего тестирования (входное, рубежное, репетиционное, аттестационное и др.) на разных стадиях обучения;
- учета единых показателей и критериев оценки качества образовательного процесса и образовательных систем;
- использования методов многофакторного анализа эмпирических результатов
стр. 20
--------------------------------------------------------------------------------
массового тестирования с позиций педагогической квалиметрии и их корректной интерпретации;
- обеспечения доступности результатов всем субъектам образования;
- перевода контрольно-оценочной и мониторинговой деятельности педагогов на современные информационные средства для повышения эффективности педагогического труда.
Однако следует учитывать, что, несмотря на значительные успехи теории и практики педагогических измерений, тестирование не является совершенной формой контроля. Как и любой другой измерительный инструмент в любом контролируемом процессе, тесты способны измерять только то, ради чего они созданы, только в том диапазоне переменных, на который рассчитаны, и с той точностью, которую удается обеспечить при их конструировании, апробации и определении статистических характеристик. Это всегда необходимо учитывать. Следует также отметить ряд других важных проблем и трудностей, связанных с недостаточным развитием тестирования в отечественном образовании.
Во-первых, производство качественного тестового продукта представляет собой длительный и трудоемкий процесс, требующий обеспечения валидности и надежности педагогических измерений. А главное, для создания теста необходим достаточно емкий банк калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Получить его сложно, поскольку для этого требуется многолетняя практика разработки и применения стандартизованных тестов, их апробация на репрезентативных выборках и расчет параметров трудности заданий. Созданием таких педагогических измерителей должны заниматься центры, имеющие специалистов в области теории и практики конструирования и параметризации такой продукции. В свою очередь, стандартизованные тесты должны быть доступны общеобразовательным учреждениям, а квалификация учителей должна быть достаточной для того, чтобы оценить качество используемой продукции и ее возможности.
Во-вторых, внутренняя противоречивость тестов создает мнение о том, что задания с выбором правильного ответа из числа предложенных (альтернативные тестовые задания) обеспечивают проверку знаний только низшего уровня. Считается, что тестовая методика не дает возможности проверить понимание учащимися того или иного процесса, закономерности или явления, что тестировать можно лишь формализованные знания. Однако, как показывает опыт, многое зависит от качества и содержания тестов, структуры тестовых заданий, подбора дистракторов (правдоподобных ответов), учета их выбора при оценивании. В концептуальной модели современного контроля задания для теста конструируются так, чтобы обеспечить проверку различных уровней подготовленности испытуемых, выявить не только внешнее выражение умений, но и оценить латентные процессы мыслительной деятельности при подготовке конечного ответа на тестовые задания, выявить характер затруднений.
В-третьих, существует объективно обусловленная содержательная ограниченность теста, как и любого другого измерительного инструмента. Тест - это всегда ограниченная выборка заданий из общей совокупности дидактических единиц, требующих проверки усвоения.
В-четвертых, как и всякий другой измерительный инструмент и процесс, тестирование имеет свои границы применимости. При отсутствии тестовой культуры в педагогической среде оно вместо положительного может дать и отрицательный результат: натаскивание на механистическое запоминание ответов, вольное обращение с учебным материалом и ограничение изучаемого содержания,
стр. 21
--------------------------------------------------------------------------------
подчинение его нуждам тестирования, замена части базового материала другой информацией. По-видимому, разработка и введение образовательных стандартов, подготовка емких банков тестовых заданий, варьирование структуры контрольных измерительных материалов и создание компьютерных технологий проведения тестирования могут в значительной степени снять эту проблему в ближайшем будущем.
В-пятых, существует возможность нарушения процедур тестирования с искажением и фальсификацией результатов эксперимента, как, впрочем, и при любом другом виде контроля знаний. Однако, как показывают опыт и статистика результатов ЕГЭ, доля нарушений на едином экзамене на несколько порядков ниже, чем при традиционной аттестации. Вместе с тем тестирование, как всякий измерительный инструмент и процесс, подлежит совершенствованию, что достаточно хорошо заметно в ходе проведения эксперимента по введению ЕГЭ.
И, наконец, в-шестых, можно назвать чисто субъективные недостатки: сохранение у части педагогов неверия в возможности тестирования и его объективность из-за отсутствия необходимых знаний; отказ от использования новых технологий и боязнь личных проблем, возникающих при независимом контроле; консерватизм некоторых руководителей, не желающих менять устоявшуюся традиционную систему работы.
Однако следует отметить, что, обладая серьезными недостатками, тесты являются единственным способом педагогических измерений, исключающим влияние субъективного фактора, позволяющим получать объективные оценки учебных достижений и обеспечивающим условия для целенаправленного воздействия на педагогический процесс и образовательные системы с целью создания положительных тенденций в образовании. Тестирование создает реальные возможности дифференциации уровней подготовленности обучающихся и способствует практической реализации идей личностно ориентированного образования.
ЛИТЕРАТУРА
1. Заочников Б. И., Найденова Н. Н., Никифоров С. В., Челышкова М. Б. Шкалирование и выравнивание результатов педагогических измерений. М., 2003.
2. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000.
3. Челышкова М. Б. Теория и практика конструирования педагогических тестов. М., 2002.
4. Ефремова Н. Ф. Современные тестовые технологии в образовании. М., 2003.
5. Rasch G. Probabilistic Model for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright/ The Univ. Of Chicago Press. Chicago; L, 1980.
6. Weiss D.J., Kingsbury G.G. Application of computerized adaptive testing to educational problems // Journal of Educational Measurement. 1984. N 21.
7. Birnbaum A. Some Latent Trait Models and Their Use in Inferring an Examinee's Ability. In Lord F.M. and Novick. Statistical Theories of Test scores. Reading Mass.: Addison-Wesley. 1968. Ch. 17 - 20.
стр. 22
Опубликовано 01 ноября 2007 года
Новые статьи на library.by:
ПЕДАГОГИКА ШКОЛЬНАЯ:
Комментируем публикацию: ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ В СИСТЕМЕ ОБРАЗОВАНИЯ
подняться наверх ↑
ССЫЛКИ ДЛЯ СПИСКА ЛИТЕРАТУРЫ
По стандарту ВАК Республики Беларусь
Стандарт используется в белорусских учебных заведениях различного типа.
По ГОСТу Российской Федерации
Для образовательных и научно-исследовательских учреждений РФ
Прямой URL на данную страницу для блога или сайта
Предполагаемый источник
Полностью готовые для научного цитирования ссылки. Вставьте их в статью, исследование, реферат, курсой или дипломный проект, чтобы сослаться на данную публикацию №1193922878 в базе LIBRARY.BY.
подняться наверх ↑
ПАРТНЁРЫ БИБЛИОТЕКИ рекомендуем!
подняться наверх ↑
ОБРАТНО В РУБРИКУ?
Уважаемый читатель! Подписывайтесь на LIBRARY.BY в VKновости, VKтрансляция и Одноклассниках, чтобы быстро узнавать о событиях онлайн библиотеки.
Добавить статью
Обнародовать свои произведения
Редактировать работы
Для действующих авторов
Зарегистрироваться
Доступ к модулю публикаций