Базовые требования к тестовым заданиям. Тестовые задания — теоретические основы и методические советы Тестовое задание должно

При оценке кандидата работодатели всё чаще не ограничиваются проведением собеседований и просмотром резюме, а просят ещё и выполнить тестовое задание. Стоит ли идти навстречу компании и делать работу, пусть и тестовую, бесплатно?

Покажите свои умения
«Зачем выполнять тестовое задание, если впереди испытательный срок?» — недоумевают кандидаты. «Если работа в конкретной компании действительно интересна специалисту, он не откажется от выполнения пробного поручения», - парируют рекрутеры. И те, и другие по-своему правы. Соискателям жаль тратить своё время и силы на неоплачиваемую работу, которая не даёт гарантии трудоустройства, а работодатели хотят быть максимально уверенными в квалификации кандидата, которого берут на работу. Кто же прав в этом заочном споре?

Прежде всего стоит сказать, что испытательный срок и тестовое задание — принципиально разные вещи. Тестовое задание показывает некоторые практические навыки кандидата, но не даёт возможности его комплексной оценки (умение работать в команде, соблюдение дедлайнов и т. д.). Испытательный срок позволяет увидеть кандидата со всех сторон. Однако таким способом можно оценить только одного специалиста, в то время как тестовое задание можно поручить нескольким соискателям. К тому же для этого потребуется как минимум месяц (именно столько по закону длится минимальный испытательный срок).

Так что работодателя, использующего тестовые задания при отборе кандидатов, вполне можно понять. У соискателя тоже есть причины не отказываться от подобного теста. Во-первых, тестовое задание – прекрасный способ проявить себя. Если на собеседовании вы только рассказываете о своём опыте и навыках, то с помощью тестового задания наглядно показываете своё мастерство. А, как говорится, лучше один раз увидеть, чем сто раз услышать.

Во-вторых, выполнение теста позволит вам адекватно оценить свои возможности. По силам ли вам должность, на которую вы претендуете? Ведь работу, аналогичную тестовому заданию, придётся выполнять ежедневно. В-третьих, выполнив тестовое задание, вы узнаете мнение специалистов о своей работе, а это очень ценно, ведь на ошибках учатся. Просто попросите рекрутера или руководителя направления прокомментировать результаты теста хотя бы в общих чертах.

Правила успеха
Приступая к тестовому заданию, чётко оговорите с менеджером по персоналу сроки выполнения работы. Договорившись о сроках, неукоснительно соблюдайте их. Копирайтера, который обещал написать статью к четвергу, а сдал её лишь в понедельник, наверняка сочтут безответственным даже при наличии таланта.

Тестовое задание – это уникальный шанс убедить работодателя, что именно вы являетесь лучшим кандидатом. Поэтому, выполняя работу, старайтесь показать товар лицом: используйте логичные решения, чёткие формулировки, грамотную терминологию, по возможности проявляйте творческий потенциал. При этом стоит учитывать, что едва ли работодатель ждёт от вас детализированный бизнес-план или продуманный до мелочей текст. Скорее всего, будущий руководитель хочет увидеть ход вашей мысли и ваш потенциал, поэтому не стремитесь чересчур вдаваться в детали.

Прежде чем сдавать работу, позаботьтесь о её оформлении. Шрифт в тексте должен быть легко читаемым, разумеется, в работе не должно быть ошибок. Эскизы или чертежи, если они не в электронном виде, лучше положить в аккуратную папку. Если вы посылаете выполненное задание по электронной почте, напишите небольшое сопроводительное письмо.

Защита авторских прав
Распространённое и чаще всего беспричинное опасение соискателей заключается в том, что их трудом воспользуются, но предложения о работе за этим не последует. Иногда своим негодованием делятся кандидаты, которые писали бизнес-планы или статьи, но место в компании так и не получили, зато нечистоплотные работодатели использовали результаты их труда в своих интересах. Есть в интернете и масса советов, как защитить своё тестовое задание, к примеру, оформить авторские права, предоставить текст или код в неудобном для копирования формате, взять с работодателя расписку и т. д.

Безусловно, непорядочные работодатели, которые могут украсть вашу идею, существуют. Однако прежде чем отказываться от выполнения тестового задания по этой причине, подумайте: станет ли заинтересовавшая вас компания давать объявления о вакансиях и проводить собеседования (всё это стоит денег) только ради пробных работ кандидатов? Чтобы развеять сомнения, найдите как можно больше информации о компании в интернете. Солидные организации не станут рисковать своей репутацией ради того, чтобы воспользоваться плодами чужого труда.

Если вам всё же очень хочется защитить себя, договоритесь с работодателем о том, что если ваше тестовое задание окажется полезным компании, то оно должно быть оплачено вне зависимости от того, возьмут вас на работу или нет.

1. При создании тестов для проверки остаточных знаний по соответствующей дисциплине или для проверки итоговых знаний обучающегося/студента на основании программы дисциплины определяется область содержания теста и цели тестирования .

План теста (Приложение 1) для промежуточного контроля знаний должен охватывать знания, умения и навыки по одной или нескольким дидактическим единицам, для итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии с программой дисциплины, для проверки остаточных знаний по всем дидактическим единицам дисциплины в соответствии с ГОСом по профессии/специальности.

3. Необходимо включение в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений. Все спорные точки зрения, допустимые в научном споре, следует исключить из тестовых заданий.

4. Каждый учебный элемент должен иметь некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний.

1. При разработке плана тестовых заданий по дисциплине делается примерная раскладка процентного содержания разделов и определяется необходимое число заданий (но не менее 3-х) по каждому разделу дисциплины (по каждой дидактической единице) исходя из его важности и числа часов, отведенных на его изучение в программе.

Основные термины тестового задания должны быть явно и ясно определены.

Тестовые задания должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений студентов по конкретной области знаний.

Тестовые задания должны формулироваться в виде свернутых кратких суждений.

Следует избегать тестовых заданий, которые требуют от тестируемого развернутых заключений на требования тестовых заданий.

При конструировании тестовых ситуаций можно применять различные формы их представления, а также графические и мультимедийные компоненты с целью рационального предъявления содержания учебного материала.

Количество слов в тестовом задании не должно превышать 10-12, если при этом не искажается понятийная структура тестовой ситуации. Главным считается ясное и явное отражение содержания фрагмента предметной области.

Среднее время на тестовое задание не должно превышать 1,5 минуты.

1. Рекомендуется соблюдать следующие параметры тестов:

Соответствие содержания тестовых заданий государственному образовательному стандарту по учебной дисциплине (базовая часть тестовых заданий –70%- 85%), а также включение дополнительных тестовых заданий (вариативная часть тестовых заданий – 15%-30%).

Необходимо проводить подбор заданий, комплексно отображающих основные темы учебной дисциплины.

Тестовые задания по конкретной учебной дисциплине должны наиболее полно отображать ее содержание и ключевые понятия, чтобы иметь качественную объективную оценку знаний студентов. Включение в тест второстепенных элементов содержания может привести к неоправданным выводам о знании или незнании учебной дисциплины.

Необходимо соблюдать пропорции в количестве тестовых заданий по темам учебной дисциплины.

Необходимо проверять соответствие содержания тестовых заданий знаниям, навыкам и умениям, оцениваемым у студентов.

В каждом тестовом задании необходима определенность, логичность, отсутствие некорректных формулировок, выделение одного предмета измерения (ключевого понятия, термина, правила, определения и т.д.).

1. Спецификация теста включает :

Цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер его применения.

Перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста.

Количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте.

Охват требований государственных образовательных стандартов по дисциплине.

1. Рекомендации к формулировкам тестовых заданий

Основными элементами тестового задания являются инструкция, задание (содержательная часть), ответы к заданию.

Инструкция к тестовым заданиям определяет перечень действий при прохождении тестирования. Она должна быть адекватна форме и содержанию задания («укажите правильный ответ (ответы)», «установите соответствие», «определите правильную последовательность», «введите правильный ответ»).

Используемая терминология не должна выходить за рамки основных учебников и нормативных документов.

Все повторяющиеся слова должны быть исключены из ответов и вынесены в содержательную часть задания.

Все варианты ответов должны быть грамотно согласованы с содержательной частью задания, однообразны по содержанию и структуре, равнопривлекательны. Между ответами необходимы четкие различия. Правильный ответ однозначен и не должен опираться на подсказки.

Среди ответов должны отсутствовать ответы, вытекающие один из другого.

В варианты ответов нельзя включать формулировки «все перечисленное выше», «все утверждения верны», «перечисленные ответы не верны», так как такие ответы нарушают логическую конструкцию тестового задания или несут подсказку.

Число тестовых заданий с отрицанием должно быть минимальным. При этом частица «не» выделяется жирным шрифтом.

1. Виды и типы тестовых заданий. Их особенности, преимущества и недостатки

Существуют два типа заданий, которые объединяют шесть видов

Схема 1. Типы и виды тестовых заданий

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Их отличительной особенностью является то, что для их выполнения ученику необходимо записать одно или несколько слов (цифр, букв, словосочетаний, предложений).

Задания закрытого типа (альтернативных ответов, множественного выбора, восстановления соответствия и восстановления последовательности) предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Эти задания предполагают наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.

Задания закрытого типа

1. Задания альтернативных ответов.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – “да – нет”, “правильно – неправильно” и др.

Форма задания

... ...

Инструкция для задания альтернативных ответов: Вам необходимо выбрать один вариант ответа, который Вы считаете правильным.

Задания альтернативных ответов в большей степени подходят для выявления уровня овладения сложными определениями, знания достаточно сложных графиков, диаграмм, схем и др.Особенностью заданий альтернативных ответов является то, что вопрос должен быть сформулирован в форме утверждения, поскольку он предполагает согласие или несогласие, которое можно отнести к утверждению.

2. Задания множественного выбора.

Это основной вид заданий, применяемый в тестах достижений. Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

1. В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

2. Основная часть задания формулируется очень кратко, не более одного предложения из семи-восьми слов;

3. Задание должно иметь предельно простую синтаксическую конструкцию;

4. В основную часть задания включается как можно больше слов, оставляя для ответа 2-3 ключевых слова для данной проблемы;

5. Все ответы к одному заданию должны быть примерно одной длины, либо в некоторых заданиях правильный ответ может быть короче других;

6. Из текста должны быть исключены все ассоциации, способствующие выбору правильного ответа с помощью догадки;

7. Частота выбора одного и того же номера места для правильного ответа в различных заданиях должна быть примерно одинакова;

8. Из ответов исключаются все повторяющиеся слова за счет ввода их в основной текст заданий;

10. Из числа неправильных должны исключаться ответы, вытекающие один из другого;

11. Из числа тестовых должны исключаться задания, содержащие оценочные суждения или мнения испытуемого по какому-либо вопросу;

12. Все варианты ответов должны быть равновероятно привлекательны для испытуемых;

13. Ни один из вариантов ответов не должен являться частично правильным, превращающимся при определенных дополнительных условиях в правильный;

14. Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки ответов;

15. Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста;

16. Если задание содержит среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредотачивается только на этих двух ответах;

17. Все ответы должны быть параллельны по конструкции и грамматически согласованы с основной частью задания теста.

Форма предоставления заданий множественного выбора:

Вопрос (утверждение):

A. Вариант ответа 1

B. Вариант ответа 2

C. Вариант ответа 3

Инструкция для заданий множественного выбора: Выберите букву (ы), соответствующую (ие) варианту (ам) правильного (ых) ответа (ов).

3. Задания на восстановление соответствия.

К заданиям данного типа относятся задания на восстановление соответствия между элементами двух списков, порядка ряда. Состоит из двух групп элементов и четкой формулировки критерия выбора соответствия между ними. Соответствие устанавливается по принципу 1:1 (одному элементу первой группы соответствует только один элемент второй группы) или 1:M (одному элементу первой группы соответствует М элементов второй группы). Внутри каждой группы элементы должны быть однородными. Количество элементов во второй группе должно превышать количество элементов первой группы, но не более чем в 1,5 раза. Максимально допустимое количество элементов во второй группе не должно превышать 10. Количество элементов в первой группе должно быть не менее двух.

Форма представления заданий на восстановление соответствия:

Инструкция: Соотнесите написанное в столбцах 1 и 2.

Вопрос:

Варианты ответа:

Ответ: А. 3. Б. 2. В. 5. Г. 1. Д. 4.

Главными преимуществами заданий этого вида являются: возможностью быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте.

4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановления соответствия, когда одним из рядов является время, расстояние, или иной континуальный конструкт, который подразумевается в виде ряда.

Задания на восстановление последовательности – это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью, простотой проверки.

Задание.

Инструкция: Расположите в правильной последовательности.

Вопрос.

Варианты ответа.

1. А.

2. B.

3. С. ……. Ответ: 1. А. 2. D. 3. В. 4. Е. 5. С. 6. F.

Преимущества заданий закрытого типа

Задания могут быть надежны, поскольку отсутствуют факторы, связанные с субъективными оценками, которые снижают надежность.

Оценивание заданий полностью объективно: между оценками различных проверяющих не может быть различий.

Не учитывается умение испытуемых хорошо формулировать ответы.

Задания этого типа легко обрабатываются, тестирование быстро проводится.

Простой алгоритм заполнения снижает количество случайных ошибок и описок.

Эти задания позволяют охватить большие области знания, что для тестов достижений особенно важно.

Возможна машинная обработка ответов.

Низкая вероятность угадывания правильных ответов.

Возможно получение точной оценки содержательности теста, что особенно важно для определения соответствия теста целям исследования

Задания открытого типа

Требует сформулированного самим тестируемым заключения на требования задания. Имеет вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов. В качестве ключевых элементов могут быть: число, слово или словосочетание. При формулировке задания на месте ключевого элемента, необходимо поставить прочерк или многоточие. Отсутствующий элемент (правильный вывод) в задании открытой формы вводит тестируемый на месте прочерка и/или в специальном поле, хорошо видимом испытуемым.

К ним относятся задания двух видов:

1) дополнения (задачи с ограничением на ответы). В этих заданиях испытуемые также самостоятельно давать ответы на вопросы, однако их возможности ограничены.

Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

Инструкция для заданий дополнения: вместо многоточия впишите только одно слово (символ, знак и т.д.).

Пример задания дополнения.

Инструкция: Вместо многоточия впишите только одно слово.

Вопрос: Фирма, предоставляющая сетевые услуги – это...

Ответ: провайдер.

2) Свободного изложения или свободного конструирования. Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа.

Инструкция для заданий свободного изложения: закончите предложение (фразу), впишите вместо многоточия правильный ответ (словосочетание, фразу, предложение или несколько предложений).

Пример задания свободного изложения.

Инструкция: Закончите предложение.

Вопрос: Специальная программа, реализующая правила передачи информации между компьютерами – это... ...

Ответ: сетевой протокол.

Трудность в применении этого вида задач заключается в сложности с формализацией ответов, необходимость подготовки оценочных схем затрудняет стандартизацию, громоздкость процедуры и большие затраты времени на проведение.

Основная трудность при составлении заданий открытого типа – соблюдения основного требования к тестовым заданиям (наличия однозначного правильного ответа).

Положительными сторонами хорошо составленных заданий дополнения и свободного изложения являются:

1) невозможность угадать ответ;

2) краткость и однозначность ответов;

3) необходимость воспроизведения ответа по памяти;

4) отсутствие необходимости искать несколько вариантов ответа;

5) простота формулировки вопроса;

6) простота проверки.

1. Критерии выставления оценки

Оценка «удовлетворительно» ставится, если обучающийся/студент ответил на от 55 до 70% вопросов. Оценка «хорошо» ставится, если обучающийся/студент получил от 71 до 85%. Оценка «отлично» ставится, если обучающийся/студент получил 86% и более.

Основные типы химических реакций

3.2, 3.3

Периодическая система Д.И.Менеделеева и свойства химических элементов

Химическая связь и строение вещества

Химическая кинетика и катализ. Скорость реакций. Катализ. (Задача)

2. 2.3

Химическое равновесие. Константа равновесия. Смещение равновесия.

2.1,

Дисперсные системы. Общие свойства растворов. Энергетика растворения.

А10

Состав растворов. Массовая доля. Молярная концентрация.

1.1,

А11

Растворы электролитов. Диссоциация кислот, оснований, солей.

А12

Кислотно-основные реакции. Гидролиз солей.

Всего

*Примечание. Виды тестовых заданий:

1 - задания с выбором одного или нескольких правильных ответов;

2 - задания открытой формы, т. е. без указания ответов (дополнения и свободного изложения)

3 - задания на установление соответствия

4 - задания на установление правильной последовательности

5 – задания альтернативных ответов

Vc.ru рассказали, что испытания, которые необходимо проходить, чтобы попасть в вожделенную компанию, бывают очень изощренными. Кто-то предлагает пробежать семь этапов собеседований, кто-то — проверку службой безопасности, у кого-тo кандидатов инспектирует психолог с кляксами и очень проникновенным взглядом. В игровой индустрии дела обстоят чуть лучше, но и тут не без исключений. В большинстве случаев схема проста: собеседование, тестовое задание, собеседование — от перемены мест слагаемых сумма не меняется. Но одно из них часто вызывает сомнения и у тех, кто его дает, и у тех, кто выполняет.

«Они меня увидят и сразу все поймут»

Большинство кандидатов условно можно разделить на два типа: тех, кто в первую очередь спрашивает про зарплату, и тех, кто спрашивает про проект, над которым предстоит работать. Но практически никто не хочет выполнять тестовое задание для кого бы то ни было. Поэтому после волнующего первого вопроса всегда следует второй: «можно ли как-то обойтись без тестового задания?»

Тестовое задание — это инструмент, а не самоцель. Конечно, возможны ситуации, когда оно не нужно. Например, если у нанимателя нет сомнений в профессиональных навыках кандидата, что возможно, если кандидат ранее публично демонстрировал эти навыки или имеет очень сильные рекомендации. Сюда же попадают известные и уважаемые люди, тестовое задание для которых будет чем-то вроде оскорбления. В остальных случаях без тестового задания никак. Его выполнение не гарантирует, что кандидат подойдет на должность, но хотя бы отсеивает тех, кто не способен справиться даже с простыми задачами.

Часто подробное интервью и хорошее резюме заменяют тестовое задание, особенно если важно оценить то, как человек думает. В таком случае кандидату придется потратить 10-15 часов на общение с кадровой службой и лидом и часов восемь на интервью с командой.

Мы не предлагаем геймдизайнерам выполнять тестовое задание — есть пара вопросов, ответы на которые показывают отсутствие шаблонного мышления и общий потенциал. Нам, прежде всего, важен горящий взгляд, аналитический склад ума, структурированность и критичность мышления, а глубина фундаментальных знаний вторична.

«Только после третьего свидания»

Многих кандидатов смущает, если тестовое задание просят выполнить ещё до первой встречи: он пока не познакомился с компанией, не знает, что они могут предложить и боится, что это окажется пустой тратой времени. С другой стороны, когда вы уже встретились, пообщались и так понравились друг другу, дополнительные проверки — это просто обидно. Так или иначе, тестовое задание вам все-таки предложат. Другой вопрос — когда это стоит сделать?

На этапе, который предшествует собеседованию. До выполнения тестового задания проводят собеседование только жадные до денег внешние рекрутеры и специалисты кадрового отдела из контор с повышенным уровнем бюрократии. Нормальная цепочка выглядит следующие образом: ознакомление с резюме соискателя, проверка предыдущих работ, тестовое задание и личное собеседование с будущим руководителем.

Если кандидат всем устраивает после ознакомления с его резюме и личной беседы — самое время проверить его практические умения. В некоторых случаях, даже если у вас остались вопросы после собеседования, тестовое задание поможет подтвердить или опровергнуть опасения касательно его знаний и навыков.

Евгения Никитина директор кадровой службы в студии Pixonic

Важно еще в описании вакансии предупредить соискателей о необходимости выполнения тестового задания. После этого уже не так важно, на каком именно этапе оно будет. Большее значение имеет своевременность предоставления кандидату полной информации о перспективах и о содержании работы, которую ему предлагают, а также конкретику по критериям оценки результатов. Ведь негатив вызывает именно осознание неизбежности траты личного времени и отсутствие понимания оценки проделанной работы. В обратной ситуации рождается только спортивный интерес.

«Дайте мне пять минут, и я сделаю все завтра»

Для компаний объемное задание — это самый простой способ отсеять недостаточно мотивированных кандидатов. Но помимо тестового на десять страниц у вас есть основная работа и ограниченное количество часов в сутках, парочку из которых хотелось бы тратить на сон и личные дела. Сколько времени должно занимать выполнение тестового задания, чтобы компания не упустила подходящих кандидатов?

Павел Михайловглавный геймдизайнер Crytek

Необходимо учитывать, что кандидат может продолжать работать над своим текущим проектом или же проходить собеседования в других компаниях (в которых ему также дали тестовые задания). Рассчитывать, что еще не нанятый сотрудник сможет потратить следующие 8-16 часов своей жизни только на вашу задачу, несколько опрометчиво. Если на выполнение технического задания выделено два-три дня, задача будет выполнена некачественно или не выполнена вовсе. Оптимальное время — неделя. За неделю можно найти время на выполнение задания, или на подготовку и поиск необходимой информации даже при очень плотном графике. В конце концов, в таком варианте у кандидата остаются в запасе целые выходные.

Сергей Масленников геймдизайнер Zeptolab

У нас нет каких-либо ограничений по этому поводу, но мы, скорее всего, спросим кандидата о том, сколько времени заняло задание. Верим на слово, так как не отслеживаем факт скачивания тестового задания с сайта, да и количество вариантов обойти это ограничение стремится к бесконечности. Оптимальное время выполнения сильно зависит от конкретного человека, но в среднем выходит пять-семь часов рабочего времени.

Ярослав Кравцовпродюсер игры Smash Bash в инди-команде

Не больше трех дней — это точно. Если кандидат неделю просидит над тестовым заданием и получит отказ, то у компании станет на одного врага больше. К тому же умение укладываться в сроки является одним из ключевых навыков профессионального сотрудника, поэтому логично проверить этот навык заранее. Но если слишком лимитировать время не стоит — иначе кандидат не успеет показать весь масштаб своих навыков. Конечно, стоит заранее предупредить его о таких ограничениях, чтобы личные обстоятельства не помешали испытанию.

«Я не бесплатная рабочая сила»

Первый пункт стандартного задания для геймдизайнеров звучит так: «Скачайте нашу игру. Напишите, что вам нравится, какие проблемы вы видите, и что стоит исправить». Именно он периодически становится камнем преткновения. В 99 случаях из 100 за выполнение тестового задания денег вам не дадут. Но мало кому хочется бесплатно делать то, за что принято платить. Насколько профессионально и целесообразно просить анализировать свой проект?

Если бы целью поиска кандидатов и проведения собеседований для нас был сбор «бесплатных идей» — я думаю, что это был бы крайне дорогой и неэффективный путь. Если человек не хочет озвучивать какие-то мысли или предложения — это полностью его право. Если кандидат не озвучил каких-то новых для нас идей — это никак не влияет на решения. Почему не стоит бояться анализировать наши проекты? Потому, что хороший анализ наших проектов — это одна из хороших причин взять кандидата в штат. Разбор уже запущенных, проверенных проектов, по которым у нас есть много аналитики и мнений, позволяет нам с высокой степенью точности предположить, насколько жизнеспособны идеи и предложения кандидата. Это как простой чеклист, где кандидат либо подтверждает имеющиеся данные, либо дополняет их (что, несомненно, будет весомым плюсом).

Сергей Галенкин руководитель издательского направления Epic Games в Восточной Европе

Если кандидат не будет анализировать проект, как он поймет, готов ли он заниматься им ближайшие несколько лет с утра до вечера? Если в игре есть значительные проблемы, которые этот кандидат может исправить за неделю — компания его с руками оторвет.

В нашем случае «свой проект» обычно находится под строгим NDA, и мы не можем его дать кандидатам. Некоторые используют игры Ubisoft в качестве примеров, и сделанное «домашнее задание» по изучению игр компании — это плюс. Но у нас нет каких-то особых требований на этот счет. В первую очередь, нам важно, чтобы ответы на вопросы теста были качественными, плохой тест с примерами из игр Ubisoft — все еще плохой тест.

Павел Михайлов главный геймдизайнер Crytek

Увидеть и понять в чем заключается проблема — только часть дела, найти и сформировать оптимальные варианты решения требует уже других навыков и хорошего знания архитектуры проекта. А имплементировать решение в проект — уже третья задача. Я бы предположил, что человек, не понимающий этого, не обладает необходимым опытом для работы. Тут можно провести параллель с существующим в игровой разработке мнением о том, что цена даже очень хорошей идеи — один цент. Ценность же человека, который может ее предложить и самостоятельно реализовать — несравненно выше.

«И швец, и жнец, и на дуде игрец»

Бывает несколько типов заданий с уклоном в те или иные аспекты работы геймдизайнера. В крупных компаниях есть разделение на «геймдизайнер-математик» и «геймдизайнер-сценарист». Только вот геймдизайн — это все еще комплексная задача, где нужно и функции придумывать, и техническое задание программистам писать, и художников понимать. Наличие каких навыков нужно проверять в тестовом задании?

Андрей Доценко геймдизайнер в Ubisoft

Английский язык — одно из основных требований для работы в Ubisoft. В нашем случае дизайнеру придется очень много общаться на английском с коллегами из других офисов. Поэтому общий уровень владения английским в тесте очень важен (также мы проверяем разговорные навыки на интервью). Сильный кандидат с плохим знанием английского, к сожалению, не подходит. Наш тест состоит из десяти вопросов (на данный момент, нам такой формат кажется оптимальным). Вопросы достаточно общие, на них нет на 100% правильных ответов, главная задача теста — проверить, как дизайнер думает и как подходит к решению различных проблем. Условно, каждый вопрос теста может быть оценен в 0/0,5/1 балл. Из опыта за последних двух лет: «проходной балл» для приглашения на интервью начинается где-то с 6,5-7 и выше. Первая из областей, которые проверяет тест — это общие дизайнерские знания и навыки: знание игровой культуры, способность понимать и анализировать, как работают другие игры, знание дизайнерской теории и экспертизу в разных областях (в киевском офисе, традиционно, большой фокус на 3C/UI/UX). Вторая — технические и организационные навыки: планирование, умение анализировать информацию, понимание технических ограничений платформы. И третья область — навыки коммуникации и презентации: уровень владения языком, умение формулировать мысли, структура и внешний вид теста также очень важны.

Сергей Масленников геймдизайнер в Zeptolab

Первоначально мы смотрим на логику размышлений, после — на оригинальность и свежесть идей. Способность воспринимать вводные и ясно донести идеи как нечто логичное, аргументированное, целое - положительно говорит о навыках кандидата. Иногда мы предлагаем кандидатам ввести третьего игрока в игру Pong. Как изменится форма поля? В зависимости от того, что нарисует кандидат — обсуждаем потенциальные «узкие места» в геймплее, вводим дополнительные условия (например, четвертого игрока, который управляет шариком). Этот кейс позволяет оценить умение поставить себя на место игрока, «эмулировать» геймплей в голове. Часто просим назвать любимую мобильную игру и рассказать, что в ней не нравится и как изменить её к лучшему. По тому, что предлагает кандидат, можно много сказать о фокусе его профессиональных интересов и глубины понимания механик.

Ярослав Кравцов продюсер игры Smash Bash в инди-команде

Проверять нужно те навыки, которые потребуются в работе. Для этого тестовое задание должно быть основано на тех задачах, которые кандидату предстоит решать при успешном трудоустройстве. Иначе есть риск, что он покажет мастерское владение анализом Hi-End-геймплея World of Warcraft, но при этом окажется, что не способен писать дизайнерскую документацию.

Леонид Сиротин независимый разработчик и партнер DTF

Навык владения письменной речью, навык внятно излагать свои мысли, навык систематизировать входящую и исходящую информацию, навык концентрации внимания и навык каменного зада. Данный перечень является основным и практически исчерпывающим списком навыков, необходимых геймдизайнеру. Также следует учитывать, что не существует такой профессии, как геймдизайнер. Существуют геймдизайнеры-балансеры, геймдизайнеры-креативщики, геймдизайнеры-управленцы. К каждой из этих категорий геймдизайнеров в рамках тестового задания можно выдвигать те или иные дополнительные требования, например от балансера можно потребовать посчитать баланс, от креативщика предложить функции, от управленца покричать на монитор или составить план разработки с бюджетирированием. Но обычно, в подавляющем большинстве компаний, оценка ТЗ сводится к оценке набора навыков, изложенных в самом начале этого пункта.

Выводы

Во-первых, не надо откликаться на все подряд, тратить свое и чужое время, чтобы в итоге получить отказ «из-за слабого тестового задания». Это закроет путь в компанию минимум на год-полтора, потому что мало кто из работодателей верит, что за год кандидат может чему-то научиться. Определитесь, где именно вы действительно хотите работать и приложите максимум усилий и времени, чтобы туда попасть. Во-вторых, предположим, вы уже определились с проектами, над которыми хотите работать несколько следующих лет от заката до рассвета и наоборот. В этом случае вам придется пройти все испытания, которые компания предложит: общаться с психологами, проверяться на полиграфе, делать огромное тестовое задание. В-третьих и главных, не работайте в компаниях, для которых вам лень делать тестовые задания. Игровая индустрия — это все-таки для тех, кто любит свою работу.

9. В задании не используются слова, вызывающие различное понимание у испытуемых, а также слова, являющиеся подсказкой, например, «иногда», «часто», «всегда», «все», «никогда».

10. Ни в тексте, ни в вариантах ответов не должно быть подсказок.

11. Лучше «длинный» вопрос и «короткие» ответы, чем наоборот.

12. В заданиях, носящих составной характер, необходимо обеспечить такую последовательность, чтобы правильность выполнения одного задания не зависела от правильности выполнения другого задания данной группы.

13. Используемая в заданиях терминология не должна выходить за рамки учебной литературы.

Базовые требования к тестовым заданиям

1. Содержание тестового задания должно быть ориентировано на получение от тестируемого однозначного заключения.

2. Основные термины тестового задания должны быть явно и ясно определены.

3. Тестовые задания должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений студентов.

4. Тестовые задания должны формулироваться в виде кратких суждений.

5. В содержании тестового задания определяющий признак должен быть необходимым и достаточным.

6. Следует избегать тестовых заданий, которые требуют от тестируемого развернутых заключений на требования тестовых заданий.

7. При конструировании тестовых ситуаций необходимо применять различные формы их представления, а также графические и мультимедийные компоненты с целью рационального предъявления содержания учебного материала.

8. Количество слов в тестовом задании не должно превышать 10-12, если при этом не искажается понятийная структура тестовой ситуации. Главным считается ясное и явное отражение содержания фрагмента предметной области.

9. Среднее время заключения испытуемого на тестовое задание не должно превышать 2,5 минуты .

Требования к содержательной части тестовых заданий

1. Тестовое задание должно быть представлено в форме свернутого краткого суждения, сформулировано ясным, чётким языком и исключать неоднозначность заключения тестируемого на требование задания.

2. Содержание задания должно быть выражено предельно простой синтаксической конструкцией без повторов и двойных отрицаний.

3. В тексте тестового задания не должно быть непреднамеренных подсказок и сленга.

4. Задание должно быть составлено с учетом того, что среднее время формирования заключения испытуемого со средним уровнем обученности составляет 2,5 минуты .

5. В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора.

6. Длительность тестового испытания не должно превышать 1 академического часа.

7. Количество тестовых заданий в одном варианте не должно превышать 18-20 тестовых и практических заданий.

2.3. Формы тестовых заданий

Тест представляет собой систему заданий, которые принято называть тестовыми заданиями . Тестовое задание направлено на проверку определенного элемента содержания и должно отвечать ряду требований.

Структура тестового задания следующая:

стандартная инструкция по выполнению задания;

эталонный ответ и правила для оценки его выполнения. Некоторые ученые используют понятие предтестовое задание, под-

черкивая, таким образом, разницу между заданием разработанным, но еще не апробированным, и заданием, прошедшим апробацию на репрезентативной выборке и подтвердившим свои запланированные качественные и количественные характеристики по результатам тестирования и статистической обработки. Поэтому тестовое задание в данном случае будет определяться следующим образом.

Предтестовое задание называется тестовым, если апостериорные количественные оценки его характеристик удовлетворяют определенным критериям, нацеленным на проверку качества содержания, формы и выполнения системообразующих свойств заданий теста.

Все разнообразие тестовых заданий, используемых в тестовом контроле (практике педагогических измерений), можно свести к четырем типам и их модификациям. В отечественной и зарубежной тестологии принято выделять следующие виды тестовых заданий (рис. 2):

1) задания закрытой формы (с множественным выбором; задания с выбором одного правильного ответа);

2) задания на установление соответствия ;

3) задания на установление правильной последовательности ;

4) задания на дополнение (открытые задания) ;

5) задания свободного изложения .

Эксперт: в области информационных технологий и учебного видео

Прежде чем мы перейдем к принципам разработки тестов, необходимо сделать ряд замечаний.

Различия между тестом и заданиями в тестовой форме

В обыденном сознании постоянно смешиваются понятия теста и системы заданий в тестовой форме (или предтестовых заданий).

Как правило, тест разрабатывается коллективом исследователей и апробируется в течении определенного времени. После апробации в тест вносятся коррективы. Тест состоит из тестовых заданий. В англоязычной литературе для обозначения теста употребляется термин «Quiz» (но не «Test»!).

Таким образом, преподаватель (учитель) не может создавать тесты. Вместо этого, он разрабатывает задания в тестовой форме, которые внешне похожи на тест, но не проходят статистической и иной апробации. Такие задания можно использовать в образовательном процессе для решения определенных педагогических задач.

Из этого следует принципиальная невозможность использования ряда характеристик теста. Например, трудность тестового задания определяется экспериментально, исходя из результатов большого объема выборки учащихся. На практике учитель не располагает как временем для проведения эксперимента, так и необходимым объемом выборки. Поэтому часто трудность определяется «на глазок».

В общем виде задания в тестовой форме (как и тестовые задания) отвечают следующим требованиям:

• краткость;
• технологичность;
• определённость цели;
• логическая форма высказывания;
• определенность места для ответов;
• одинаковость правил оценки ответов;
• правильность расположения элементов задания;
• одинаковость инструкции для всех испытуемых;
• адекватность инструкции форме и содержанию задания.

Так, краткость заданий в тестовой форме обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смыслового содержания задания. Технологичность заданий определяется как свойство, которое позволяет вести процесс тестирования с помощью технических средств, и делать это точно, быстро, экономично и объективно. Логическая форма высказывания – это средство упорядочения и эффективной организации содержания задания.

Формы тестовых заданий

Кроме того, принципы разработки тестовых заданий (заданий в тестовой форме) связаны с их формами. Разные авторы по-разному классифицируют формы тестовых заданий. Положение усугубляется тем, что каждая автоматизированная система для проведения тестирования называет одни и те же формы по-разному. Обобщим все многообразие форм тестовых заданий следующей классификацией.

1. Верно/Неверно (Правда или Ложь, от анг. True or False) – содержит утверждение, с которым обучающийся должен либо согласиться, либо нет.

Например:

Первым президентом США был Джордж Вашингтон

1. Верно
2. Неверно

В ЕГЭ подобные задания встречаются в КИМах по иностранным языкам в заданиях на аудирование: учащиеся слушают текст, далее переходят к заданиям типа Правда или Ложь.

Данная форма тестовых заданий самая простая как для составления преподавателем, так и для ответа обучающимся. Такие формы задания характеризуются высокой степенью угадывания правильного ответа.

2. Множественный выбор (задания с выбором одного или нескольких правильных ответов). Эта самая распространённая форма тестовых заданий. Она содержит утверждение (вопрос) и альтернативные ответы.

Для заданий с выбором одного правильного ответа рекомендуется не менее 4 (если меньше, то вероятность угадывания правильного ответа увеличивается) и не более 6 (трудно придумать правдоподобные альтернативы).

Для заданий с выбором нескольких правильных ответов рекомендуется не менее 6 альтернатив.

3. Задания на установление соответствия. Оно представляет собой набор элементов в двух столбцах – обучающемуся нужно установить соответствие между элементами левого и правого столбцов. Наличие заголовка для каждого набора столбцов является обязательным – он позволяет учащемуся не тратить время на обобщение элементов в столбцах и сразу перейти к упражнению.

Сравните:

1. a) Ярлык
2. b) Улус
3. c) Волостень
4. d) Порок
5. e) Плинфа

1. Стенобитное сооружение
2. Кирпич
3. Ханская грамота
4. Правитель волости
5. Владение

Тоже задание, переформатированное с учетом специфических требований:

Как мы видим, во втором случае задание более читабельно, его смысл легко улавливается. Обратите внимание, что, например сервис OnlineTestPad и некоторые другие позволяют добавлять такие заголовки. Другие (как Moodle) не обладают таким функционалом. В этом случае необходимо писать полную инструкцию, например, «Установите соответствие между ….и….»

В бумажных тестах такой формы заданий для правильного ответа предлагается заполнить специальную табличку. Вариант со стрелочками считается менее технологичным для проверки, поэтому его следует избегать.

Также желательно устанавливать нечетное количество элементов левого и правого столбца, чтобы последний элемент выбирался не методом исключения.

Посмотрите на это задание:

Расположите имена русских полководцев в хронологической последовательности (по возрастанию) их деятельности

Дмитрий Пожарский

Алексей Ермолов

Михаил Скобелев

Алексей Орлов

Это тоже задание на установление соответствия, точнее, его разновидность – задание на установление правильной последовательности. Ряд зарубежных исследователей склонны к такому объединению. Именно поэтому, например в Moodle мы не найдем такой формы. Но ее легко можно сконструировать из задания на установление соответствия. Для наглядности немного переформатируем предыдущее задание:

Мы видим классическое задание на соответствие, просто левый столбец представляет собой числовой порядок. Правильные ответы обучающийся также заносить в специальную таблицу.

Иногда описанные выше задания верно-неверно, множественного выбора и соответствия объединяют в группу заданий закрытого типа , которые обладают следующими общими чертами:

• Присутствует в явном виде правильный ответ, его нужно просто выбрать тем или иным способом;
• Ответы на вопросы можно угадать (вероятность угадывания вырастает с уменьшением количества альтернатив);
• Ответы можно припомнить
• Ответы можно подобрать логически, откинув явно неправильные альтернативы.

5. Дополнение (краткий ответ). В этих заданиях учащемуся необходимо дописать правильный ответ. Иногда такой тип заданий называют заданиями открытого типа. В отличие от рассмотренных выше форм тестовых заданий, такие стратегии как угадывание, припоминание правильного ответа и др. «не работают». Поэтому данный тип задания считается более трудным для обучающихся.

6. Эссе – краткий ответ учащегося по сути вопроса. Строго говоря эссе не является формой тестового задания, т.к. он не соответствует необходимым критериям краткости, технологичности и прочее. По нашему мнению, эссе было введено для преодоления известных трудностей при составлении типичных тестовых заданий, главные из которых – невозможность представить весь учебный материал в тестовом виде и репродуктивный характер типичных тестовых заданий.

Тем не менее в заданиях эссе должны быть предложен(ы) эталон(элементы) оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения.

При каких значениях х соответственные значения функций f(х)=log 2 x и g(х) = log 2 (3 – х) будут отличаться меньше, чем на 1?

Критерии для оценивания правильного ответа

Принципы разработки заданий в тестовой форме

Следующее, на чем нас стоит остановиться – на принципах разработки заданий в тестовой форме.

Долгое время существовала убеждённость, что тест сам по себе является объективным средством контроля. Однако затем пришло понимание, что тест обеспечивает, в первую очередь процедурную объективность. Для оценки же качества теста существует ряд смежных направлений – надежность (гарантия отсутствия в тесте случайных ошибок), валидность (гарантия, что тест измеряет именно то, что он должен измерять), трудность и т.д. Как мы указывали выше, все эти параметры разрабатываются на основе различных математических моделей в ходе экспериментальной работы авторского коллектива и недоступны для учителей, преподавателей. Поэтому мы лишь остановимся на ряде теоретических требований к разработке заданий в тестовой форме.

1. Начинайте конструировать задание с правильного ответа. Часто так случается, что задание формально содержит больше правильных ответов, чем запланировано. Встречаются и обратные случаи – задание вообще не содержит правильного ответа.
2. Содержание задания опирается на требования программы и отражает предметное (метапредметное) содержание. Иногда в тест пытаются включить вопросы, правильного ответа на которые просто не существует.

Например:

Мы будем изучать латинский язык потому, что…

1. На нем говорят во многих странах мира
2. Хотим лучше понимать родной язык, так как в нём много слов, заимствованных из латыни
3. Хотим лучше понимать историю и культуру древнего мира

Это хорошее задание. Но его следует использовать в социологическом опросе, а не в заданиях на проверку учебных достижений.

1. Вопрос должен быть направлен на выявление одного элемента знания, одной законченной мысли. В противном случае трудно диагностировать причину невыполнения задания.

Конфуций..

1. жил в Африке
2. жил в Китае
3. был врачом
4. был правителем
5. был философом

Данное задание направленно на выявление сразу двух элементов – где жил Конфуций и кем он был. Необходимо разделить эти два вопроса.

1. При составлении вопросов следует избегать слов «иногда», «часто», «всегда», «мало», «больше» и т.д. Подобные слова имеют субъективное значение и могут приводить к ошибочным ответам. Тестовые задания (задания в тестовой форме) должны иметь четкий однозначный ответ.
2. Избегайте вводных фраз или предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям.

Например:

«Анадырская впадина. Очень плоско, и Анадырь по ней виляет огромным удавом… «Анадырь – жёлтая река», – можно так назвать потом очерк. Тундра и озёра по всей впадине. Трудно понять, чего больше: или озёр, или земли» (О. Куваев). В какое море впадает эта река?

1. Правильные ответы должны быть правдоподобны, умело подобраны, не должно быть явных неправильных ответов (они являются своеобразной подсказкой – данный ответ уж точно является ошибочным). Неправильные ответы, очень похожие на правильные, называют дистракторами. Например:

Родина Карла Маркса:

1. Трир
2. Карл-Маркс-Штадт
3. Штургард
4. Мюнхен

Здесь можно предположить, что город Карл-Маркс-Штадт получил свое название потому, что в именно в нем родился Карл Маркс. Однако правильный ответ – Трир.

1. Не следует задавать вопросы с подвохом – скорее всего в заблуждение будут введены наиболее способные или осведомленные учащиеся, которые знают достаточно для того, чтобы попасться в ловушку, а также это противоречит цели – определению уровня знаний и понимания.
2. Следует использовать более длинные вопросы и более короткие ответы, грамматически согласованные с основной частью задания .

Например:

Какое суждение верно?

1. Неполные предложения ‒ это предложения, в которых пропущен один из главных членов
2. Неполные предложения ‒ это предложения, в которых пропущен один из второстепенных членов
3. Неполные предложения ‒ это предложения, в которых пропущен какой-либо член предложения ‒ главный или второстепенный

Нетрудно увидеть, что здесь есть повторяющееся словосочетание, которое и следует вынести в формулировку задания:

Неполные предложения ‒ это предложения, в которых пропущен

1. один из главных членов
2. один из второстепенных членов
3. какой-либо член предложения ‒ главный или второстепенный

1. Не используйте отрицание в основной части вопроса. Во-первых, это приводит к непониманию сути задания. Во-вторых, объектом контроля должны быть элементы знания, а не элементы незнания.

Например:

Жили ли или нет эти люди в реальности в Древней Греции?

1. Гомер
2. Ахилл
3. Зевс
4. Перикл
5. Фидий
6. Аристотель
7. Сократ

В данном случаи не ясно как отвечать – да жили, или да не жили. Поэтому вопрос нужно сформулировать более точно, например: Назовите мифологических персонажей Древней Греции.

1. При чередовании правильных ответов в вопросах не должно быть явной системы – например, всегда только 1 варианты правильные, или правильными вариантами являются последовательно первый, второй, третий, четвертый вариант. В компьютерном тестировании обычно такой проблемы не существуют, потому что компьютер автоматические перетасовывает альтернативы.
2. Если ставится вопрос количественного характера, то необходимо указать последовательность (от меньшего к большему или наоборот) выбора правильных ответов .

Например:

Удаленность от Солнца

a) Сатурн

b) Меркурий

c) Земля

d) Уран

e) Венера

f) Марс

В данном пример существуют как бы два набора правильных вариантов ответов – одна последовательность от наиболее близкой планеты от Солнца, другая – от наиболее удаленной.

1. Вопрос и ответ должны отличаться шрифтовым и пространственным оформлением. Например, вопрос (задание) выделяется жирным шрифтом, ответ – обычным. Для записи ответов используются дополнительные отступы. Но это правило касается только бумажных тестов – в компьютерных автоматизированных системах оформление задается программное, которое изменять не целесообразно.

И помните – не каждое задание можно представить в виде тестового контроля.

При написании статьи использовались примеры http://koi.tspu.ru/koi_books/samolyuk/