Онлайн тесты — отличный инструмент объективной оценки компетенций кандидатов и персонала. Их могут сдавать одновременного от десяти до нескольких сотен человек. Тестирование можно проводить в любом месте, где есть интернет. Автоматическое выставление баллов и оценок позволяет работодателю сразу увидеть результат. При тестировании не требуется физическое присутствие HRа или другого специалиста.
Однако у онлайн тестирования все-таки есть минус. Людям свойственно обманывать в жизненно важных ситуациях. Американский социолог Дональд Кресси разработал модель так называемого треугольника мошенничества, которая состоит из трех элементов:
- необходимость прибегнуть к обману;
- возможность совершения обмана;
- оправдание для обмана.
Одни обманывают (точнее, ошибаются), потому что волнуются и боятся провалить тест. Другие — мошенничают из-за отсутствия контроля во время оценки. Третьи — хитрят, поскольку слишком высоки ставки. Возможные способы обмана:
- сдавать тест не самому;
- использовать для решения заданий внешние ресурсы;
- технические манипуляции (от подделки таймеров оценки до предварительного просмотра или записи вопросов теста).
Для дистанционного контроля поведения респондентов применяют прокторинг. Система прокторинга — действенный способ борьбы с мошенничеством, который позволяет исключить подмену личности, кражи контента и списываний при выполнении тестовых заданий.
Как работает прокторинг? Тестируемый должен иметь гаджет с веб-камерой. Проктор, находящийся удаленно, сверяет личность с фото в резюме и дает допуск к тесту. Тестируемый дает проктору доступ к экрану своего компьютера. При этом у проктора есть доступ к этому сеансу тестирования. Во время прохождения теста система отслеживает поведение тестируемого перед камерой и его работу над заданиями, фиксирует формальные признаки нечестности респондентов (например, появление второго человека, разговор по телефону, открытие сторонних вкладок, клавиатурный почерк).
Виды прокторинга
Синхронный. За ходом тестирования следит онлайн специально обученный сотрудник компании или сторонний протектор. Их задача — проконтролировать соблюдение условий проведения оценивания. Проктор проводит идентификацию личности, может письменно комментировать действия испытуемого. При этом ведется видеозапись прохождения теста. В случае фиксации нарушений, проктор может прервать тест, пометив его как «недостоверный». Один наблюдатель может контролировать одновременно до 5 человек. Это — самый трудоемкий вид прокторинга.
Асинхронный. Тестирование проводят в онлайн режиме, но без непосредственного контакта с проктором. Функции наблюдателя выполняет программа, которая работает по принципу наблюдения, сбора и анализа данных о поведении тестируемого. Проктор может отслеживать выполнение заданий участниками, сколько времени они тратят на это, записывать анализировать их работу.
Инструменты для прокторинга:
- ПО для удаленного мониторинга — приложения, которые отслеживают действия тестируемых на экране компьютера в режиме реального времени.
- Веб-камеры и микрофоны для аудио- и видеофиксации. Воссоздают процесс тестирования и позволяют проктору проверить его результаты.
- Системы проверки на списывание для анализа и сравнения ответов на тестовые вопросы. Помогают выявлять списывание, пользование внешними источниками информации.
- Веб-платформы для онлайн-тестирования — платформы, позволяющие HRам создавать тесты, мониторить участников тестирования в режиме онлайн.
Асинхронный контроль, как правило, предполагает работу проктора вручную. Он эффективен для выявления подозрительных поведенческих паттернов испытуемых во время выполнения тестовых заданий (например, попытки копирования ответов, посторонняя помощь). Помогает создать безопасную и прозрачную среду тестирования, что обеспечивает честность и достоверность результатов.
Автоматизированный. Не предусматривает участия наблюдателя. В качестве проктора выступает ИИ (искусственный интеллект), который сообщает о правилах прохождения теста, распознает личность тестируемого и контролирует его поведение во время работы над заданиями. Любые нарушения отмечаются на видео тайм-кодами. Отчет (протокол доверия) отправляется HR-менеджеру или работодателю, который подтверждает (или не подтверждает) нарушения и может не засчитать результаты теста.
Преимущества автоматизированного прокторинга:
- Все этапы тестирования полностью автоматизированы.
- Тесты защищены от копирования и совместного использования.
- Систему можно настроить под конкретный сценарий тестирования. На выбор разработчики предлагают различные поведенческие метрики, которые варьируются от проверки удостоверения личности до проверки клавиатурного почерка. Наиболее используемые опции: защита контента от копирования, отслеживание переключения вкладок, блокировка мобильного телефона, использование мобильной камеры для обзора 360°, использование веб-камеры и запись экрана.
Поскольку в ряде случаев не обойтись без вмешательства человека, может возникнуть необходимость в альтернативных методах контроля.
Самые известные российские провайдеры автоматизированных систем прокторинга — ProctorEdu и Examus. Компания HT Lab (Лаборатория Гуманитарные Технологии), которая больше 30 лет занимается дистанционной оценкой персонала, разработала свою систему Maintest. В эту систему можно подключить прокторинг через партнёров ProctorEdu и Examus.
Достоинства и недостатки дистанционного наблюдения
Система прокторинга — эффективный инструмент для обеспечения честности и непрерывности онлайн-тестирования на всех его этапах, равных условий для всех участников и объективности оценки.
Технология прокторинга в тестах помогает предотвратить мошенническую активность, проверить тестируемых и создать условия для справедливой оценки знаний и навыков. Например, чтобы определить списывание, специальное ПО отслеживает движение мыши или периодичность нажатия клавиш. Система предотвращает несанкционированный доступ к материалам или веб-сайтам, которые могут использоваться для обмана во время теста.
Для оценки персонала офлайн всегда нужно помещение, определенное количество специалистов, контролирующих процесс. Чем больше у вас конкурсный отбор, тем больше он требует времени и денег. Для дистанционного тестирования с прокторингом кандидату нужен только ноутбук с камерой и интернет.
Тест можно пройти из любой точки мира, а вам не нужно будет помещение. Один проктор может одновременно наблюдать за 6-9 сотрудниками. При большом количестве персонала компании могут выбирать автоматический прокторинг, в котором не нужно присутствие проктора. HR-службы могут масштабировать тесты на сотни или тысячи человек, и при этом не тратить много времени.
На объективность результатов тестирования влияет психологический настрой соискателей/сотрудников. Далеко не всем комфортно проходить тест в офисе. Тесты онлайн проходят в комфортной для тестируемого обстановке, поэтому результаты будут близкие к реальности.
Однако при массе достоинств у прокторинга есть и недостатки, которые необходимо учитывать:
- Наблюдение через веб-камеру может вызвать недоверие участников теста. Перед тестированием рекомендуем респонденту закрыть любую не относящуюся к делу личную информацию, которую он не хочет показывать, например фотографии или личные вещи.
- Тестируемому необходимо справиться с нервами и следовать инструкциям (не пользоваться другими мобильными устройствами, не разговаривать, не делать перерывов).
- В комнате должно быть хорошее освещение, чтобы лицо респондента было хорошо видно. Присутствие рядом постороннего человека является серьезным нарушением.
- Необходимо наличие надежного интернет-соединения и оборудования, способного проводить тестирование. Участник тестирования должен соблюдать требования к ПК пользователя (процессор, ОС, параметры веб-камеры, микрофона и другие). Если компьютер не соответствует этим требованиям или не проходит проверку, то сдавать тест или экзамен с прокторингом невозможно.
- Использование прокторинга требует от работодателя вложения дополнительных финансовых средств на поддержку и обслуживание соответствующего ПО.
- Автоматизированный прокторинг (без участия наблюдателя) может быть ограничен в своих возможностях обнаружить все виды мошенничества или нечестного поведения. Например, система контролирует лицо испытуемого. Если он периодически отводит взгляд от экрана, значит, пользуется шпаргалкой. Но программа не распознает жульничество, если шпаргалку разместить перед монитором или прикрепить на экран, чтобы не было видно в камеру. Распознать такие хитрости под силу только опытному наблюдателю.
- Есть риски, возникающие при работе с конфиденциальными данными участников тестирования (информация должна сохраняться с соблюдением должного уровня безопасности).
- Высокая стоимость внедрения прокторинговых систем (ПО, инфраструктура, оплата работы прокторов). Хотя стоит отметить, что цена зависит от провайдера услуги. Например, при использовании системы Maintest пользователю нужно только заплатить за интеграцию ПО и пакет часов (услуга под ключ).
История развития прокторинга
Впервые технологию прокторинга внедрила американская компания Proctor U для сдачи экзаменов студентами вузов. В нашей стране системы дистанционного контроля и наблюдения начали развиваться примерно за 5 лет до пандемии. В октябре 2021 года Центр экспорта образования стал исполнителем госконтракта по проведению дистанционных тестирований для поступления в вузы России в 2022 году. Прокторинг стали использовать некоторые передовые университеты (ВШЭ, РАНХиГС). В бизнесе прокторинг часто внедряют для удаленной оценки сотрудников — при тестировании hard skills (в основном, перед кадровыми ротациями или когда принимаются решения о надбавках к зарплате).
Сегодня удаленка не потеряла актуальность, поэтому востребованность прокторинга возросла во много раз. В свою очередь, выросла и продолжает расти востребованность опытных прокторов, услугами которых активно пользуются компании из разных сфер бизнеса. Компании приглашают специалистов с опытом прокторинга на полную или частичную занятость. Профессию проктора можно освоить на специальных курсах. Участники обучения получают уникальный опыт работы в условиях повышенной ответственности, а также сертификат, подтверждающий прохождение курса и рекомендательное письмо для помощи в поиске вакансий в сфере прокторинга. Сертифицированные прокторы могут всегда рассчитывать на дополнительный заработок к своей основной профессии.
Для усовершенствования применения прокторинга учебным заведениям и бизнесу необходимо выбрать оптимальную технологическую платформу, разработать локальные нормативные акты и сценарии проведения тестирования в онлайн-формате.
PSYCHOL-OK.RU
