Оценка спикера: вопросы, шкалы и сервисы для анкет

← БлогРазбор · 10 мин

Михаил Петров, фаундер QRACT ·

Спикеру поставили 4,8. И что теперь? Как оценивать выступления и какие сервисы использовать

После конференции организатор получает таблицу: у одного спикера – 4,8, у другого – 4,3. Кажется, можно составлять программу следующего года.

Но что означают эти оценки? Первый лучше объяснял? Второй выбрал слишком сложную тему? Участники оценивали пользу, харизму или качество слайдов?

Предлагаем разобраться, чем оценка спикера отличается от анкеты о мероприятии, какие вопросы стоит задавать аудитории и как под эти задачи устроены Mentimeter, QRACT, Slido, Pigeonhole Live и SurveyMonkey.

Сравнение основано на публичных описаниях и документации сервисов, а не на независимом тестировании всех тарифов. Там, где функция не подтверждена рассмотренными материалами, мы не считаем её отсутствующей.

Оценка спикера и обратная связь – не одно и то же

Представим два ответа:

«Доклад – 3 из 5».

И:

«Тема полезная, но первые двадцать минут ушли на знакомые определения. Хотелось больше примеров внедрения».

Первый позволяет зафиксировать впечатление. Второй – понять, что можно изменить.

Поэтому полезно разделять три задачи:

Это разделение встречается и в рекомендациях по анкетированию: SurveyMonkey рассматривает вопросы о конкретных сессиях отдельно от общих вопросов о мероприятии, а в оценку выступлений включает разные стороны опыта участника.

Практический вывод: не нужно пытаться одним вопросом «Вам понравилось?» оценить одновременно спикера, программу и работу организаторов.

Какие бывают способы оценки

Формат лучше выбирать от решения, которое предстоит принять. Ниже – рабочая схема для организатора, а не обязательный стандарт.

Формат Пример Что можно узнать Чего не стоит ожидать
Одна общая оценка «Насколько полезным было выступление?» Краткое впечатление по выбранному критерию Объяснения причин
Несколько оценочных шкал Польза, понятность, подача Какие стороны выступления аудитория оценила по-разному Подробного плана улучшений
Выбор вариантов «Чего не хватило: примеров, глубины, времени на вопросы?» Какие из предложенных проблем отмечают участники Причин, о которых составитель анкеты не подумал
Открытый комментарий «Что стоит изменить?» Объяснения, предложения и неожиданные наблюдения Готового числового рейтинга
Анкета по мероприятию Вопросы о программе и организации Более широкого взгляда на событие Чистой оценки конкретного спикера

Числовые шкалы, вопросы с вариантами и свободные ответы можно сочетать. Например, Slido предлагает объединять рейтинговые и открытые вопросы в одну анкету, а SurveyMonkey использует разные типы вопросов в рекомендациях по обратной связи после мероприятий.

Звёзды или цифры?

Звёзды сами по себе не делают оценку поверхностной. Проблема начинается, когда непонятно, что именно ими измеряют.

Сравните:

«Оцените спикера».

И:

«Насколько понятным было объяснение? От 1 – “совсем непонятным” до 5 – “полностью понятным”».

Для статьи и для реального опроса мы предлагаем второй подход: назвать конкретный критерий и объяснить края шкалы. Mentimeter, например, прямо предлагает подписывать оба конца шкалы; после голосования сервис показывает среднюю оценку и распределение ответов.

Рейтинг, рекомендация и проверка знаний отвечают на разные вопросы

В анкетах встречается вопрос о готовности рекомендовать сессию или мероприятие – такие примеры приводят SurveyMonkey и Slido.

Но организатору стоит заранее выбрать, что он хочет узнать:

Мы предлагаем не подменять одно другим. Если цель обучения – научить действовать, к анкете впечатлений можно добавить отдельный вопрос по разобранному случаю.

Почему среднего балла недостаточно

Рассмотрим условный пример.

Первому спикеру пять человек поставили пятёрки. Средняя оценка – 5,0.

Второму сто человек поставили оценки со средним 4,7.

Из этой таблицы нельзя автоматически заключить, что первый выступил лучше: количество ответов заметно различается, а про состав аудитории и условия сбора мы пока ничего не знаем.

Для рабочего отчёта предлагаем показывать рядом:

Распределение помогает не потерять важные различия. Условная средняя «тройка» может получиться и тогда, когда все поставили по три, и тогда, когда половина поставила единицы, а половина – пятёрки. Среднее одинаковое, а разговор со спикером нужен разный.

Поэтому наличие распределения, исходных ответов и выгрузки – полезные критерии выбора сервиса, а не просто дополнительные галочки в списке функций.

Две анкеты, которые можно взять за основу

Это предлагаемые шаблоны. Их стоит адаптировать к формату мероприятия и не добавлять вопрос, если непонятно, как вы используете ответ.

Короткая обратная связь после доклада

  1. Насколько полезным для вас было выступление?
    От 1 – «совсем не полезным» до 5 – «очень полезным».

  2. Насколько понятным было объяснение?
    От 1 – «совсем непонятным» до 5 – «полностью понятным».

  3. Что стоит изменить в этом выступлении?
    Необязательный свободный ответ.

Такой вариант сочетает оценки и объяснение. Похожий принцип – короткая анкета с рейтинговыми вопросами и полем для предложений – используется в рекомендациях Slido по сбору обратной связи после сессии.

Анкета после мероприятия

  1. Насколько программа соответствовала вашим профессиональным интересам?
  2. Какой доклад оказался наиболее полезным и почему?
  3. Что стоит изменить в организации?
  4. Какие темы вы хотели бы увидеть в следующий раз?
  5. Что ещё нам важно знать?

Не стоит просить человека обязательно оценить все выступления. В таком шаблоне мы рекомендуем предусмотреть вариант «не посещал» или предложить сначала выбрать прослушанные сессии.

Когда собирать ответы

Вместо одной большой анкеты можно использовать два этапа:

Slido рекомендует запускать короткую анкету, пока участники ещё находятся в зале. Pigeonhole Live также строит свой сценарий вокруг обратной связи во время события, но позволяет оставить ту же анкету открытой после его окончания и распространить ссылку дополнительно.

Наш практический вариант: заложить сбор обратной связи в сценарий, а не просто добавить QR-код на последний слайд. Ведущий объясняет, зачем нужны ответы, и даёт время на заполнение.

Например:

«Оцените, насколько полезным был доклад, и напишите, чего не хватило. Мы передадим обратную связь спикеру и используем её при подготовке следующей программы».

Сравнение сервисов для оценки спикеров и анкет

В этой подборке есть разные по устройству продукты: инструменты интерактивных презентаций, платформы взаимодействия с залом и отдельный конструктор анкет. Сравнивать их имеет смысл по сценарию работы, а не искать абсолютного победителя.

Сервис Как собирается оценка Как устроена обратная связь Важная особенность
Mentimeter Через оценочные шкалы Есть шаблон обратной связи после конференции Для шкал показываются средняя оценка и распределение голосов.
QRACT В сценарии «Оценка ведущих» каждый выступающий оценивается по шкале Предусмотрена строка «что улучшить» Оценка включена в сценарий мероприятия вместе с другими сессиями; участники подключаются по QR-коду.
Slido Через Rating polls, которые можно объединять в анкету Открытые ответы и другие типы вопросов Анкеты подходят для самостоятельного прохождения до, во время и после встречи.
Pigeonhole Live Через вопросы с вариантами ответа; отдельную рейтинговую шкалу в рассмотренном описании Surveys не подтверждаем Открытые вопросы, комментарии, обязательные и необязательные поля Анкету можно прикрепить к конкретной сессии мероприятия.
SurveyMonkey Через вопросы об оценке сессий и спикеров в отдельной анкете Сочетание оценочных, открытых вопросов и вопросов с выбором В рекомендациях отдельно рассматриваются спикеры, содержание и организация мероприятия.

Mentimeter: когда обратная связь – часть интерактивной презентации

У Mentimeter есть готовый шаблон для сбора впечатлений после конференции. В нём используются шкалы: организатор задаёт вопрос, подписывает границы и добавляет оцениваемые утверждения. В результатах отображаются средняя оценка и распределение голосов.

Мы бы рассматривали этот подход для сценария, где спикер уже работает с интерактивной презентацией и хочет завершить её несколькими оценочными вопросами.

При выборе стоит отдельно проверить нужный формат итогового отчёта: отображение результатов на слайде и удобная сводная таблица по десяткам докладов – разные требования.

QRACT: когда нужно оценить конкретных выступающих

В опубликованном сценарии QRACT «Митап» есть отдельная сессия «Оценка ведущих»: каждый выступающий оценивается по шкале, дополнительно предусмотрена строка «что улучшить». Сценарий объединяет несколько сессий мероприятия, а гости подключаются через браузер по QR-коду, без установки приложения и регистрации.

Это отличие от универсального вопроса «Как вам мероприятие?»: в описании продукта оценка привязана к выступающим.

На сайте QRACT также заявлены оценка отдельных докладов и спикеров и аналитика мероприятия. При этом доступность обратной связи, аналитики и выгрузок зависит от тарифа, поэтому перед событием нужно сверить именно выбранный пакет.

Мы бы рассматривали QRACT для сценария, где сбор вопросов, интерактив и обратную связь хотят провести внутри одного мероприятия.

Slido: когда нужна короткая анкета рядом с Q&A и опросами

Slido позволяет объединять несколько типов вопросов в анкету: рейтинговые, открытые, выбор вариантов и другие. Участники могут отвечать анонимно или с именем; анкеты доступны для сбора ответов до, во время и после встречи.

В документации также описаны выгрузки общих результатов и ответов по участникам. Экспорт доступен на платных тарифах; для общих результатов предусмотрены Excel и PDF.

Мы бы рассматривали Slido, если сервис уже используется для вопросов из зала и нужно добавить к нему короткую форму обратной связи, не переводя аудиторию в другой инструмент.

Pigeonhole Live: когда много сессий и важно не смешать ответы

Pigeonhole Live отдельно подчёркивает возможность прикреплять анкеты к сессиям: выступлениям, панелям и воркшопам. Это позволяет сохранять контекст и не объединять впечатления о разных частях программы в один массив.

В описании Surveys заявлены вопросы с выбором вариантов и открытые ответы, разделы, обязательные поля и два режима отображения: все вопросы на странице или по одному. Результаты можно выгружать в Excel и PDF.

Мы бы рассматривали этот сценарий для многосессионной конференции. Если нужны именно звёзды или числовая шкала, а не выбор из подписанных вариантов, конкретную механику стоит проверить отдельно: рассмотренная страница Surveys её не уточняет.

SurveyMonkey: когда нужна отдельная подробная анкета

В материалах SurveyMonkey есть отдельные блоки вопросов о выступлениях и спикерах, полезности содержания, вовлечении и мероприятии в целом. Предлагаются разные форматы вопросов, включая оценки и свободные ответы.

Мы бы рассматривали его для отдельного постопроса: когда важнее подробно собрать впечатления о событии, чем встроить оценку в управление выступлением.

Наличие вопросов о спикерах при этом не стоит автоматически считать готовой системой учёта программы: привязку к докладам, подготовку отдельных форм и итоговое сведение нужно проверять под свой сценарий.

Как выбрать сервис под своё мероприятие

Наш ориентир по рассмотренным возможностям:

Это не рейтинг качества. В одном случае решающим окажется готовый сценарий оценки спикеров, в другом – удобная анкета, в третьем – организация данных по сессиям.

Перед оплатой предлагаем пройти один тестовый путь целиком:

  1. Создать мероприятие с двумя докладами.
  2. Открыть оценку с телефона участника.
  3. Проверить, понятно ли, какого спикера он оценивает.
  4. Отправить разные оценки и комментарии.
  5. Скачать результаты.
  6. Попробовать подготовить по ним обратную связь каждому выступающему.

Именно последний шаг покажет, подходит ли инструмент под вашу задачу.

Что делать с результатами

Предлагаем готовить для спикера не только место в рейтинге, а короткую карточку:

Доклад: «Как внедрить новый процесс»
Ответили: 47 участников
Полезность: 4,6 из 5
Понятность: 4,1 из 5

В комментариях хвалили практические примеры и разбор ошибок. Просили сократить вводную часть, пояснять сокращения и оставить больше времени на вопросы.

Это условный пример формата отчёта, а не данные реального мероприятия.

Такой результат позволяет обсуждать конкретные изменения. При этом выводы стоит сверять с исходными комментариями, а не превращать несколько ярких отзывов в мнение всей аудитории.

Хорошая обратная связь заканчивается не диаграммой, а решением: добавить примеры, изменить описание доклада, разделить программу по уровню подготовки или оставить больше времени на обсуждение.

Поэтому первый вопрос перед запуском анкеты – не «какой сервис выбрать?», а «что мы изменим, когда получим ответы?».

Ещё по теме

Если залов и дней несколько, оценки докладов, рейтинг спикеров и отчёты по залам собираются в одном кабинете: QRACT для форумов.

Частые вопросы

Чем оценка спикера отличается от анкеты о мероприятии?
Оценка спикера показывает, как аудитория восприняла конкретный доклад. Анкета о мероприятии отвечает на вопросы о программе, организации и условиях участия. Одним вопросом «Вам понравилось?» оценить всё сразу не получится, поэтому задачи лучше разделять.
Достаточно ли средней оценки, чтобы сравнивать спикеров?
Нет. Рядом со средней оценкой стоит показывать количество ответов, распределение оценок, формулировку вопроса со шкалой, комментарии и долю ответивших. Средние 5,0 от пяти человек и 4,7 от ста нельзя сравнивать напрямую, а одна и та же «тройка» может скрывать и ровные тройки, и половину единиц с половиной пятёрок.
Когда собирать обратную связь о выступлении?
Удобно в два этапа: короткие вопросы в конце доклада, пока участники ещё в зале, и отдельная анкета о программе и организации после мероприятия. Сбор лучше заложить в сценарий: ведущий объясняет, зачем нужны ответы, и оставляет время на заполнение.
Какой сервис выбрать для оценки спикеров?
Единого лучшего нет, всё зависит от сценария. Mentimeter подходит для оценочных шкал внутри презентации, QRACT – для оценки конкретных выступающих в сценарии мероприятия, Slido – для короткой анкеты рядом с вопросами из зала, Pigeonhole Live – для анкет по отдельным сессиям, SurveyMonkey – для отдельной подробной анкеты после события. Перед оплатой стоит пройти тестовый путь целиком: от оценки с телефона до выгрузки результатов.

Источники

#разбор@QRACT в Telegram

Собрать оценку спикеров на QRACT