Ручной прогон

1. Создайте прогон

Нажмите Новый прогон и заполните:

  • Набор тестов — какой checklist выполняется;
  • Окружение — где выполняется проверка;
  • Режимmanual, combined или agent;
  • Версия / сборка — точная версия проверяемого релиза.

Для проверки только человеком выбирайте Ручной. Если выбирается Ручной + агенты, убедитесь, что нужные runner-ы активны и поддерживают capabilities набора.

2. Выполняйте кейсы по порядку

Карточка кейса содержит:

  • цель и описание;
  • ручные шаги;
  • ожидаемый результат;
  • отдельные статусы ручной и агентской частей;
  • поле фактического результата;
  • файлы и состояние agent job.

Для шага можно указать Ожидает, Пройден, Ошибка или Пропущен. Итоговая кнопка внизу карточки фиксирует результат всего кейса:

  • Пройден — фактический результат соответствует ожидаемому;
  • Провален — обнаружено отклонение;
  • Пропущен — проверить кейс сейчас невозможно или он неприменим.

Выбранная кнопка остается подсвеченной. До финализации ее можно изменить.

3. Фиксируйте факт, а не пересказ

Для проваленного кейса укажите:

  1. Что было сделано.
  2. Что произошло фактически.
  3. Что ожидалось.
  4. На каком пользователе, браузере или устройстве.
  5. Можно ли воспроизвести повторно.

Хороший фактический результат:

После второго включения микрофона у client 228800010 UI показывает «включен», но trackMuted=true, VAD отсутствует. Воспроизводится 3/3 в Chrome 149 на Windows 10.

Плохой результат:

Микрофон не работает.

4. Прикладывайте доказательства к кейсу

Кнопка Приложить файл загружает файл сразу после выбора. Полезные файлы:

  • screenshot или короткое видео;
  • browser diagnostics JSON;
  • console log;
  • HAR;
  • фрагмент server log с указанием времени;
  • дамп agent assertions.

Не загружайте пароли, access tokens, cookies и приватные ключи. Если лог может содержать секрет, очистите его до загрузки.

5. Завершите прогон

Пока есть незаполненная ручная часть, верхняя плашка показывает ее количество. После заполнения всех обязательных результатов появляется действие завершения.

Ручной прогон

Нажмите Завершить прогон. Hub:

  1. Проверит, что нет ожидающих частей.
  2. Пересчитает общий вердикт.
  3. Установит finalized_at.
  4. Заблокирует ручные результаты.
  5. Покажет действия для публикации отчета.

Combined-прогон без запущенных агентов

Если ручная часть готова, но jobs остаются в очереди, доступны два варианта:

  • дождаться агентов;
  • нажать Завершить без агентов.

Во втором случае jobs переходят в cancelled, agent status — в skipped. Они не считаются успешно пройденными и это видно в отчете.

6. Отправьте отчет

После финализации доступны:

  • Поделиться отчетом — ссылка на страницу прогона;
  • Markdown — читаемый отчет для задачи или релизного протокола;
  • JUnit — результат для CI;
  • JSON — полные данные для автоматической обработки.

Ссылка на UI требует авторизации в QA Hub. Экспорт также защищен session или Bearer token.

Повторная проверка

После исправления бага создавайте новый прогон. Не меняйте финальный проваленный прогон: он является доказательством состояния конкретной сборки.