Последним, но не по значению аспектом вашей инфраструктуры, является аналитика. Как понять что с выполнением тестов нет проблем? Как узнать время выполнения каждого теста? И на многие подобные вопросы, вам поможет ответить аналитика вашей системы.
Перечислю основные показатели, которые важно отслеживать для того, чтобы понимать что ваша инфракрасно все еще жива. Вы можете добавить свои :)
Время выполнения теста. Помимо того, что эта метрика помогает в балансировке очередей тестов, она же выдает аномалии их поведения. Время выполнения теста резко изменилось – самое время проверить что в кодовой базе.
Стабильность теста. Эта метрика поможет показать общую картину здоровья ваших тестов, выделить команды, которые нуждаются в помощи в написании тестов и помог принять решение о том игнорировать результат падения теста или нет.
Общее время выполнения. Вы потратили огромное количество времени и сил на создание само-масштабируемой системы выполнения тестов.
Покажите всем сколько времени вы сэкономили, сравнивая самое долгое время распределенного выполнения тестов с суммой времени выполнения каждого индивидуально теста, чтобы показать время без параллелизма.