С помощью собственного инструмента для проведения автоматизированных тестирований веб-приложений в различных окружениях Selenium компания Sauce Labs получает большие объёмы статистических данных о множестве ошибок. Часто ошибки возникают не из-за плохого кода, не плохого соединения и не из-за заряженных микрочастиц из открытого космоса, а из-за «падения» браузера. Разумеется, в этом случае браузер будет перезапущен, но нам интересна ведомая компанией статистика аварийных завершений, по которой можно судить о надёжности тех или иных браузеров.
Два года назад, в августе 2011 года, Sauce Labs уже публиковала подобную, пусть и менее детальную статистику на основании миллионов тестов, которые проводили клиенты компании. Результаты оказались несколько предсказуемыми, хотя было несколько удивительных фактов.
Конечно же, Internet Explorer 6 оказался среди худших браузеров, но и более новые версии не блистали надёжностью. Надёжным в 2011 году оказался Firefox, хотя не хуже был и Google Chrome с его постоянными обновлениями, не оставляющими пользователя с нестабильной версией. По результатам тестов неплохо себя показал и Opera.
Шоком являлось поведение Safari. Третья, наиболее старая из версий, демонстрировала высокую надёжность. Не слишком плохой была и четвёртая версия. Пятая, самая новая на тот момент, версия «падала» чуть ли не в два раза чаще, чем «старичок» IE 6. Возможно, это было вызвано тем, что тесты в Safari проходили под Windows, но это не объясняет нормальность поведения третьей и четвёртой версий в таком окружении.
Новые данные были составлены на основании 55 млн. тестов. Может показаться, что результаты неудивительны и ожидаемы: без распределения по версиям Internet Explorer падает с частотой в четверть процента.
Наиболее часто «падающие браузеры среди более, чем 150 различных рабочих окружений, на которых производятся тесты. IE 6 и 7 проявляют себя нестабильно в 0.31% и 0.29% тестов, соответственно. За ними следуют старые версии Chrome и Firefox. Каждый из перечисленных браузеров был запущен для тестирования как минимум 1 тыс. раз.
Данные по самым «свежим» версиям браузеров, на которых было выполнено как минимум 1 тыс. тестов. Как видно, Chrome и Firefox практически не «падают». На удивление ненадёжным оказался Opera 12. По сравнению с Safari 5 (0.16%) шестая версия улучшила свои показатели (0.12%). В половине из проанализированных браузеров частота возникновения ошибок составила менее 0.07%, и это показывает, что современные браузеры становятся всё надёжней.
Другой любопытной деталью является постепенное, от версии к версии улучшение показателей браузера Internet Explorer. Microsoft действительно оправдывает свой рекламный ролик, в котором компания признаёт былую отсталость и обещает, что вместе с пользователем повзрослел и IE. По результатам тестов Sauce Labs последняя (десятая) версия «падает» лишь в 0.05% случаев, что поднимает её конкурентоспособность на уровень Firefox и Chrome.
Автор: FakeFactFelis
