Наша компания разрабатывает два анализатора кода для проверки проектов на языке Си/Си++: PVS-Studio и CppCat. В статье рассказывается, чем отличаются функциональные возможности этих инструментов.
PVS-Studio, CppCat
PVS-Studio и CppCat это инструменты статического анализа кода. Они сокращают стоимость нахождения многих ошибок и опечаток.
Первым нашим программным продуктом является анализатор PVS-Studio. Мы старались делать его максимально простым для изучения и использования. Но сохранить простоту нам не удалось, хотя мы приложили к этому много усилий.
Развиваясь, PVS-Studio обрастал всё новыми функциональными возможностями. Это неизбежно привело к осложнению интерфейса и настроек. Реализация пожеланий заказчиков привела к появлению нескольких сценариев использования, что дополнительно усложняет изучение инструмента.
Отказаться от функциональности нельзя. Но хотелось вновь сделать инструмент простым, лёгким и недорогим. Так появился облегченный анализатор CppCat.
CppCat предоставляет основной набор функций, позволяющий использовать его в повседневной работе. Анализатор легко попробовать и освоить.
Начните своё знакомство именно с анализатора CppCat. Если какой-то функциональности не будет хватать, то тогда посмотрите в сторону PVS-Studio. Эта статья поможет понять, какие функции есть в CppCat и PVS-Studio.
Краткое сравнение функциональности
Таблица 1. Функциональные возможности анализаторов CppCat и PVS-Studio.
Подробное сравнение функциональности
CppCat, PVS-Studio. Проверка решения или отдельных файлов
PVS-Studio и CppCat интегрируются в среду разработки Visual Studio и позволяют проверять исходный код приложений, написанный на языках: C, C++, C++/CLI, C++/CX.
Можно проверить как решение (solution) целиком, так и отдельные файлы.
PVS-Studio дополнительно позволяет проверить один проект или набор файлов, выбранных в дереве проекта.
CppCat, PVS-Studio. Диагностики общего назначения
Оба анализатора реализуют набор диагностических правил общего назначения. Эти диагностики позволяют выявлять следующие классы ошибок:
- адрес локальной переменной возвращается из функции;
- арифметические переполнения, потеря значимости;
- выход за границы массива;
- двойное освобождение ресурсов;
- мёртвый код;
- нарушение «Закона Большой Двойки».
- недостижимый код;
- неинициализированные переменные;
- неиспользуемые переменные;
- некорректные операции сдвига;
- неопределённо/неуточнённое поведение;
- неправильная работа с типом HRESULT;
- неправильное представление о работе функции/класса;
- опечатки (этот вид анализа проработан особенно хорошо);
- отсутствие виртуального деструктора;
- оформление кода не совпадает с логикой его работы;
- ошибки из-за Copy-Paste;
- ошибки при работе с исключениями;
- переполнение буфера;
- проблемы безопасности;
- путаница с приоритетом операций;
- разыменование нулевого указателя;
- целочисленное деление на 0;
- циклы, выполняющие больше или меньше итераций, чем задумывалось;
- и многое другое.
CppCat, PVS-Studio. Автоматический анализ файлов после компиляции (инкрементальный анализ)
Запуск анализаторов PVS-Studio и CppCat может осуществляться автоматически. Этот режим включён по умолчанию. При обнаружении потенциально опасного кода, анализаторы уведомляют об этом всплывающим сообщением.
CppCat, PVS-Studio. Интеграция с Visual Studio 2010, 2012, 2013
PVS-Studio и CppCat интегрируются в среду разработки Visual Studio 2010, 2012, 2013.
PVS-Studio умеет интегрироваться и в другие среды, про что будет рассказано ниже.
В CppCat мы решили не поддерживать Visual Studio 2005, 2008. Собранная с помощью PVS-Studio статистика показывает, что достаточно мало разработчиков продолжают использовать эти среды. Среды VS2005, VS2008 используется как правило в больших, сложных проектах, где переход на новые версии средств разработки сложен и дорогостоящ. Для интеграции в процесс разработки, функциональности CppCat скорее всего окажется недостаточно и потребуется использовать PVS-Studio.
При этом вы можете в одной из поддерживаемых версий Visual Studio указать использовать toolset от Visual Studio 2008. Тогда CppCat будет проверять проекты от Visual Studio 2008, работая, например, в среде Visual Studio 2013.
PVS-Studio. Специализированные диагностики: 64-bit, OpenMP, микрооптимизации
PVS-Studio предлагает несколько дополнительных наборов правил:
- Диагностика 64-битных ошибок. Этот набор правил будет полезен при разработке 64-битных проектов, работающих с большими объемами памяти. Статический анализ является эффективным инструментом поиска многих 64-битных ошибок. Да, анализатор выдаёт много ложных срабатываний при поиске 64-битных проблем. Однако, потраченное время с лихвой компенсируется отсутствием трудноуловимых багов, охотиться за которыми можно неделями.
- OpenMP-ошибки. Если в программе используется технология OpenMP, то этот набор правил позволяет обнаружить в коде ряд ошибок приводящих к состоянию гонок, неопределенному поведению и так далее. Данный вид диагностик оказался не востребованным. Со временем, мы планируем отказаться от них.
- Микрооптимизации. Статический анализ кода дает возможность обнаружить фрагменты, к которым можно применить микро-оптимизации. Это не замена инструментам профилирования, таким как Parallel Amplifier, CodeTune. Это небольшое дополнение к ним.
PVS-Studio. Командная работа
PVS-Studio предоставляет ряд функций, полезных при командной работе над большим проектом.
- Сохранение отчёта в различных форматах.
- Возможность задать в настройках путь до папки с проектом, в результате чего в сохранённом отчёте будут относительные пути. Это позволит открыт сохранённый отчет на другом компьютере с другим расположением проекта на диске.
- Возможность интеграции с системой отслеживания ошибок.
PVS-Studio. Интеграция в системы автоматизации сборки, интеграция с MSBuild, command-line версия
PVS-Studio поддерживает различные сценарии использования. Выбор конкретного сценария зависит от типа проекта и желаемых результатов. Поскольку все варианты предусмотреть невозможно, мы помогаем наших клиентам интегрировать PVS-Studio в их процесс разработки, настроить ночные запуски на сервере и так далее. При необходимости мы адаптируем PVS-Studio под задачи клиентов или разрабатываем дополнительные утилиты. Все эти вопросы решаются в индивидуальном порядке.
Основные режимы:
- Проверка кода с помощью PVS-Studio из командной строки используя Microsoft Visual Studio или Embarcadero RAD Studio (при наличии проектных файлов vcproj/vcxproj для devenv.exe или cbproj для bds.exe);
- Прямая интеграция анализатора в системы автоматизации сборки (при отсутствии проектных файлов .vcproj/.vcxproj/.cbproj);
- Прямая интеграция в сборочный процесс MSBuild и режим интеграции MSBuild в Visual Studio IDE.
- Использование PVS-Studio вместе с системами continuous integration.
PVS-Studio. Интеграция с Visual Studio 2005, 2008
PVS-Studio поддерживает интеграцию в Visual Studio 2005, 2008.
PVS-Studio. Интеграция с Embarcadero RAD Studio 2009 – XE5
PVS-Studio поддерживает интеграцию Embarcadero RAD Studio следующих версий:
- Embarcadero RAD Studio XE5 (C, C++, C++11, в том числе 64-битный компилятор);
- Embarcadero RAD Studio XE4 (C, C++, C++11, в том числе 64-битный компилятор);
- Embarcadero RAD Studio XE3 Update 1 (C, C++, C++11, в том числе 64-битный компилятор);
- Embarcadero RAD Studio XE2 (C, C++, C++0x);
- Embarcadero RAD Studio XE (C, C++);
- Embarcadero RAD Studio 2010 (C, C++);
- Embarcadero RAD Studio 2009 (C, C++).
Примечание. Анализ проектов, разрабатываемых в Embarcadero RAD Studio не пользуется популярность и возможно со временем мы откажемся от поддержки этих сред.
PVS-Studio. Слабые диагностики общего назначения
Диагностики PVS-Studio разделены на 3 группы приоритетов. Третий уровень — это диагностики, которые дают очень много ложных срабатываний или выявляют несущественные недочёты в коде. Эти диагностики отключены в PVS-Studio по умолчанию, но при желании их можно посмотреть. Анализатор CppCat эти сообщения не показывает совсем.
PVS-Studio. Standalone версия
PVS-Studio Standalone сочетает в себе 3 основные функции:
- Просматривать без запуска Visual Studio IDE результаты анализа (.plog-файл), сохраненные на другой машине.
- Анализировать уже препроцессированные *.i файлы (полученные каким-либо образом).
- Система мониторинга компиляции. Анализатор отслеживает запуск компилятора и собирает всю необходимую для последующего анализа информацию. Это позволяет проверить проект, компилируемый с помощью любой системы сборки. Запуск процесса отслеживания может осуществляться как вручную, так и из командного файла.
PVS-Studio. Диагностики по заказу пользователей
В PVS-Studio мы реализуем диагностики, которые не представляют интереса для большинства разработчиков, но нужны некоторым из наших пользователей. Новые диагностики обсуждаются и реализуются в частном порядке.
PVS-Studio. Специфический функционал, расширенные настройки
PVS-Studio предоставляет более детальные настройки, чем CppCat. Вот некоторые из них:
- Управление запуском препроцессора. По умолчанию CppCat и PVS-Studio в начале запускают для препроцессирования файлов Clang. Если произошла ошибка, то для препроцессирования запускается CL.exe (Visual C++). В PVS-Studio можно указать, чтобы использовался только Clang или CL.
- Можно проверять только те файлы, которые изменялись за указанный период времени.
- Количество потоков для параллельного анализа.
- Можно отключить отдельные диагностики.
- Открывать документацию на русском или английском языке.
- И так далее.
Подавление ложных срабатываний
В таблице не показана функциональность: подавление ложных срабатываний. Механизмы для работы с ложными срабатываниями есть и в PVS-Studio и в CppCat, но подходы разные. Поэтому этот пункт мы решили рассмотреть отдельно.
В CppCat и в PVS-Studio применяются разные подходы. В CppCat пользователь увидит предопределённый список диагностических сообщений. Отсутствие выбора не является недостатком, как может показаться. Выбраны диагностики с хорошим соотношением полезных сообщений к ложным сообщениям. Почему это так важно, даётся ответ здесь (см. ответ на вопрос «Почему я проверяю свой код и ничего не нахожу?»).
PVS-Studio генерирует очень много сообщений. В нём есть диагностики, сделанные по заказу, есть 64-битные диагностики, которые генерируют много ложных срабатываний и так далее. Поэтому, в PVS-Studio имеется механизм включения/выключения отдельных диагностик или групп диагностик. При этом, мы не считаем наличие таких механизмов преимуществом. Их наличие является вынужденным.
PVS-Studio позволяет:
- включать/выключать группы диагностик (64-bit, OpenMP, микрооптимизации, заказные диагностики);
- включать/выключать отдельные диагностики;
- включать/выключать предупреждения, относящиеся к различным уровням;
- включать/выключать показ предупреждений, размеченных как ложные.
Теперь по поводу подавления отдельных ложных срабатываний.
Оба анализатора предоставляют следующие механизмы борьбы с ложными срабатываниями:
- подавление ложного срабатывания в конкретной строке с помощью комментария вида "//-Vxxx";
- подавление ложных предупреждений, встречающихся в определённых макросах;
- подавление ложных предупреждений в тех строках кода, где встречается заданный паттерн;
- подавление предупреждений в определённых папках или файлах.
PVS-Studio дополнительно позволяет:
- исключать файлы по маске;
- исключать диагностические сообщения, в которых встречается определённый текст.
Более подробно все эти механизмы рассмотрены в документации.
Дополнительные ссылки
- PVS-Studio для Visual C++.
- Альтернатива PVS-Studio за $250.
- Сравнение анализаторов кода: CppCat, Cppcheck, PVS-Studio, Visual Studio.
Эта статья на английском
Если хотите поделиться этой статьей с англоязычной аудиторией, то прошу использовать ссылку на перевод: Andrey Karpov. Comparing Functionalities of PVS-Studio and CppCat Static Code Analyzers.
Автор: Andrey2008
