Борьба за трафик. Как вывести сайт из-под спам-фильтра Google (Первая Часть)

В марте прошлого года мы неожиданно получили письмо от команды Google по борьбе со спамом.

В письме говорилось, что некоторые ссылки, ведущие на наш сайт rusonyx.ru, не соответствуют рекомендациям по обеспечению качества. Поэтому, к нашему сайту были применены меры, которые в последствие повлияли на входящий бесплатный трафик с поиска Google. Он резко снизился, а точнее, упал ниже плинтуса.

Мы с грустью смотрели на эту картину. Но делать нечего – нужно было срочно что-то предпринимать. Спустя год, потратив 300 человеко-часов, нам удалось вытащить сайт из бана. В этой статье я постараюсь подробно описать, как нам это удалось, каких это стоило усилий и какие шаги нужно предпринимать в такой ситуации.

Изучение проблемы

Сначала я решила изучить все форумы по этой проблеме и хелпы Гугла. Но в итоге поняла, что четких и структурированных рекомендаций по этой теме нет. Проще говоря, никто толком не мог конкретно сказать, что нужно сделать, чтобы Google снял с сайта фильтры.

Тогда я стала искать хоть какую-то литературу с успешными кейсами. И наткнулась на англоязычную книгу «The complete guide to unnatural links recovery». Книга платная и стоит $90, но я все же ее купила и прочитала от корки до корки. После прочтения появилось понимание того, что нужно делать.

В этой статье я постараюсь описать весь алгоритм действий, который нужно проделать для отмены санкций Google. Это не просто изложение прочитанного. Здесь описан мой опыт вытаскивания сайта из под спам-фильтров Google.

Чего делать точно не стоит

Не рекомендую писать гневные письма в Google, тем более что это не решит проблему. В Гугле работают такие же люди, как и мы с вами, которые просто выполняют свою работу. Не надо халтурить и отправлять запросы в Google на пересмотр, не поработав с внешними ссылками на ваш сайт. Сотрудники Google должны видеть ваши страдания :) Фильтр – это наказание и вы должны сильно попотеть, вытаскивая сайт из бана. Это часть плана и вы либо принимаете правила игры, либо остаетесь без натурального трафика из поисковой системы.

Нельзя просто так взять и выйти из-под бана Google. Нам потребовалось на это полгода усердной работы. По самым скромным подсчетам на это ушло около 300 человеко-часов. Надеюсь, что вам удастся решить проблему быстрее, благодаря этой статье.

Итак, вы обнаружили резкое снижение трафика с Google. Как понять, что это именно из-за санкций, которые поисковик применил к вашему сайту?

Ваш сайт попал под спам-фильтры?

Это можно выяснить, если зайти в панель для веб-мастеров Google Webmaster Tools. В меню слева выберите «Поисковый трафик», далее «Меры, принятые вручную».Если к вашему сайту применялись фильтры, то вы увидите сообщение об этом. Наглядно показать вам не могу, так как с нас эти меры Google снял до того, как я догадалась сделать скриншот.

Если меры не применялись, то сообщение будет таким:

Первый шаг: ищем причину

Прежде всего я выяснила, что это за ссылки, которые не соответствуют рекомендациям по обеспечению качества Google. В руководстве для веб-мастеров Google подробно описаны методы работы со ссылками, которые использовать не рекомендуется. Подумайте, что могло стать причиной. Может быть, вы нанимали агентство по SEO – продвижению или сами закупали ссылки и статьи через биржи ссылок. Или, может, вы используете схемы обмена ссылками.

Мы в 2011 году работали с агентством, которое продвигало наш сайт за счет покупки вечных ссылок и SEO-статей. И несмотря на то, что в январе 2012 года мы расторгли с ними договор и целый год не продвигали сайт при помощи SEO-методов, в марте 2013 Гугл прислал нам письмо «счастья».

Изучив рекомендации Google, я выявила несколько основных причин, из-за которых, скорее всего, наш сайт мог отправиться в бан:

1. SEO-статьи и вечные ссылки
2. Ссылки в SEO –каталогах и SEO-закладки
3. Большое количество сквозных ссылок на сторонних не тематических ресурсах
4. Спам-ссылки, в т.ч. форум-спам
5. Дорвеи

Второй шаг: Выгружаем внешние ссылки

Для того, чтобы начать работу по выявлению некачественных ссылок и их устранению, нужно создать файл и выгрузить все внешние ссылки, ведущие на ваш сайт. Обратите внимание, что файлы, лучше всего создавать в GoogleDocs. Основная причина этого требования Гугла в том, что в других файлах могут содержаться вирусы и вредоносные программы. Поэтому, MS Ecxel файлы сотрудники Гугл проигнорируют, а вот в таблицах Google Docs примут.

Где взять эти внешние ссылки? Для этого используйте инструменты GoogleWebmasterTools
Как выгрузить ссылки. Заходим в панель WebmasterTools слева в основном меню, выбираем «Поисковый трафик», далее «Ссылки на ваш сайт». Нас интересует раздел «Наиболее часто ссылаются». Нажимаем «Дополнительно» и загружаем последние ссылки. Напомню, что при выгрузке ссылок выбирайте вариант «Документы Google».

У вас должна получиться таблица со списком ссылок. Для удобства работы, отсортируйте ссылки в алфавитном порядке.

Третий шаг: Создание таблицы ссылок

Откройте созданную Google таблицу с выгруженными ссылками. В столбце «В» указана дата, когда Google обнаружил эту ссылку. Назовите его «First Discovered» («Дата обнаружения ссылки»).

Создадим еще несколько столбцов, которые нам понадобятся (далее я объясню):

• C – Needs to be removed? (Нужно удалить?)
• D – Disavow? (Отклонить?)
• E — Contact e-mail found on site (Контактный e-mail, найденный на сайте)
• F – First name of contact (Контактное лицо)
• G – Whois e-mail (e-mail, найденный в whois)
• H — First name of Whois contact (Имя владельца e-mail, найденного в whois)
• I – E-mail reference # (порядковый №, указывающий на отправленный e-mail)
• J – Url of contact form (Ссылка на контактную форму, найденную на сайте)
• K – Contact form reference # (порядковый №, указывающий на отправленное письмо через контактную форму)
• L – Comments (Комментарии).

В итоге у вас должна получиться такая таблица:

Четвертый шаг: Создание списка статусов

У меня получилась таблица с огромным списком ссылок – порядка 12000. Задача состояла в том, чтобы проверить каждую ссылку из выгруженного списка и присвоить ей тот или иной статус. Цель – определить, какие из ссылок, в последствие, нужно удалять, а какие оставить. В процессе работы со ссылками, каждой из них в столбце «С» — «Needs to be removed» нужно присвоить один из следующих статусов:

• YES – SEO article (ДА – SEO статья)
• YES – SEO directory (ДА – SEO каталог)
• YES – SEO bookmark (ДА – SEO закладка)
• YES – Forum spam (ДА – Форум-спам)
• YES – Spam (ДА – Спам)
• YES – Link made for SEO purposes (Ссылка созданная для целей SEO)
• NO – Nofollowed (НЕТ – не индексируемая)
• NO – Page not found (НЕТ – Страница не найдена)
• NO – Link not found (НЕТ – ссылка не найдена)
• NO – Site not visited due to malware warning (Не удалось зайти на сайт из-за предупреждения о вредоносных программах)
• NO – Valid directory (НЕТ – Полноценный каталог)
• NO – Natural link (НЕТ – Естественная ссылка)

Следующему столбцу «D» — «Disavow?» («Отклонить?») мы тоже в процессе работы над ссылками присвоим статусы:

• YES (ДА) – если хотим отклонить весь домен целиком
• NO (НЕТ) – отклонять не нужно
• YES – url (ДА – url) – если не хотим отклонять весь домен, а только отдельную ссылку или ссылки на этом домене.

О Disavow. Это инструмент Google, с помощью которого можно отклонить ссылки. По сути вы просите Google не принимать во внимание некоторые ссылки при оценке вашего сайта – сделать их неиндексируемыми. Инструмент находится в панели для веб-мастеров Google (Webmaster Tools). На первом этапе достаточно просто понять, для чего этот инструмент нужен. Во второй части я расскажу как им воспользоваться.

Шаг пятый: Подготовка браузера

Перед тем как начать работу со ссылками, нужно подготовить браузер. Я пользовалась Google Chrome. Мне он показался самым удобным в плане поиска ссылок.

Для быстрого поиска Nofollow ссылок, можете установить приложение MozBar. Приложение позволяет выделять цветом индексируемые /неиндексируемые ссылки. Также можно настроить отображение Page Rank, Domain Authority и прочие полезные штуки.

Также рекомендую установить приложение Web Developer Toolbar, для того, чтобы отключать Java Script, куки и все такое. Поверьте, сайты вам будут попадаться разные: с навязчивым контентом, всплывающими окнами, редиректами и прочей гадостью.

Шаг шестой. Работа со ссылками

Это основной шаг, он же и самый трудоемкий. Задача этого шага состоит в том, чтобы открыть и проверить каждую ссылку из списка, найти на странице ссылки на ваш сайт, определить к какому статусу они относятся, и отразить статус в Google таблице.

Итак, открываем первую ссылку.

Как искать ваши ссылки на странице
Иногда ссылку на странице трудно найти. Для этого используйте исходный код страницы. Открываете исходный код, задаете в поиске ваш домен (Ctrl+F) и если ссылки на ваш сайт есть, то они будут выделены цветом. В Google Chrome искать ссылки удобнее всего, если ссылок на странице много.

Если ссылок на ваш сайт на странице найти не удалось, то смело ставьте статус «NO – Link not found» (НЕТ – ссылка не найдена) в столбце «С» — «Needs to be removed». А в столбце «D» — «Disavow?» («Отклонить?») – определите статус по ситуации (Да, нет или да – url).

Также может быть, что к ссылке применен тег «Nofollow». Это означает, что ссылка не индексируется поисковыми системами и удалять/отклонять ее нет смысла. Поэтому, смело ставьте в столбце «С» статус «NO – Nofollowed» (НЕТ – не индексируемая) и в соседнем столбце «D» — NO (НЕТ).

Если вы сомневаетесь, стоит ли удалять ссылку, то отложите ее, указав в комментариях «Возможно», чтобы потом снова к ней вернуться или быстро найти все такие ссылки и пересмотреть, если вдруг после отправленного вами запроса на пересмотр, Google пришлет отказ.

Если страница не найдена

Если перейдя по ссылке, страница не отображается, то напротив этой ссылки в столбце «С» — «Needs to be removed» ставьте NO – Page not found (НЕТ – ссылка не найдена), а в столбце «Disavow?» («Отклонить?») укажите YES (ДА) или YES – url (ДА – url).
Зачем такие ссылки отклонять? У меня был случай, когда Гугл отказал в снятии мер, в том числе, и из-за того, что обнаружил неестественные ссылки на страницах, которые не открывались ранее, но вскоре заработали снова и ссылки на наш сайт стали активны.

Найдена неестественная ссылка

Если вы нашли на странице неестественную ссылку, к которой присвоили один из следующих статусов в столбце «С»,

• YES – SEO article (ДА – SEO статья)
• YES – SEO directory (ДА – SEO каталог)
• YES – SEO bookmark (ДА – SEO закладка)
• YES – Forum spam (ДА – Форум-спам)
• YES – Spam (ДА – Спам)
• YES – Link made for SEO purposes (Ссылка созданная для целей SEO)

ищите контакты веб-мастера или владельца домена на котором размещена такая ссылка. Это может быть e-mail или контактная форма для связи. Заносите контактные данные в таблицу в соответствующие колонки (столбец «Е», «F» или «J»).

Если на сайте нет контактов, то вы можете найти e-mail владельца домена в базе Whois. Я пользовалась этим ресурсом whois-service.ru.

Если контактные данные скрыты, то всегда есть возможность отправить запрос владельцу через регистратора данного домена (строка «admin — contact»).

Заносите контактные данные, найденные через Whois, в таблицу в соответствующие колонки (столбец «G», «H» или «J»)Столбец «D» — «Disavow», пока оставьте. Статусы в этом столбце к таким ссылкам, вы будете проставлять позднее – после связи с веб-мастером или владельцем сайта. А пока пусть эти ячейки останутся пустыми.

Шаг седьмой: письма веб-мастерам

Если у вас не так много ссылок, которые нужно проверить, то пишите письма веб-мастерам после того, как работа над всем списком ссылок проделана (Шестой шаг).

Так как у меня был огромный список ссылок (12000), то я отправляла письма сразу, как только находила ссылки, подлежащие удалению.
Важная деталь. Отправлять письма веб-мастерам нужно с почтового ящика на gmail. Рекомендую заранее создать отдельный ящик. Вы можете использовать и существующий, но, на мой взгляд, с отдельным работать проще. Я, например, отправляла по нескольку писем веб-мастерам в день и получала по нескольку ответов, соответственно. Поэтому создала отдельный ящик.

Итак, у вас есть почтовый адрес на gmail, с которого вы будете отправлять письма веб-мастерам, владельцам доменов и т.д.

Ниже текст письма с обращением, которое я отправляла. Вы можете взять его за основу.

Здравствуйте!

Меня зовут Анна, я представляю компанию Русоникс, которая является владельцем домена www.rusonyx.ru

Дело в том, что некоторое время назад мы получили уведомление от Google о том, что наш сайт попал в бан-списки из-за некоторого ряда ссылок.
На данный момент мы проводим работу по выявлению таких ссылок и их устранению.

У меня большая к вам просьба.
Пожалуйста, поставьте тег «nofollow» или удалите ссылки на вашем сайте, которые ссылаются на наш (www.rusonyx.ru ).

Вот страницы с вашего сайта, где есть ссылки на нас:

………

Заранее спасибо!

Пожалуйста, как только вы это сделаете, сообщите нам ответным письмом.
Будем вам очень благодарны и признательны за оказанную помощь!

С уважением,

Мой e-mail на домене rusonyx.ru:

-------------------------------------

Как задокументировать доказательство отправки писем

Все просто. Создайте 2 новых документа в Google Docs:

1. Первый назовите «Оригинальные коды отправленных писем»
2. Второй — «Скриншоты запросов, отправленных с контактных форм»

В первый документ вы будете переносить оригинальные коды отправленных писем, и присваивать им номера, которые будут отражены в Google таблице в столбце «I» — «E-mail reference #» (№ Ссылки на отправленный e-mail). Выглядеть это будет так:

В документе «Оригинальные коды, отправленных писем»

В Google таблице

Не нужно копировать весь код письма, достаточно той части, где указан отправитель, получатель, дата отправки и тема письма. Как открыть код письма. Откройте отправленное письмо, и справа в выпадающем списке выберите «Показать оригинал».

Второй текстовый документ «Скриншоты запросов, отправленных с контактных форм». Сюда нужно заносить скриншоты (по аналогии с кодами писем) и присваивать им номер, который будет отражен в основной таблице в столбце «Contact form reference #» (№ Ссылки на отправленное письмо через контактную форму). Выглядеть это будет так:

В документе «Скриншоты запросов, отправленных с контактных форм»

В Google таблице

Шаг восьмой: Работа с ответами на запросы

Есть 3 варианта развития событий, после того, как письма с запросами отправлены:

Первый вариант. Вам ответили на запрос и сообщили, что ссылка удалена или к ней применен тег nofollow. В этом случае:

• В основной таблице в столбце «L» с комментариями укажите, что ссылка удалена/применен тег nofollow и поставьте дату;
• помечаете строку зеленым цветом;
• в столбце «D» — Disavow ставьте статус «NO».

Вот так это выглядит в таблице

Второй вариант. Вам пришло письмо с отказом удалить ссылку.

• Помечаете в комментариях к таблице в столбце «L» факт отказа;
• копируете исходный код ответа в файл «Оригинальные коды, отправленных писем»;
• даете № ссылки на этот исходный код в Google таблице в столбце «L» с комментариями;
• Всю строку помечаете красным цветом;
• в столбце «D» — Disavow ставьте статус YES (ДА) или YES-url (ДА-url ссылка).

Третий вариант. Вы не получили ответа.

• В комментариях к таблице в столбце «L» укажите этот факт;
• В столбце «D» — Disavow ставьте статус YES или YES – url;
• Всю строку помечаете красным цветом.

Ну вот, это все, что нужно сделать на первом этапе. Второй этап работы касается подготовки и отправки отчета на пересмотр в Google. Но этот этап требует отдельной статьи, которую я буду писать, пока вы работаете над первым.

Автор: alebedeva

Источник