Как удалить свой IP из чёрного списка Gmail

Если ваши пользователи перенаправляют почту на Gmail, то они вероятно перенаправляют и спам. Gmail не волнует, что почта была перенаправлена. Их системы видят, что ваш сервер присылает спам, и заносят его в чёрный список.

Проблемы с чёрным списком Gmail? Вы пришли по адресу.

Используя описанный ниже процесс, мы успешно разрешили почти все случаи включения в чёрный список Gmail, с которыми сталкивались.

Процесс удаления из чёрного списка Gmail

Если вы примените этот подход, то сможете тоже удалить свой IP из чёрного списка Gmail.

Мы рассмотрим:

• Критерии внесения в чёрный список Gmail
• Почему меня внесли в чёрный список?
• Наш процесс расследования
• Ошибки Gmail SMTP
• Инструкции по удалению из чёрного списка Gmail
• Получение помощи

Если не знаете, как читать почтовые логи, проверять DNS или служебные заголовки писем, эта статья не для вас. Отправьте её своему хостинг-провайдеру или сисадмину, чтобы они решили проблему.

Не забудьте посмотреть наши инструкции по удалению из чёрных списков других почтовых провайдеров. Если вас блокирует Gmail, то другие тоже могут.

Критерии внесения в чёрный список Gmail

Gmail не разглашает подробности своего процесса фильтрации. Если бы они сделали это, то спамеры быстро нашли бы способ обойти фильтры.

Но мы узнали некоторые типичные причины, по которым Gmail может отвергать почту с вашего сервера.

Самые типичные причины следующие:

• Рассылка большого количества писем.
• Внезапные изменения в объёме рассылаемых писем.
• Отправка письма на адрес «спамовой ловушки».
• Отправка писем неизвестным пользователям.
• Включение IP-адреса сервера в публичный блеклист
• Пользователи Gmail пометили ваши письма как спам.
• Использование нового IP-адреса при отправке писем.
• Некорректные настройки DNS.

Если ваш сервер делает что-нибудь из перечисленного, то вы как будто рассылаете спам. В результате Gmail может заблокировать IP-адреса вашего сервера.

Исследование ReturnPath, наш собственный опыт и мнения других экспертов по доставке писем указывают на то, что Google может использовать сигналы от этих публичных чёрных списков:

• pbl.spamhaus.org — чёрный список содержит диапазоны динамических и не серверных IP. Попасть сюда серверу трудно.
• sbl.spamhaus.org — чёрный список содержит письма, которые Spamhaus пометил как спам.
• xbl.spamhaus.org — чёрный список содержит ботов и эксплойт-агентов.
• cbl.abuseat.org — чёрный список содержит письма, отправленные в спам-ловушки или которые пользователи пометили как спам.

Можете использовать поиск Multi-RBL для проверки этих и других списков. Включение в эти списки — явный индикатор, что на вашем сервере какая-то проблема со спамом.

Почему меня внесли в чёрный список Gmail?

Когда я разбираюсь с сервером, который внесён в чёрный список Gmail, то обычно нахожу одну из следующих трёх причин:

• Спамеры эксплуатируют веб-приложение (>90%).
• Скомпрометированный пароль или компьютер клиента (~5%).
• Неправильные практики использования электронной почты, такие как слепое перенаправление почты на Gmail (~5%).

Более чем в 90% случаев хакеры используют незащищённые веб-приложения для рассылки спама.

В таких случаях объём спама, жалобы пользователей или другие причины приводят к срабатыванию фильтров чёрного списка Gmail. Они начинают блокировать ваш сервер, чтобы защитить своих пользователей от спама. Мы видели, как спамеры рассылают спам через SSH-туннели.

Даже в отсутствие проблем с безопасностью ваш сервер всё равно может выглядеть как спамерская система.

Если вы перенаправляете почту со своего сервера на Gmail, а там присутствует спам, то выглядит так, словно сервер рассылает спам. В результате Gmail может заблокировать ваш сервер.

Если хотите решить проблему и выйти из чёрного списка, то нужно покопаться в сервере и понять, в чём проблема. Если вы не сделаете этого, все усилия будут бесполезными.

Наш процесс расследования чёрного списка Gmail

Вот процесс, который мы используем в нашем платном сервисе по удалению из чёрного списка Gmail:

• Проверьте серверные логи на предмет ошибок 500.
• Проверьте почтовые логи на предмет блокировки другими почтовыми провайдерами и публичными чёрными списками.
• Поищите Excessive SMTP Authentications, особенно от перемены IP для одного и того же пользователя.
• Если у вас есть скрипты PHP, то сконфигурируйте PHP для для журналирования вызовов mail с помощью mail.log ini.
• Проверьте свой IP любимым инструментов для проверки IP в чёрных списках.
• Проверьте репутацию своего почтового сервера на SenderScore.org.
• Проверьте, что пользователи не перенаправляют массово почту на Gmail и родственные домены.
• Проверьте наличие любых новостных рассылок или списков рассылки, которые рассылаются с сервера.
• Убедитесь в корректности записей, связанных с DNS (PTR, DKIM, SPF).
• Посмотрите старые логи и сравните, вырос ли объём писем.

Этот процесс может занять время, особенно на нагруженном сервере. Рекомендую начать с проверки компрометации пользователей. Хотя такие случаи встречаются относительно нечасто, но их гораздо легче выявить, чем проблемы с веб-приложением.

Например, на конфигурациях Plesk/Postfix можно соединить вместе команды шелла таким образом:

grep sasl_username /var/log/maillog|awk {'print $NF'} |sort |uniq -c |sort -n

Такая строка сразу вернёт список тех, кто проходил аутентификацию, по имени пользователя. Если видите большое количество аутентификаций, то этого пользователя можно изучить подробнее.

Похожие команды подходят для извлечения любой полезной статистики об использовании почтового сервера.

Изучая историю почтового сервера, обращайте внимание на следующее:

• Новые ошибки 500 и 421 от других почтовых провайдеров
• Внесение IP в публичные чёрные списки
• Изменения в коде отклика чёрного списка Gmail
• Ваш SenderScore

Обычно такое расследование выявляет скомпрометированный веб-скрипт или пароль пользователя. Ситуацию можно исправить, если изменить или удалить скрипт или просто изменить пользовательский пароль.

Когда вы устранили корневую причину проблемы, начните отслеживать объём почты с сервера и коды отклика от Gmail. Если вас не удалят из чёрного списка, то можно отправить запрос в Google.

В большинстве ситуаций, с которыми мы сталкивались, такой запрос никогда не приходилось отправлять. Исправление корневой причины и проблем с DNS обычно приводит к исключению из чёрного списка в течение 3-5 дней.

Ошибки Gmail SMTP

Чёрные списки блокируют вашу почту, и она не попадает в папку «Спам» (см. нашу статью о том, почему почта попадает в папку «Спам»).

Если вы в чёрном списке, почтовый провайдер будет давать отлупы SMTP с кодом 421 или 550.

Их можно обнаружить в журнале сервера:

Пример ошибки 550
Remote_host_said:_550-5.7.1 Our_system_has_detected_an_unusual_rate_of
unsolicited_mail_originating_from_your_IP_address.
_To_protect_our users_from_spam,_mail_sent_from_your_IP_address_has_been_blocked.
Please_visit_http://www.google.com/mail/help/bulk_mail.html
_to_review_our_Bulk_Email_Senders_Guidelines

Пример ошибки 421
421-4.7.0 unsolicited mail originating from your IP address.
To protect ourn421-4.7.0users from spam, mail sent from your IP address has been temporarilyn4
21-4.7.0 rate limited. Please visit http://www.google.com/mail/help/bulk_mail.n421 4.7.0 html
to review our Bulk Email Senders Guidelines. l41si55243084eef.158 - gsmtp

Если видите какую-то из этих ошибок, то вы попали в чёрный список и нужно оттуда выбираться.

Ниже полный список кодов ошибок Gmail.

Коды ошибок Gmail SMTP

Please resend your message at a later time. If the user is able to receive mail at that time, your message will be delivered. Try again later.

To protect our users from spam, mail sent from your IP address has been temporarily blocked. Review our Bulk Email Senders Guidelines. This error occurs if the sender account is disabled or not registered within your Google Apps domain. To protect our users from spam, mail sent from your IP address has been blocked.

421, “4.4.5”, Server busy, try again later.
421, “4.7.0”, IP not in whitelist for RCPT domain, closing connection.	421, “4.7.0”, Our system has detected an unusual rate of unsolicited mail originating from your IP address.
421, “4.7.0”, Temporary System Problem. Try again later.
421, “4.7.0”, TLS required for RCPT domain, closing connection.
421, “4.7.0”, Try again later, closing connection.	450, “4.2.1” The user you are trying to contact is receiving mail too quickly.
450, “4.2.1”, The user you are trying to contact is receiving mail at a rate that prevents additional messages from being delivered. Please resend your message at a later time. If the user is able to receive mail at that time, your message will be delivered.
451, “4.3.0”, Mail server temporarily rejected message.
451, “4.3.0”, Multiple destination domains per transaction is unsupported. Please try again.
451, “4.4.2”, Timeout – closing connection.
451, “4.5.0”, SMTP protocol violation, see RFC 2821.
452, “4.2.2”, The email account that you tried to reach is over quota.	452, “4.5.3”, Domain policy size per transaction exceeded, please try this recipient in a separate transaction.	452, “4.5.3”, Your message has too many recipients.
454, “4.5.0”, SMTP protocol violation, no commands allowed to pipeline after STARTTLS, see RFC 3207.
454, “4.7.0”, Cannot authenticate due to temporary system problem.
454, “5.5.1”, STARTTLS may not be repeated.
501, “5.5.2”, Cannot Decode response.
502, “5.5.1”, Too many unrecognized commands, goodbye.	502, “5.5.1”, Unimplemented command.	502, “5.5.1”, Unrecognized command.	503, “5.5.1”, “EHLO/HELO first.	503, “5.5.1”, MAIL first.	503, “5.5.1”, RCPT first.	503, “5.7.0”, No identity changes permitted.
504, “5.7.4”, Unrecognized Authentication Type.
530, “5.5.1”, Authentication Required.
530, “5.7.0”, Must issue a STARTTLS command first.
535, “5.5.4”, Optional Argument not permitted for that AUTH mode.	535, “5.7.1”, Application-specific password required.	535, “5.7.1”, Please log in with your web browser and then try again.	535, “5.7.1”, Username and Password not accepted.
550, “5.1.1”, The email account that you tried to reach does not exist. Please try double-checking the recipient’s email address for typos or unnecessary spaces.
550, “5.2.1”, The email account that you tried to reach is disabled.	550, “5.2.1”, The user you are trying to contact is receiving mail at a rate that prevents additional messages from being delivered.	550, “5.4.5”, Daily sending quota exceeded.	550, “5.7.0”, Mail relay denied.	550, “5.7.0”, Mail Sending denied.	550, “5.7.1”, Email quota exceeded.	550, “5.7.1”, Invalid credentials for relay.	550, “5.7.1”, Our system has detected an unusual rate of unsolicited mail originating from your IP address.
550, “5.7.1”, Our system has detected that this message is likely unsolicited mail. To reduce the amount of spam sent to Gmail, this message has been blocked.
550, “5.7.1”, The IP you’re using to send mail is not authorized to send email directly to our servers. Please use the SMTP relay at your service provider instead.
550, “5.7.1”, The user or domain that you are sending to (or from) has a policy that prohibited the mail that you sent. Please contact your domain administrator for further details.
550, “5.7.1”, Unauthenticated email is not accepted from this domain.
552, “5.2.2”, The email account that you tried to reach is over quota.
552, “5.2.3”, Your message exceeded Google’s message size limits.
553, “5.1.2”, We weren’t able to find the recipient domain. Please check for any spelling errors, and make sure you didn’t enter any spaces, periods, or other punctuation after the recipient’s email address.
554, “5.6.0”, Mail message is malformed. Not accepted.
554, “5.6.0”, Message exceeded 50 hops, this may indicate a mail loop.
554, “5.7.0”, Too Many Unauthenticated commands.
555, “5.5.2”, Syntax error.

Попробуйте ограничить в письмах использование ссылок, необычных символов и не рассылать сообщения только с картинками. Это обычные спамерские тактики. Если вы ведёте себя как спамер, то Gmail может посчитать вас таковым.

Инструкции по удалению из чёрного списка Gmail

Перед отправкой запроса в Gmail следует прекратить поведение, которое похоже на спамерское. Если вы этого не сделали, ваши усилия и время будут потрачены зря.

Если вы остановили поток спама со своего сервера, Gmail обычно автоматически разблокирует ваш IP в течение 3-5 дней.

Если нет, то может понадобиться связаться с ними для помощи.

В таком случае используйте эту форму для связи. Не забудьте сначала войти в свой аккаунт Gmail/Google перед отправкой формы.

Инструкции по заполнению формы для удаления из чёрного списка Gmail

Настоятельно рекомендую заполнить все поля, хоть они и не обязательны. В ваших интересах дать сотрудникам группы удаления из чёрного списка Gmail настолько полную информацию, насколько это возможно, и показать, что вы не являетесь спамером.

Краткое описание

Будьте точны и лаконичны. Например, я обычно использую такой текст:

На сервере было скомпрометировано веб-приложение, которое отпарвляло спам на Gmail. Мы удалили это приложение с сервера. После удаления приложения мы больше не видим, чтобы неавторизованная почта отправлялась на Gmail.

Полные заголовки

Убедитесь, что заголовки приведены полностью и в текстовом формате. Нужен только один пример. В целом, я пытаюсь найти упрощённый пример. Такое сообщение, которое направляется напрямую с вашего сервера на Gmail. Если сообщение прошло через сторонние серверы, заголовки могут быть скрыты.

Используйте текстовый файл (.txt), если возможно. Избегайте специфических форматов Windows и Mac.

Журналы сервера

Скопируйте только необходимую часть серверного журнала. Всего двух-трёх записей будет достаточно. Они должны выглядеть как примеры ошибок 550 и 421, приведённые выше.

Поиск MX

Хотя это необязательное поле, но это ключевой показатель, что DNS на вашем сервере работает. Успешный результат будет похож на это:

<br data-mce-bogus="1">
[jeffh@office ~]$ host -t mx gmail.com
gmail.com mail is handled by 40 alt4.gmail-smtp-in.l.google.com.
gmail.com mail is handled by 5 gmail-smtp-in.l.google.com.
gmail.com mail is handled by 10 alt1.gmail-smtp-in.l.google.com.
gmail.com mail is handled by 20 alt2.gmail-smtp-in.l.google.com.
gmail.com mail is handled by 30 alt3.gmail-smtp-in.l.google.com.

Подключение по Telnet

Сделайте тест с проблемного сервера, используя одну из записей, полученную при поиске DNS выше. Успешный результат будет похож на это:

<br data-mce-bogus="1">
[jeffh@office ~]$ telnet alt4.gmail-smtp-in.l.google.com 25
Trying 2800:3f0:4003:c01::1a...
Connected to alt4.gmail-smtp-in.l.google.com.
Escape character is '^]'.
220 mx.google.com ESMTP c68si3349613vkd.85 - gsmtp

Запрос ping

Пример теста ping. Обратите внимание, что если ваши файрволы блокируют трафик ICMP, то тест может не пройти. Тогда просто не включайте результат в заявку.

<br data-mce-bogus="1">
[jeffh@office ~]$ ping -c5 alt4.gmail-smtp-in.l.google.com
PING alt4.gmail-smtp-in.l.google.com (64.233.190.26) 56(84) bytes of data.
64 bytes from ce-in-f26.1e100.net (64.233.190.26): icmp_seq=1 ttl=43 time=169 ms
64 bytes from ce-in-f26.1e100.net (64.233.190.26): icmp_seq=2 ttl=43 time=169 ms
64 bytes from ce-in-f26.1e100.net (64.233.190.26): icmp_seq=3 ttl=43 time=169 ms
64 bytes from ce-in-f26.1e100.net (64.233.190.26): icmp_seq=4 ttl=43 time=169 ms
64 bytes from ce-in-f26.1e100.net (64.233.190.26): icmp_seq=5 ttl=43 time=169 ms
--- alt4.gmail-smtp-in.l.google.com ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4175ms
rtt min/avg/max/mdev = 169.448/169.487/169.600/0.523 ms

Дополнительная информация

Это поле не ограничено по размеру, но будьте лаконичны. Я обычно перечисляю здесь какие-то необычные проблемы или указываю, что клиент раньше отправлял заявку на удаление из чёрного списка, но не почистил сервер перед этим.

Отправить форму

После заполнения всех полей можно отправить форму. Вы должны увидеть следующее:

Обычно обновление происходит в течение пяти рабочих дней.

Имейте в виду, что по-лёгкому всё решить не получится. Если вы сразу поспешите на страницу формы для удаления из чёрного списка, не почистив сервер, скорее всего, вас снова внесут в список.

В июле 2015 года Google запустил Gmail Postmaster Tools. Они похожи на инструменты веб-мастера, но только для электронной почты. Если вы управляете электронной почтой для своего домена или клиентов, то может захотите зарегистрироваться.

Получение помощи

Используя такой процесс мы решили все* проблемы с внесением в чёрный список Gmail, с которыми сталкивались.

*На самом деле было несколько случаев, когда проблему не удалось решить. Проблема? Клиент вёл платный список рассылки без подтверждения адресов электронной почты. Если вы действуете как спамер, то Gmail будет считать вас спамером и внесёт в чёрный список.

Автор: m1rko

Источник