Twitter в robots.txt запретил индексировать любой контент любым поисковикам.
User-agent: *
Disallow: /
Впрочем, запрет на индексацию не важен, поскольку для нормальной индексации требуется доступ к firehose (прямому потоку всех твитов, близкому к реальному времени), которые есть и у Google, и у «Яндекса».
(Обновлено в 14:40): Такой запрет стоит только по ссылке https://www.twitter.com/robots.txt. По адресу без «www» все по-прежнему, ничего не изменилось. Похоже, Twitter просто не хочет, чтобы URL с www попадали в поиск — это может ухудшить индексацию. Сам по себе доступ к firehose не отменяет необходимость индексировать сайт .
