25 октября активисты и сотрудники Internet Archive провели торжественную церемонию по поводу знаменательного события: архив интернета перевалил за 10 петабайт (1016 байт). Благодаря этому архиву с Машиной времени мы можем посмотреть, как выглядели знаменитые сайты много лет назад, найти сохранённые копии веб-страниц или просто восстановить свой сайт из «бесплатного бэкапа».
Internet Archive объявил о раздаче 80-терабайтных образцов выборки за 2011 год всем желающим для исследований. Файлы в формате WARC содержат около 2,7 млрд URIs. Они включают в себя весь текстовый контент и всё остальное, что удалось сохранить, в том числе изображения, видео, флэш и т.д.
Выборка:
Дата начала: 09 марта 2011
Дата окончания: 23 декабря 2011
Количество уникальных URL: 2 273 840 159
Количество хостов: 29 032 069
Паук Heritrix сначала скачал 1 миллион самых популярных сайтов по версии Alexa (Хабр там уже был), а потом пошёл по ссылкам.
Ещё один интересный факт, о котором объявили на церемонии. Впервые всё литературное достояние целого народа полностью оцифровано и выложено в интернет. Этим народом стали балийцы.
Праздничные торжества Internet Archive почтил своим присутствием легендарный учёный и идеолог программирования Дональд Кнут. Он сыграл на органе, открыв церемонию.
Автор: alizar
