Рубрика «user-agent»

в 18:48, , рубрики: data mining, seo, user-agent, Карьера в IT-индустрии, краулеры, поисковая оптимизация, поисковые боты, поисковые технологии, яндекс

Robots.txt указывает веб-краулерам мира, какие файлы можно или нельзя скачивать с сервера. Он как первый сторож в интернете — не блокирует запросы, а просит не делать их. Интересно, что файлы robots.txt проявляют предположения веб-мастеров, как автоматизированным процессам следует работать с сайтом. Хотя бот легко может их игнорировать, но они указывают идеализированное поведение, как следует действовать краулеру.

По существу, это довольно важные файлы. Так что я решил скачать файл robots.txt с каждого из 1 миллиона самых посещаемых сайтов на планете и посмотреть, какие шаблоны удастся обнаружить.

Я взял список 1 млн крупнейших сайтов от Alexa и написал маленькую программу для скачивания файла robots.txt с каждого домена. После скачивания всех данных я пропустил каждый файл через питоновский пакет urllib.robotparser и начал изучать результаты.

Анализ файлов robots.txt крупнейших сайтов - 1
Найдено в yangteacher.ru/robots.txt
Читать полностью »

в 8:04, , рубрики: linux, onedrive, open source, user-agent, windows, браузеры

Почему OneDrive тормозил под Linux - 1

Несколько месяцев пользователи OneDrive for Business жалуются на странную проблему: веб-приложение очень медленно открывается и неторопливо работает под Linux (Chrome/Firefox). Но скорость работы приложения резко возрастает, если изменить user-agent на Windows.
Читать полностью »

в 8:15, , рубрики: Google, opera, Opera 12, safari, user-agent, браузеры, старый браузер

Компания Google оригинально «воспитывает» пользователей, которые не обновляют браузер. С 29 августа им показывают старую версию Google.com и старый интерфейс поиска по картинкам. Даже в строчке с копирайтом указан 2013 год.

Старым браузерам — старая версия Google
Читать полностью »

в 7:27, , рубрики: Firefox, gecko, internet explorer, Internet Explorer 11, metro ui, user-agent, windows, windows blue, метки: , , , ,

Опубликованы скриншоты Windows Blue и IE 11

Многие подозревают, что Microsoft собирается перейти в режим частых платных обновлений операционной системы в стиле Apple. Cейчас идёт разработка Windows Blue — следующей версии на основе Windows 8. В принципе, её можно считать первым «сервис-паком» для Windows 8, но вполне вероятно, что это будет платный апдейт.

На днях произошла утечка билда 9364, а на форуме Winforum.eu опубликована масса скриншотов. Обозреватели выделяют изменения в интерфейсе Metro UI и стартового меню, а также новый браузер Internet Explorer 11 с функцией синхронизации табов и режимом совместимости с Gecko.
Читать полностью »

в 10:51, , рубрики: cookie, cookies, getusermedia, GUI, harmony, intel, node-webkit, node.js, nodejs, user-agent, webkit, zoom, авторизация на сайт, аутентификация, дистанционное управление, идентификация, исправление багов, кроссплатформенная разработка, куки, метки: , , , , , , , , , , , , , , , , , ,

Три дня назад (1 февраля) Roger Wang объявил о выходе новой версии движка node-webkit — созданного в недрах Intel Open Source Technology Center мощного сочетания WebKit и Node.js, позволяющего создавать кросс-платформенные графические приложения методом веборазработки на языках HTML, CSS и JavaScript.

Новая версия имеет номер 0.4.1; на её основе нетрудно составить и запустить, например, вот такое окно:

[скриншот]

Почти семь недель прошло с того дня (18 декабря), когда я обозревал одну из предыдущих версий (0.3.6) этого движка. Вам нетрудно заметить, что за это время успела перемениться не только последняя, но и предпоследняя цифра версии. Сейчас я расскажу, какие изменения, в node-webkit произошедшие, отражает эта перемена.

Читать полностью »

в 6:02, , рубрики: Firefox, Mozilla Firefox, user-agent

Начиная от версии Firefox 13, в платформенно-зависимой части заголовка «User-Agent» HTTP-запроса есть указание на то, запущен ли Firefox на устройстве размером с телефон или на планшете.

Когда Firefox действует на устройстве с форм-фактором мобильника, там указывается подстрока «Mobile;»; когда Firefox действует на планшетном устройстве, там указывается подстрока «Tablet;».

Вот примеры:

Mozilla/5.0 (Android; Mobile; rv:13.0) Gecko/13.0 Firefox/13.0
Mozilla/5.0 (Android; Tablet; rv:13.0) Gecko/13.0 Firefox/13.0

Для выяснения форм-фактора устройства более удобен механизм CSS Media Queries. Однако же, если вы вместо него используете «обнюхивание» заголовка «User-Agent», то тогда, пожалуйста, ищите «Mobile» для мобильников и «Tablet» для планшетов, не подразумевая никакой взаимосвязи между строкою «Android» и форм-фактором устройства. В этом случае ваш код будет работать даже тогда, когда (если) Firefox будет действовать на других мобильных и (или) планшетных операционных системах или когда Android станет употребляться на ноутбуках, а не только на мобильниках и на планшетах.

Читать полностью »

в 19:16, , рубрики: user-agent, взлом, метки: ,

Многие он-лайн сервисы стремятся обезопасить аккаунты своих пользователей самыми различными способами. Кто-то отслеживает IP-адрес, сбрасывая кукисы при его изменении (так происходит на Секлабе; вКонтакте просто просит подтвердить последние 4 цифры мобильника). У кого-то сессия живёт ограниченное время, заставляя пользователя авторизоваться снова и снова. У этих способов есть свои достоинства и недостатки. Но какой бы из механизмов не использовался, отслеживание User-Agent придаст дополнительную защиту от угона аккаунтов (как дополнительная защита, но ни в коем случае не основная). И очень странно, что я до сих порЧитать полностью »

в 19:16, , рубрики: browser, cookies, mitm, user-agent, взлом, идентификация браузера, человек посередине, метки: , , , , , ,

Уважаемые Хабровчане! Вчерашний вариант статьи я полагал, что находится в черновиках. И посему отобразился недописанным. Предлагаю полную, дописанную версию

Многие он-лайн сервисы стремятся обезопасить аккаунты своих пользователей самыми различными способами. Кто-то отслеживает IP-адрес, сбрасывая кукисы при его изменении (так происходит на Секлабе; вКонтакте просто просит подтвердить последние 4 цифры мобильника). У кого-то сессия живёт ограниченное время, заставляя пользователя авторизоваться снова и снова. У этих способов есть свои достоинства и недостатки. Но какой бы из механизмов неЧитать полностью »

в 19:16, , рубрики: browser, cookies, mitm, user-agent, взлом, идентификация браузера, человек посередине, метки: , , , , , ,

Уважаемые Хабровчане! Вчерашний вариант статьи я полагал, что находится в черновиках. И посему отобразился недописанным. Предлагаю полную, дописанную версию

image

Многие он-лайн сервисы стремятся обезопасить аккаунты своих пользователей самыми различными способами. Кто-то отслеживает IP-адрес, сбрасывая кукисы при его изменении (так происходит на Секлабе; вКонтакте просто просит подтвердить последние 4 цифры мобильника). У кого-то сессия живёт ограниченное время, заставляя пользователя авторизоваться снова и снова. У этих способов есть свои достоинстваЧитать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js