Главная

И снова закинул старик невод… (парсинг хабра, продолжение)

2013-09-05 в 11:47, admin, рубрики: python, ненормальное программирование, словари, хабрахабр, метки: словари, Хабрахабр

Примерно месяц назад я опубликовал пост Вернулся невод с тиной морскою..., речь там шла о сравнении частотных словарей Википедии и Башорга. В комментах было много идей насчёт того, как это сделать правильно, а так же просьб распарсить другие сайты — Луркмор и конечно же Хабрахабр.

По ссылке частотные слова из комментариев Хабра, которые никогда не встречались в постах Хабра (осторожно, довольно много ненормативной лексики):
docs.google.com/file/d/0B-1U-yPHh8eSbk52bW84NXFyYm8/edit?usp=sharing

Ещё за недолгое время пребывания здесь, я не мог не заметить любовь здешних обитателей к созданию и употреблению «хабраслов», захотелось оценить масштабы явления.
Хабраслова (точнее словоформы, стеммингом не занимался) отсортированные по частоте употребления:
docs.google.com/file/d/0B-1U-yPHh8eST3l6M0tuZzVEOFE/edit?usp=sharing
Они же, но отсортированные в лексикографическом порядке:
docs.google.com/file/d/0B-1U-yPHh8eSaFVsYTdJaGtlQUU/edit?usp=sharing

Немного кода:

#этот велосипед я использую всегда для получения нужных мне кусков html-а
def generic_get(soup,search_tag,condition):
    l=[]
    for e in soup.findAll(search_tag):
        d=dict(e.attrs)
        if condition(d):
            l.append(e)
    return l

#получаем текст поста
def get_post_text(main_soup):
    return generic_get(main_soup,
                       "div",
                       lambda d:d.get("class",[''])[0]=="post")[0].text

#получаем текст всех комментов
def get_comments_text(main_soup):
    return ' '.join([x.text for x in generic_get(main_soup,
                                                 "div",
                                                 lambda d:d.get("class",[''])[0]=="message")])

К примеру, для получения текста этого поста, нужно сделать следующее:

>>> import BeautifulSoup
>>> import urllib
>>> bs=BeautifulSoup(urllib.urlopen("http://habrahabr.ru/post/192670/"))
>>> print get_post_text(bs)

И получим

Пожалуй, пост, который цитирует себя целиком, включая цитирование себя, включая… и т.д. это было бы оригинально… Я читал, что одному священнослужителю удалось написать нечто подобное на могиле своей собаки, но я, пожалуй, пытаться не буду...

Апдейт
В комментариях выложили частотный словарь Башорга — habrahabr.ru/post/192670/#comment_6692542

Частотный словарь Хабра тоже будет, я случайно ошибся при разбивке на слова, у меня буква «ё» попала в разделители, я забыл, что в таблице кодов она не находится между «а» и «я», и некоторые слова оказались разрезаны. Вечером запущу всё пересчитать, а завтра утром выложу.

Автор: gromozeka1980

Источник