Too late — 'cause I got it now
there are monads all around
IO, State and lists abound
It's easy, like those people say
but my program got abstracted all away!
Maybe — o o o,
It's a monad too, I know
Why should I use another language at all?
Снова безумный адепт Haskell, и еще одна попытка доказать его практичность. Нестареющая классика.
Я постараюсь рассказать шикарную историю (не ведитесь на пафосную рекламу), в которой будут все необходимые компоненты блокбастера (я серьезно, не ведитесь) — знакомые герои, хорошо продуманная вселенная и открытая концовка (ну что ж...).
Немного серьезности никогда не помешает. Поэтому сначала, без малейшего намека на юмор, расскажу логику написания этого текста. Мне хотелось (прежде всего, для себя, но надеюсь, кому-нибудь тоже будет интересно) реализовать на Haskell некую до боли близкую, неимоверно практичную задачу. Положительный результат решения этой задачи дал бы лишний повод гордиться собой, скилы и еще один довод в пользу выбора этого языка программирования. В качестве подопытной задачи я выбрал получение и обработку информации о коммитах в репозиторий на github. Собственно, она будет содержать в себе работу с github api — загрузка и парсинг json.
Полагаю, что решать ее стоит по шагам, поэтому начнем с исходной позиции, а именно пустой директории в файловой системе.
Создание модуля
Для начала, создадим новый модуль для наших целей
cabal initПытливый cabal задаст несколько вопросов, а в результате вы получите заготовку модуля с конфигурационным файлом project_name.cabal. Для большей эстетики добавим в модуль директорию src, и укажем ее в конфигурации
executable project-name
hs-source-dirs: src
main-is: Main.hs
Конечно, Main.hs необходимо создать)
Дальше пару слов о dependency hell. Это больная тема Haskell, в которой намечается прогресс. Вариантов решения проблемы зависимостей несколько, но мы молоды и любим все модное, поэтому будем использовать свежую фичу cabal-1.18 — sandoxes.
Собственно, для использования необходимо инициализировать песочницу и установить зависимости
cabal sandbox init
cabal install --only-dependenciesВ дальнейшем для сборки модуля можно, как обычно, воспользоваться командой
cabal buildЕсли возникло острое желание что-нибудь поотлаживать, да и вообще, посмотреть, как оно работает изнутри (а, по законам жанра, такое желание обязательно возникнет), можно запустить ghci в созданной песочнице командой
cabal replВсе, боязнь пустого каталога преодолена, двигаемся дальше.
http-conduit
Первая задача, которую необходимо решить — это загрузка информации о комитах в json формате. Собственно, источник очевиден, но на этом простые вещи заканчиваются. Итак, на этом этапе будем использовать пакет http-conduit за авторством солнцеликого Edward Snow Michael Snoyman. В целом, conduit — это замечательное решение для работы с потоками данных. У меня врядли получится хорошо об этом рассказать, поэтому добро пожаловать в блог человека по фамилии eax. Я расскажу совсем чуть-чуть и по периферии.
Для начала, надо добавить нужные зависимости в раздел build-depends конфигурационного файла
bytestring >= 0.10,
conduit >= 1.0,
http-conduit >= 1.9,
и обновить песочницу описанной выше командой.
Вот теперь можем трепетно приступить к коду. Для начала, чтобы упростить себе жизнь и работу со строками, добавим extension
{-# LANGUAGE OverloadedStrings #-}
Подключаем нужные модули
import Data.Conduit
import Network.HTTP.Conduit
import qualified Data.Conduit.Binary as CB
import qualified Data.ByteString.Char8 as BS
Весь код загрузки json будет выглядеть примерно так
main = do
manager <- newManager def
req <- parseUrl "https://api.github.com/../.."
let headers = requestHeaders req
req' = req {
requestHeaders = ("User-agent", "some-app") :
headers
}
runResourceT $ do
res <- http req' manager
responseBody res $$+- CB.lines =$ parserSink
Насколько я помню, api github требует наличия заголовка User-agent, поэтому пришлось немного расширить request. Основное действо происходит в последних двух строках, где мы получает ответ с json. Т.к. результат завернут в трансформер ResourceT, то функции для его получения должны быть вызваны с использованием runResourceT. После получения тела ответа мы отправляем его в сток, который предназначен для разбора json и выглядит он так
parserSink :: Sink BS.ByteString (ResourceT IO) ()
parserSink = do
md <- await
case md of
Nothing -> return ()
Just d -> parseCommits d
Сток в случае успеха будет просто разбирать полученный json и выводить его на экран (эта часть магии скрыта в функции parseCommits).
Aeson
Продолжаем коверкать программистов и переходим к парсингу. Для него будем использовать чрезвычайно могучий пакет под названием Aeson. На самом деле, здесь все достаточно просто, но есть несколько моментов, которые с непривычки вводят в ступор:
- Т.к. Haskell строго типизирован, то нам потребуются типы, которые будут описывать заложенную в json структуру данных
- Если я ничего не перепутал, то Aeson использует lazy bytestring, в то время как в стоке оказывается strict bytestring, поэтому придется продемонстрировать навыки жонглирования типами
Итак, сначала определим типы. Можно не заморачиваться, и определить их лишь частично, отправив часть информации из json в топку. Себе оставим только url, хэш и commit message.
import qualified Data.ByteString.Char8 as BS
import Data.Aeson (FromJSON(..))
data CommitInfo = CommitInfo {
message :: BS.ByteString
} deriving (Show)
data Commit = Commit {
sha :: BS.ByteString,
url :: BS.ByteString,
commit :: CommitInfo
} deriving (Show)
Дальне нам было бы канонично использовать аппликативные функторы для сопоставления json и полей из структур данных, но мы всех обманем и воспользуемся Generic'ом.
{-# LANGUAGE DeriveGeneric #-}
import GHC.Generics (Generic)
и добавим к имеющимся структурам данных наследование от Generic
deriving(Show, Generic)
Останется только заявить о возможности создания Commit & CommitInfo из json
instance FromJSON Commit
instance FromJSON CommitInfo
Осталось всего несколько шагов до финиша, мы почти у цели
parseCommits :: BS.ByteString -> Sink BS.ByteString (ResourceT IO) ()
parseCommits rawData = do
let parsedData = decode $ BL.fromChunks [rawData] :: Maybe [Models.Commit]
case parsedData of
Nothing -> liftIO $ BS.putStrLn "Parse error"
Just commits -> liftIO $ printCommits commits
Как видите, приходится создавать lazy bytestring для отдачи на декодирование. Если парсинг прошел успешно, с помощью liftIO поднимаем полученные значения и выводим в консоль.
Finish
Все, красная дорожка, фанфары и торжественное завершение вечера. Полный пример расположен здесь. Код не является примером торжества идеалов computer science, поэтому замечания от гуру приветствуются. Надеюсь, все остальные чему-нибудь научились, или хотя бы получили удовольствие и стали ближе к миру Haskell. Да пребудет с вами сила!
Автор: erthalion
