В этой статье я хотел бы рассказать как написать простой парсер на примере сайтов aimp.ru и geekbrains.ru. Статья предназначена строго для тех, кто уже имеет базовые знания о языке программирования C# и уже написал свой первый «Hello world».
Мне всегда нравился аудиоплеер Aimp (нет, это не реклама), но встроенных скинов у него слишком мало, а заходить на сайт, смотреть скины, скачивать и пробовать как они будут смотреться на деле не было никакого желания. Поэтому я решил написать парсер скинов с данного сайта. Немного посмотрев сайт, я заметил, что скины там хранятся последовательно с присвоенным id. Т.к. до недавнего времени я знал только 1С и немного командную строку, то недолго думая я решил написать его в командной строке. Но при тестировании обнаружил, что если скачивать большое количество файлов, то во-первых часть может просто не скачаться, а во-вторых может произойти переполнение оперативной памяти. В итоге я тогда бросил эту затею.
Не так давно начав изучать C# я решил вернуться к этой идее, дабы попрактиковаться немного. Что из этого получилось читайте под катом.
Для разработки нам понадобится только среда разработки, я использовал Visual Studio, вы можете использовать любую другую на ваш вкус.
Я не буду углубляться в базовые понятия C#, для этого написано множество различных книг и отснято бесчисленное количество роликов.
Для начала запустим Visual Studio и создадим консольное приложение (т.к. мне лень делать формы нам не нужен интерфейс). Среда разработки нам сама подготовит шаблон проекта. У нас получится что-то вроде этого:
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
namespace ConsoleApplication2
{
class Program
{
static void Main(string[] args)
{
}
}
}
Удаляем директивы которыми мы пользоваться сейчас не будем:
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
И добавляем те директивы, которыми будем пользоваться:
using System.Diagnostics; // Нужна, чтобы запускать внешние процессы
using System.Net; // Нужна, чтобы работать с Web
using System.Threading; // Нужна, чтобы скоротать время
После чего в методе Main объявляем переменную:
WebClient wc = new WebClient(); // Она нужна непосредственно для работы с Web
Парсим Aimp скины
Далее мы пишем саму функцию:
static string DownloadSkinsForAimp(WebClient wc)
{
Console.WriteLine("Downloading began");
try
{
for (int i = 0; i <= 5; i++)
{
string id = "79" + i;
string name = GetNameOfSkin(wc, id);
// Путь, откуда мы будем скачивать
string path = "aimp.ru/index.php?do=download&sub=catalog&id=" + id;
try
{
// Запускаем нужный нам браузер и передаем ему в качестве аргумента путь скачивания
Process.Start("chrome.exe", path);
Console.WriteLine("Download " + name + " is succesfull!");
// Ждем 5 секунд, чтобы вкладки успевали закрываться, иначе может быть переполнение памяти
Thread.Sleep(5000);
}
catch
{
Console.WriteLine("Download" + name + "failed");
}
}
}
catch
{
return "nSomething went is wrong";
}
return "nDownloading complete";
}
Все скины скачиваются в директорию, заданную в настройках браузера. Конструкции try/catch нам нужны для того, чтобы программа не «вываливалась» из-за ошибок. Хотя можно было обойтись и без них.
Вы могли заметить функцию GetNameOfSkin. Она нужна для того, чтобы получить название скина, который мы скачиваем. Можно обойтись и без неё, она нужна только для красоты, но раз мы только учимся, то напишем и её:
static string GetNameOfSkin(WebClient wc, string id)
{
// Получаем строку с html разметкой
string html = wc.DownloadString("http://www.aimp.ru/index.php?do=catalog&rec_id=" + id);
// Находим в ней первое упоминание нужного нам id и удаляем ненужную левую часть
// Название скина начинается через 5 символов после этого id
string rightPartOfHtml = html.Substring(html.IndexOf(id) + 5);
// Находим конец названия и удаляем оставшуюся правую часть
string name = rightPartOfHtml.Substring(0, rightPartOfHtml.IndexOf("<")).Replace(" ", "_");
// В итоге нам возвращается только само название скина
return name;
}
Далее в методе Main нужно вызвать скачивание на выполнение:
Console.WriteLine(DownloadSkinsForAimp(wc)); // На консоль нужно выводить потому, что
// метод возвращает нам строку с результатом выполнения
Парсим сертификаты Geekbrains
Сертификаты на сайте хранятся в открытом виде, и открыв их через сайт, как скины aimp мы сможем их скачать только вручную нажав кнопку скачать. Но это не дело, мы же программисты.
Тут нам на помощь приходит класс WebClient, а именно его метод DownloadFile. Ему мы просто передаем путь для скачивания и путь для сохранения и он все делает за нас. Звучит легко, попробуем сделать:
static string DownloadCertificates(WebClient wc)
{
// Нужна для того, чтобы определить имя текущего пользователя
string currentUser = Environment.UserName;
Console.WriteLine("Downloading began");
try
{
for (int i = 0; i <= 5; i++)
{
try
{
// Все сертификаты на данном сайте хранятся в формате '.pdf'
wc.DownloadFile("https://geekbrains.ru//certificates//7075" + i + ".pdf", "c:\users\" + currentUser + "\downloads\7075" + i + ".pdf");
Console.WriteLine("Download certificate №7075" + i + " is succesfull");
}
catch
{
Console.WriteLine("Download certificate №7075" + i + " is failed");
}
}
}
catch
{
return "nSomething went is wrong";
}
return "nDownloading certificates are complite!";
}
И после чего точно также вызываем эту функцию из метода Main.
Вообще обе эти функции ещё есть куда дорабатывать, но я думаю для ознакомления и самых базовых функций парсинга они вполне подойдут. Кому лень все это собирать в один проект — вот ссылка на GitHub.
Спасибо за внимание и надеюсь, кому-нибудь это поможет.
P.S.: Сертификаты с geekbrains можно скачать и изменить имя и фамилию владельца на свою полюбоваться на них.
P.P.S.: Все скины, скачанные с сайта Aimp, хранятся в формате '.zip' и при желании функцию можно доработать, чтобы она сама их разархивировала. Также можно добавить, чтобы они сразу переносились в папку со скинами Aimp.
P.P.P.S.: Статья является исключительно познавательной и не несет рекламный характер.
Автор: Apollon_Diamed
