Как я 8 месяцев переписывал Dcoin на Go… про Катю, в общем

В этой части я дойду до момента, когда пришла смс-ка «Не звони и не пиши мне больше!!!!»

Первая часть тут, вторая тут.
4,5 года назад я имел неосторожность начать писать свою криптовалюту на совсем неподходящем для этого дела языке — на PHP. В итоге, конечно, написал (я упрямый), но получился костыль на костыле и то, что оно вообще работало было просто какой-то магией.
Сразу хочу предупредить, программер я самоучка-недоучка и пишу код, мягко сказать, неидеально.

Началось всё с того, что я расстался с девушкой, по имени Катя и в этот же день (4 апреля 2015-го) решил изучить Go и переписать свою криптовалюту. Писать про Катю не под спойлерами не могу, т.к. хабр всё же для IT-шных статей, а не для любовных рассказов и суровые айтишники, которым интересна тема Go, могут просто не обращать внимание на спойлеры «про Катю».

Итог 8 месяцев: приложение работает на Win (64/32), OSX(64/32), Linux(64/32), FreeBSD(64/32), Android, IOS (будет круто, если кто-то закинет в App Store).
Общего кода ~73к строк, кода под разные ОС где-то несколько сотен строчек.
40к — обработка/генерация блоков/тр-ий, 17.5к — контроллеры для интерфейса, 15.5к — шаблоны
Поддерживаются PostgreSQL, SQLite, MySQL.

Тех, кто будет тестировать мое творение, предупреждаю — могут быть баги, и если у Вас есть время, чиркните о них, пожалуйста, на darwin@dcoin.club или в личку на хабре. Пожелания и советы тоже приветствуются.

В первых двух частях я рассказал про то, как в dcoin функционирует веб-сервер и про html/template.

В этой статье я расскажу про базы данных, плавное завершение приложения, шифрование и парсинг блоков

Базы данных

В dcoin я сделал поддержку sqlite, postgres, mysql. Для обычных десктопных приложений по умолчанию выбрана sqlite, т.к. не нужно ничего ставить дополнительно. Тем, кто будет поднимать свой dcoin-пул лучше выбирать между postgres и mysql.
За работу с SQL базами данных в golang отвечает пакет database/sql. К нему нужно подключать драйвер БД sqlite, postgresql, mysql.

Вначале я использовал только sqlite, затем решил подключить postgresql и mysql. Оказалось не очень сложно. Изменить пришлось только параметры для подключения к БД в sql.Open() и учесть различия в синтаксисе Sql-запросов
Тут моя реализация подключения к БД.
Обертки для работы с БД я не использовал, т.к. голые sql-запросы мне было удобнее переносить из старой версии Dcoin, по этой же причине в коде есть довольно убогие конструкции с преобразованием типов данных, полученных из БД.

Пара грабель, на которые я наступил:
1. Если забыть после db.Query(«sql») вызвать rows.Close(), то будет куча незакрытых коннектов.
2. defer нельзя вызывать до обработки ошибки, т.к. если будет ошибка, то row будет nil, а вызов rows.Close() приведет к панике. Вот так делать нельзя:

rows, err := db.Query("SELECT * FROM table")
defer rows.Close()
if err != nil {
	return err
}

Вот так верно:

rows, err := db.Query("SELECT * FROM table")
if err != nil {
	return err
}
defer rows.Close()

Json

type minersDataType struct {
	hosts    string          `json:"hosts"`
}
func main() {
	result_ := minersDataType{hosts: "pool.dcoin.club"}
	result, _ := json.Marshal(result_)
}

result будет содержать "{}"
Если заменить hosts на Hosts, то всё будет работать и в result появится {«hosts»:«111111»}

type minersDataType struct {
	Hosts    string          `json:"hosts"`
}
func main() {
	result_ := minersDataType{Hosts: "pool.dcoin.club"}
	result, _ := json.Marshal(result_)
}

Я с этим долго тупил, поэтому делаюсь инфой, чтобы кто-то не наступил на те же грабли

Сигналы

Если в процессе парсинга блоков выйти из программы, то данные могут быть занесены не полностью и произойдет рассинхронизация. Например, транзакция по начислению средств обработается, а по списанию — нет. Поэтому важно плавно завершить работу, если поступил сигнал о закрытии приложения

SigChan = make(chan os.Signal, 1)
C.waitSig() // про это напишу ниже
go func() {
	signal.Notify(SigChan, os.Interrupt, os.Kill, syscall.SIGTERM)
	// ждем, пока придет сигнал
	<-SigChan
	// сообщаем демонам, что надо срочно завершать работу
	for i := 0; i < countDaemons; i++ {
		daemons.DaemonCh <- true
		answer := <-daemons.AnswerDaemonCh
	}
	// демоны завершили работу, теперь можно закрыть соединение с БД
	DB.Close()
}()

C.waitSig() — это нужно для windows, т.к. сигналы в windows Go не видит.

/*
#include <stdio.h>
#include <signal.h>

extern void go_callback_int();
static inline void SigBreak_Handler(int n_signal){
  go_callback_int();
}
static inline void waitSig() {
    #if (WIN32 || WIN64)
    signal(SIGBREAK, &SigBreak_Handler);
    signal(SIGINT, &SigBreak_Handler);
    #endif
}
*/
import (
	"C"
)
//export go_callback_int
func go_callback_int() {
	SigChan <- syscall.Signal(1)
}

Если приходит SIGBREAK или SIGINT, то вызывается сишный SigBreak_Handler, который вызывает go_callback_int, который шлет в канал SigChan инфу, что был сигнал о завершении.
В Dcoin обработка сигналов реализована тут

Шифрование

Мне понадобилось зашифровать при помощи AES ключ в Go, а расшифровать в JS. Мучился где-то 2 дня. Оказывается IV надо передавать вместе с самим зашифрованным текстом. У меня эта функция находится тут

func Encrypt(password, text []byte) ([]byte, error) {
	iv := []byte(RandSeq(aes.BlockSize))
	c, err := aes.NewCipher(password)
	if err != nil {
		return nil, ErrInfo(err)
	}
	plaintext := PKCS5Padding([]byte(text), c.BlockSize())
	cfbdec := cipher.NewCBCEncrypter(c, iv)
	EncPrivateKeyBin := make([]byte, len(plaintext))
	cfbdec.CryptBlocks(EncPrivateKeyBin, plaintext)
	EncPrivateKeyBin = append(iv, EncPrivateKeyBin...)
	return EncPrivateKeyBin, nil
}

и расшифровка в JS:

            ivAndText = atob(text);
            iv = ivAndText.substr(0, 16);
            encText = ivAndText.substr(16);
            cipherParams = CryptoJS.lib.CipherParams.create({
                ciphertext: CryptoJS.enc.Base64.parse(btoa(encText))
            });

            password = CryptoJS.enc.Latin1.parse(hex_md5(password));
            var decrypted = CryptoJS.AES.decrypt(cipherParams, password, {mode: CryptoJS.mode.CBC, iv: CryptoJS.enc.Utf8.parse(iv), padding: CryptoJS.pad.Iso10126 });
            var decryptedText = hex2a(decrypted.toString());

Расшифровку я делаю в worker-е, иначе из-за синхронности ненадолго вешается браузер.

Парсинг блоков

Непосредственно за разбор блоков и занесение данных в таблицы отвечает пакет dcparser
Рассмотрим например, транзакцию регистрации нового юзерского ключа, по сути нового Dcoin-пользователя — new_user.go
NewUserInit отвечает за заполнение переменных, которые содержат данные этой транзакции. Тут их всего две — public_key и sign
NewUserFront отвечает за проверку данных. В частности, проверяет, является пользователь, который сгенерировал эту транзакцию майнером. Проверяет, нет ли превышения лимитов и пр.
NewUser заносит данные в БД
NewUserRollbackFront откатывает изменения, которые были занесены методом NewUserFront
NewUserRollback откатывает данные, которые были занесены методом NewUser
Аналогичные 4 метода есть для каждого из 70-и типов транзакций.
На минуточку представьте как парсятся > 270 000 блоков. 70 методов заносят данные в 180 таблиц и 1100 разных колонок. А затем то, что меня завораживает больше всего — откат всех данных по одному блоку в обратном порядке через Rollback и RollbackFront. Такой полный откат делается для тестирования корректности работы dcparser. Если где-то как-то неверно занеслись данные, то это сразу станет видно.

Заключение

В следующих статьях я расскажу про то, как я немного изменил gomobile, добавив уведомления и работу в фоне для IOS и Android приложений.

Автор: c-darwin

Источник