Скрипт на NodeJS для Backup-а данных: Начало

(function(){
	// Подключить нужные модули
	var fs = require('fs');
	var path = require('path');
	var crypto = require('crypto');
	// Получить список файлов
	function _get_attributes(itemName,basePath) {
		// Вывести для отладки
		//console.info(basePath,"ttt",itemName);
		// Размер элемента
		var retSize = 0;
		// Объект для определения контрольной суммы элемента
		var retHash = crypto.createHash('md5');
		// Дополнительная информация об элемента. Дата изменения для файла и дочерние элементы для директории
		var retInfo;
		// Полное имя файла
		var filepath = path.join(basePath,itemName);
		// Получим атрибуты файла
		var stat = fs.statSync(filepath);
		// Если это директория
		if( stat.isDirectory() )
		{
			// В дополнительной информации атрибуты дочерних элементов
			retInfo = {};
			// Получить список дочерних элементов
			var items = fs.readdirSync(filepath);
			var hashs = [];
			for(var i in items)
			{
				// Получить атрибуты дочернего элемента
				var attr = _get_attributes(items[i],filepath);
				// Увеличить размер текущего элемента
				retSize += attr[0];
				// Добавить в расчет контрольной суммы контрольную сумму дочернего элемента
				hashs.push(attr[1]);
				// Добавить в список дочерних элементов
				retInfo[ items[i] ] = attr;
			}
			// Расчитать контрольную сумму
			hashs.sort();
			for(var j in hashs)
			{
				retHash.update(hashs[j]);
			}
		}
		else
		{
			// Размер
			retSize = stat.size;
			// Расчитать контрольную сумму файла
				// Создадим буфер для чтения данных
				var buffer = new Buffer(64*1024);
				// Откроем файл только для чтения
				var fdr = fs.openSync(filepath, 'rs');
				while(true)
				{
					// Читаем порцию данных
					var bytesRead = fs.readSync(fdr, buffer,0,buffer.length);
					if(bytesRead>0)
					{
						// Обновляем контрольную сумму прочитанными данными
						retHash.update(buffer.slice(0,bytesRead));
					}
					else
					{
						// Закончим цикл чтения данных
						break;
					}
				}
				// Закрыть файл
				fs.closeSync(fdr);
			// Дата изменения файла
			retInfo = stat.mtime.toISOString();
		}
		// Вернуть массив атрибутов элемента
		// Контрольную сумму вы вернем в формате base64 и удалим из неё символ '='. Таким образом мы уменьшим размер этого значения
		return [retSize,retHash.digest('base64').replace(/=/g,''),retInfo];
	}
	// Вернем функцию для получения атрибутов
	module.exports = function(_basepath) {
		return _get_attributes('',_basepath);
	}	
})();

(function(){
	// Подключить нужные модули
	var fs = require('fs');
	var path = require('path');
	var crypto = require('crypto');
	// Очередь из файлов для расчета их контрольной суммы
	var dm5CalcStorage=[];
	// Количество активных заданий для расчета контрольной суммы файла
	var dm5Calc = 0;	
	// Максимальное количество активных заданий для расчета контрольных сумм файлов
	var dm5CalcMax = 8;
	// Функция расчета контрольной суммы файла
	function _get_md5_file() {
		// Создать поток для чтения файла
		if(dm5Calc<dm5CalcMax && dm5CalcStorage.length)
		{
			// Увеличить количество обрабатываемых файлов
			dm5Calc++;
			// Взять из очереди очередной файл
			var item = dm5CalcStorage.pop();
			// Создать поток для чтения файла
			var rs = fs.createReadStream(item[0]);
			// Вещаем обработчик на чтение данных из файлового потока
			//*
			rs.on('data', function (data) {
				item[1].update(data);
			});
			// Вещаем обработчик на окончание чтения данных из файлового потока
			rs.on('end', function () {
				// Уменьшить количество обрабатываемых файлов
				dm5Calc--;
				// Вызвать функцию обратного вызова
				item[2]();
				// Вызвать функцию для запуска обработки следующего файла
				_get_md5_file();
			});
			//*/
			
		}
	}
	// Получить атрибуты элемента
	function _get_attributes(_basepath,callback) {
		//
		
		// Получить атрибуты элемента
		function __get_attributes(basePath,itemName,callback) {
			//console.log("_get_attributes",basePath,itemName);
			//
			var retSize;
			// Создать объект для расчета контрольной суммы
			var retHash = crypto.createHash('md5');
			var retData;
			//
			function _retResult(err) {
				var rc = [retSize,retHash.digest('base64').replace(/=/g,''),retData];
				//console.log("return",rc);
				callback(err,rc);
			}
			// Сформировать полный путь
			var filepath = path.join(basePath,itemName);
			// Определить атрибуты элемента
			fs.stat(filepath, function(err,stat) {
				// Если ошибка, то выход
				if (err) return callback(err);
				// Если это директория
				if( stat.isDirectory() )
				{
					// то получить список дочерних элементов
					fs.readdir(filepath,function(err,childItems) {
						// Если ошибка, то выход
						if (err) return callback(err);
						//
						retSize = 0;
						//retHash = "";
						retData = {};
						//
						if(childItems.length==0)
						{
							_retResult(null);
						}
						// Перебрать все дочерние элементы
						var attrs=[];
						childItems.forEach( function(_itemName){
							// Получить список файлов
							__get_attributes(filepath,_itemName,function(err,attr){
								//console.log("result",_itemName,attr);
								// Если ошибка, то выход
								if (err) return callback(err);
								// Добавить атрибут дочернего элемента
								attrs.push([_itemName,attr]);
								// Если для всех дочерних элементов определили атрибуты
								if(attrs.length==childItems.length)
								{
									// Отсортировать файлы по имени
									attrs.sort(function(a,b){
										if(a[1][1]<b[1][1]) return -1;
										if(a[1][1]>b[1][1]) return 1;
										return 0;
									});
									//console.log("attrs",attrs);
									attrs.forEach(function(attrx){
										// Увеличить размер
										retSize += attrx[1][0];
										//
										//retHash += attrx[1][1]+".";
										retHash.update(attrx[1][1]);
										//
										retData[ attrx[0] ] = attrx[1];
									});
									_retResult(null);
								}
							});
						} );
					});
				}
				else
				{
					retSize = stat.size;
					//retHash = "md5("+itemName+")";
					retData = stat.mtime.toISOString();
					// Добавить файл в очередь для расчета контрольной суммы
					dm5CalcStorage.push([filepath,retHash,function () {
						// Вызвать функцию обратного вызова и вернуть результат
						_retResult(null);
					}]);
					// Функция расчета MD5 файла
					_get_md5_file();
				}
			});
		}	
		// Вызввать функция для начала работы
		__get_attributes(_basepath,'',callback);
	}
	// Вернем функцию для получения атрибутов
	module.exports = _get_attributes;
})();