Введение
Сегодня мы поговорим о блокировках и покажем свою реализацию. Каждый из разработчиков не раз сталкивался с проблемой, когда необходимо обеспечить однопоточное использование какого-либо ресурса.
Часто для обеспечения такой блокировки используется схема с созданием специального файла, наличие которого определяет факт занятости того или иного ресурса.
Такой подход достаточно прост в реализации, но имеет ряд недостатков. Среди недостатков можно выделить:
- отсутствие 100% гарантии блокировки при большом количестве потоков;
- блокировка работает в рамках одного сервера;
- и самое неприятное – если процесс, который поставил блокировку почему-то её не снял, то остальные процессы так и не смогут получить доступ к этому ресурсу, пока вручную или каким-то другим способом эта блокировка не будет снята.
Когда нужны блокировки?
Каждый раз потребности разные, в основном они сводятся к исключению одновременных повторных действий, обеспечению последовательной работы с каким-то ресурсом, обеспечению равномерной нагрузки.
Как сделать самому?
Чтобы реализовать правильные блокировки, нужно понимать принципы атомарности и транзакционности. Их мы описывать в данной статье не будем, т.к. в интернете есть уже много информации на эти темы.
При реализации мы определили основные операции при работе с блокировками:
- взять блокировку на определённое время
- снять блокировку через заданное время
- продлить блокировку
- отработать кейс когда блокировка была перехвачена
На самом деле не очень важно, что будет использоваться в качестве провайдера блокировок, это могут быть и файлы, и mysql, и memcache, и любой другой удобный вам инструмент.
Нам был ближе Redis, поэтому мы реализовали свой механизм блокировок, который не имеет недостатков перечисленных выше, на Redis-е.
Как сделаны блокировки у нас
Сегодня мы представляем вам нашу реализацию «как есть» с дополнительными комментариями почти к каждой строке и примером использования.
Наша реализация используется в проекте на фреймворке Yii и использует для подключения к Redis через библиотеку Rediska. Но завязка на Yii, как и на Rediska, небольшая, поэтому этот код можно будет использовать в любом проекте на PHP.
Итак, приступим к самому интересному:
Базовый класс блокировки
<?php
/**
* Универсальный класс блокировок
*
*/
class Lock
{
/**
* Возвращает ключ по которому производится блокировка
*
* @param string $key
* @return string
*/
static protected function getKey( $key )
{
return $key;
}
/**
* Сообщает true, если блокировку сделал текущий инстанс скрипта
*
* @param string $key - ключ лока
* @param float $timeWait - время ожидания на захват лока в секундах
* @param float $maxExecuteTime - время на выполнение операции в секундах
* @return bool
*/
static public function getLock( $key, $timeWait = 0, $maxExecuteTime = 3600 )
{
throw new Lock_Exception('Not defined method getLock');
return false;
}
/**
* Определение идентификатора текущего процесса кросс-серверно
*
* @return string
*/
static protected function getCurrentProcessId()
{
static $myProcessId = false;
if ( $myProcessId === false )
{
$uname = posix_uname();
$mypid = getmypid();
$myProcessId = $uname['nodename'] . '_' . $mypid;
}
return $myProcessId;
}
/**
* Снятие лока
*
* @param string $key - ключ лока
* @param float $delayAfter - установка времени жизни блокировки после снятия лока в секундах
* @return bool
*/
static public function releaseLock( $key, $delayAfter = 0 )
{
throw new Lock_Exception('Not defined method releaseLock');
return false;
}
/**
* Попытка продлить время лока
*
* @param string $key - ключ лока
* @param float $timeProlongate - время продления лока в секундах
* @return bool - если вернулся false, значит продлить не получилось
*/
static public function prolongate( $key, $timeProlongate )
{
throw new Lock_Exception('Not defined method prolongate');
return false;
}
}
class Lock_Exception extends Exception
{
}
class Timeout_Lock_Exception extends Lock_Exception
{
}
class LostLock_Timeout_Lock_Exception extends Timeout_Lock_Exception
{
}
Класс RedisLock
В этом классе блокировки осуществляются с использованием Redis:
<?php
/**
* Универсальный класс блокировок на базе Redis
*
*/
class RedisLock extends Lock
{
/**
* Возвращает ключ в noSQL хранилище
*
* @param string $key
* @return string
*/
static protected function getKey( $key )
{
// используем префикс lock@ для разделения с остальными ключами
return 'lock@'.$key;
}
/**
* Сообщает true, если блокировку сделал текущий инстанс скрипта
*
* @param string $key - ключ лока
* @param float $timeWait - время ожидания на захват лока в секундах
* @param float $maxExecuteTime - время на выполнение операции в секундах
* @param integer $policy - политика захвата лока:
* 0 - если лок занят на долго, то даже не пытаемся его брать,
* 1 - проверяем каждые 10мс, освободился ли лок
* @return bool
*/
static public function getLock( $key, $timeWait = 0, $maxExecuteTime = 3600, $policy = 0 )
{
/**
* время, когда залочивание станет неактуальным
*/
$timeStop = microtime(true) + $timeWait;
// в данном примере используется Yii и подключение к Redis через библиотеку Rediska
$rediska = Yii::app()->rediskaConnection->connect();
while ( true )
{
$currentTime = microtime(true);
if ( $policy == 0 )
{
/**
* посмотрим время, когда планируется освободить лок
*/
$expireAt = $rediska->getFromHash( self::getKey($key), 'expireAt' );
/**
* если время, на которое был поставлен лок, превышает наше допустимое время ожидания,
* то даже не встаем в очередь за локом
*/
if ( $expireAt > $timeStop )
{
return false;
}
/**
* иначе если надо немного подождать, то подождём то самое время, когда лок освободится
*/
elseif ( $expireAt > $currentTime )
{
usleep( 1000000 * intval($expireAt - $currentTime) );
$currentTime = microtime(true);
}
}
elseif ( $policy == 1 )
{
/**
* посмотрим время, когда планируется освободить лок
*/
$expireAt = $rediska->getFromHash( self::getKey($key), 'expireAt' );
while ( $expireAt > $timeStop || $expireAt > $currentTime )
{
usleep( 10000 );
/**
* посмотрим время, когда планируется освободить лок
*/
$expireAt = $rediska->getFromHash( self::getKey($key), 'expireAt' );
$currentTime = microtime(true);
if ( $currentTime >= $timeStop )
{
return false;
}
}
}
$getLock = false;
/**
* пробуем перехватить старый лок
* конструкция getConnectionByKeyName нужна для тех проектов, где используется более одного инстанса Redis
*/
$transaction = $rediska->transaction( $rediska->getConnectionByKeyName( self::getKey($key) ) );
$transaction->watch( self::getKey($key) );
$arData = $rediska->getHash( self::getKey($key) );
// идентификатор владельца текущего захвата
$daddy = isset($arData['daddy']) ? $arData['daddy'] : '';
// ожидаемое время освобождения захвата
$expireAt = isset($arData['expireAt']) ? $arData['expireAt'] : 0;
/**
* если лок не снят, а время его блокировки истекло, то пробуем перехватить лок
* также этот кейз сработает в самый первый раз
*/
if ( $daddy != self::getCurrentProcessId() && $expireAt < $currentTime )
{
$transaction->setToHash(
self::getKey($key),
array(
'daddy' => self::getCurrentProcessId(),
'expireAt' => $currentTime + $maxExecuteTime
)
);
$transaction->expire( self::getKey($key), ceil($currentTime + $maxExecuteTime), true );
try {
$transaction->execute();
$getLock = 1;
}
catch ( Rediska_Transaction_Exception $e )
{
/**
* перехват лока не произошел
*/
$getLock = false;
}
}
else
{
$getLock = false;
$transaction->discard();
}
/**
* попытка взять лок обычным способом
*/
if ( $getLock != 1 )
{
// HSETNX
$getLock = $rediska->setToHash( self::getKey($key), 'daddy', self::getCurrentProcessId(), false );
}
/**
* если лок наш
*/
if ( $getLock == 1 )
{
/**
* обновим время, до которого поставлена блокировка
*/
$rediska->setToHash(self::getKey($key), 'expireAt', $currentTime + $maxExecuteTime);
$rediska->expire(self::getKey($key), ceil($currentTime + $maxExecuteTime), true);
return true;
}
else
{
/**
* если ещё есть время на повторную попытку, то сделаем её с небольшой задержкой
*/
if ( $timeStop > $currentTime )
{
usleep(20000);
}
/**
* иначе сообщаем, что лока нет
*/
else
{
return false;
}
}
}
}
/**
* Снятие лока
*
* @param string $key - ключ лока
* @param float $delayAfter - установка времени жизни блокировки после снятия лока в секундах
* @return bool
*/
static public function releaseLock( $key, $delayAfter = 0 )
{
$currentTime = microtime(true);
$rediska = Yii::app()->rediskaConnection->connect();
$transaction = $rediska->transaction( $rediska->getConnectionByKeyName( self::getKey($key) ) );
$transaction->watch( self::getKey($key) );
$arData = $rediska->getHash( self::getKey($key) );
if ( is_array($arData) && isset($arData['daddy']) && isset($arData['expireAt']) )
{
$daddy = $arData['daddy'];
$expireAt = $arData['expireAt'];
}
else
{
$daddy = false;
$expireAt = 0;
}
/**
* Если на текущий момент лок был поставлен этим же процессом, то пробуем снять лок
*/
if ( $daddy == self::getCurrentProcessId() )
{
$transaction->setToHash(self::getKey($key), 'expireAt', $currentTime + $delayAfter);
$transaction->expire(self::getKey($key), ceil($currentTime + $delayAfter), true);
$transaction->deleteFromHash( self::getKey($key), 'daddy' );
/**
* Попытка атомарно снять лок
*/
try {
$transaction->execute();
$result = true;
}
catch (Rediska_Transaction_Exception $e)
{
$result = false;
}
}
else
{
$transaction->discard();
$result = false;
}
// если разлочивание сделали позже обозначенного времени
if ( $expireAt < $currentTime )
{
if ( $result )
{
/**
* всё получилось, но продлевать надо вовремя
*/
throw new Timeout_Lock_Exception('Timeout Lock on release');
}
else
{
/**
* значит лок был перехвачен другим процессом
*/
throw new LostLock_Timeout_Lock_Exception('Timeout Lock and it was lost before release');
}
}
return $result;
}
/**
* Попытка продлить время лока
*
* @param string $key - ключ лока
* @param float $timeProlongate - время продления лока в секундах
* @return bool - если вернулся false, значит продлить не получилось
*/
static public function prolongate( $key, $timeProlongate )
{
$rediska = Yii::app()->rediskaConnection->connect();
$transaction = $rediska->transaction( $rediska->getConnectionByKeyName( self::getKey($key) ) );
$transaction->watch( self::getKey($key) );
$arData = $rediska->getHash( self::getKey($key) );
$daddy = $arData['daddy'];
$expireAt = $arData['expireAt'];
$currentTime = microtime(true);
$result = false;
if ( $daddy == self::getCurrentProcessId() )
{
$transaction->setToHash( self::getKey($key), 'expireAt', $currentTime + $timeProlongate );
$transaction->expire(self::getKey($key), ceil($currentTime + $timeProlongate), true);
try {
$transaction->execute();
$result = true;
}
catch (Rediska_Transaction_Exception $e)
{
$result = false;
}
}
else
{
$transaction->discard();
$result = false;
}
if ( $expireAt < $currentTime )
{
if ( $result )
{
throw new Timeout_Lock_Exception('Timeout Lock on prolongate');
}
else
{
throw new LostLock_Timeout_Lock_Exception('Timeout Lock and Lost them on prolongate');
}
}
return $result;
}
}
Пример использования
Допустим, у нас есть скрипт, который формирует отчёты. И этот скрипт не имеет смысла запускать одновременно в несколько потоков, т.к. они все в результате выдадут один и тот же результат, но каждый потребует в ходе работы большое количество ресурсов. Мы знаем, что этот скрипт в среднем отрабатывает за 40-50 минут, поэтому сделаем небольшой запас и поставим блокировку на 60 минут.
$lockKey = 'cron-report';
$timeWait = 0;
$timeLock = 3600;
if ( RedisLock::getLock( $lockKey, $timeWait, $timeLock ) )
{
// лок взяли, теперь работаем с ресурсом
...
// когда время подошло к концу или закончили работу с ресурсом, то пробуем снять лок
try
{
RedisLock::releaseLock( $lockKey, 0 );
echo 'Ok';
}
catch ( Timeout_Lock_Exception $e )
{
// опасная ситуация
// этот кейс говорит о том, что ресурс бронировался на меньшее время, чем он был использован и сейчас он ещё не занят другим процессом
echo 'Timeout_Lock_Exception ' . ( $endTime - $currentTime );
}
catch ( LostLock_Timeout_Lock_Exception $e )
{
// плохая ситуация
// этот кейс говорит о том, что ресурс бронировался на меньшее время, чем он был использован и на момент снятия лока уже был занят другим процессом
echo 'LostLock_Timeout_Lock_Exception' . ( $endTime - $currentTime );
}
}
Надеемся, что наша реализация будет вам полезна.
Ждём ваши вопросы и комментарии.
Автор: andreysapegin
