Привет! Развертывание языковой модели на собственном сервере требует тщательного планирования аппаратной составляющей. В этой статье мы разберем, какие компоненты критически важны для эффективной работы LLM, как они взаимодействуют, и какую конфигурацию выбрать под разные сценарии использования.
Один из пользователей, чьи данные там были, очень живо интересовался тем, что за конфигурация у нас была. Вплоть до моделей дисков, дат их производства и серийных номеров. Он, вероятно, считал, что там стоит какое-то старьё, и до последнего не верил, что так бывает на новом железе. Потом очень искренне смеялся над фразой, что ни одна схема резервирования RAID не даёт стопроцентной гарантии сохранности данных.
Это правда: ни одна схема резервирования никогда не гарантирует 100 %. Случается всякое. Диски из одной партии могут умереть в один день: у нас такое было только один раз несколько лет тому назад, но было. Разболтавшийся кулер может вызвать резонансные вибрации, которые убьют два массива целиком: такое было больше пяти лет тому назад, и мы долго расследовали ту ситуацию.
Бывает всё.
В России не очень принято выплачивать компенсации за простои и потерю данных. В прошлом году мы поняли, что это важно делать, и включили такие пункты в соглашение.
Это привело к целой цепочке последствий, в частности, к тому, что мы перешли на RAID 10 как на новый для нас стандарт хранения данных. Читать полностью »
Если вам надоело обходить блокировку Discord и вас не устраивает связь в tg или Steam, то предлагаю поднять свой TeamSpeak(TS) сервер. У меня, например, вылезла проблема, что CoD отказывается запускаться при включенной службе обхода дискорда. Тем более, что последнее обновление сделало TS неплохим его аналогом.
И так, нам понадобится домашний сервер (например, старый комп) с установленной ОС или же арендованный VPS. Ваш IP должен быть статическим, иначе придётся в конфигурации роутера каждый раз менять внешний IP.
Много памяти не бывает? Кто-то может возразить, что хоть и хочется установить большой объем памяти, но мы все равно упремся в ограничение числа каналов работы памяти процессора, повышенную нагрузку и другие характеристики. С другой стороны, встает дилемма о том, сколько модулей памяти использовать одновременно и что выгоднее — поставить много недорогих планок, но меньшего объема, или несколько, но максимального. Если для бытовых ПК обычно мы можем использовать максимум 4 планки, то для серверов такое ограничение будет не так существенно и вопрос выливается в плоскость экономики.
К написанию этой статьи меня подтолкнули две причины. Во-первых в силу сложившихся изначально причин тривиальная задача превратилась в интересное и увлекательное приключение. Во-вторых точка в этой истории еще не поставлена, а среди комментариев встречаются полезные советы.
Начало этого приключения уходит корнями в 2020 год. Времена санитарных ограничений мы с семьей проводили в сельском доме родителей, улучшая в нем жилищные условия. Чистый воздух, свободное время, интерес к электронным устройствам и стремление к новому опыту привели меня в мир домашней автоматизации и майнинга.
Есть люди, которые начинают задумывается об приватности/конфиденциальности в необъятном интернете или уже её практикуют. Есть те, кто не хочет платить за сервисы и считает, что подписочная модель по текущим ценам — не самый выгодный вариант. Тогда появляеться гениальная идея об «self-hosted» решений и покупка домашнего сервера.
К вопросу о том, "что за дом без серверной стойки для души и экспериментов":
серверная в подвале, с круглосуточно гудящими аппаратами - теперь в прошлом. Для серьезных вещей удобнее купить VDS на хостинге, а для несерьезных...
Ну вот, например, попалась смарт-приставка для TV MXQ pro 4K.
Новая реальность - нагрузки нет, а интерфейс тормозит.
Как поднять Илью Муромца с печи?
Зеленый архитектурный просчет или архитектурное вредительство.
P-states
C-States
C1 Enhanced Mode
UPI Power Management
Energy Efficient Turbo
Memory Speed
Как администратора превращают в пилота с автопилотом, но без ручного управления
Настройка кластера 1С на очередной виртуальной среде (Windows server 2022, Microsoft Hyper V) сопровождалась ощущениями лагов пользовательского интерфейса.
В этом году Центробанк выставил высокие ставки и фактически перекрыл возможность строить ЦОДы за кредитные деньги. А если что, то дата-центры строятся за колоссальные деньги. То есть исключительно на кредиты — с тем, чтобы потом продавать их мощности и постепенно отбивать кредитные деньги. То же самое происходит в других областях бизнеса, и почти везде практическая невозможность взять кредит означает стагнацию многих направлений бизнеса. За ипотеку же вообще можно слетать в космос!
Почему нельзя взять кредит? Потому что почти нет такого бизнеса, который даст денег больше, чем если просто положить их на счёт в банк. Правда, банкам я бы тоже не стал доверять на 100 % даже в случае депозитов, но это уже другая история.
А дефицит стойко-мест растёт. Уже в прошлые годы всё, что строилось, на 80 % раскупалось ещё на стадии строительства. То есть речь идёт даже не про текущие свободные стойки, а про предзаказы на то, что будет готово только в следующем году.
Цена размещения стойки уже выросла на 9–21 % в зависимости от колокации в России.
Кстати, познакомьтесь со звездой рынка — киргизскими серверами:
Это экспорт из Германии в Кыргызстан. Примерно такие же графики — по Польше, Австрии, Италии и т. п. Читать полностью »
