-
Реальная история полета мысли и рождения продукта
-
Примеры создания бота с нуля
-
Готовый скрипт для рендера кружочков с музыкой (ну почти)
-
Готовый бот с неприлично простым функционалом: t.me/Wjooh_bot
В одном телеграм канале с мемами увидел такой вот видео-нот, и так мне зашла эта идея что сразу захотелось сделать такой же. И делать вообще регулярно по настроению, когда наткнулся на подходящую картинку или захотел подсадить друга на топовую песню. Я начал прощупывать карманные ресурсы. Карманные — потому что делать по настроению значит делать с телефона
Мой фаворит в видео редакторах YouCut, который обычно позволяет создать кат по любой ситуативной идеи, и быстро, в этот раз немного подвел: всё что можно от него добиться это использовать эффект вращения с одной заданной скоростью, а эта скорость задана весьма выше чем у вайба винила.
=(
Второй кочкой, на которой споткнулся полет моей идеи, стала сама механика видеокружочков. Юзер не может загрузить их с устройства — только записать.. Тут я вспомнил что разрабатываю ботов на Python, и в сущностях сообщений явно видел поле VideoNote — видеокружок. И стало ясно что загружать их из галереи нельзя только в реализации приложения — само API телеграмма естественно не против.
Для надежности загуглил «как делают видео-сообщения из обычных видео», и нашел кучу примеров зреющей идеи — телеграмм боты на всяко-разных условиях предлагают сделать кружочек из любого вашего видео. А раз такое делает бот, почему бы боту и не закручивать его, и не накладывать аудио самому? Вот и ни почему.
Поехали
Начинаем с центральной функции — монтажа и рендера.
-
Входные данные — картинка и аудио файл.
-
На выходе нужно mp4 видео с вращающейся картинкой под музыку.
Сразу как то интуитивно было, что вращение проще оформить на этапе подготовки картинки. Использовать самый банальный инструмент, встроенный в Python — PIL Image, создать раскадровку будущего видео и сохранить на диске.
Делаем цикл, оставляем на перспективу множитель скорости(им также можно менять направление вращения знаком +-), поворачиваем картинку на шаг*скорость, и сохраняем в массив кадров
def rotate_set(f_imgpath, f_speed,f_id):
f_step = int(360 / f_speed)
f_res = []
# умножаем на минус потому что интуитивнее когда плюс крутит по часовой
f_speed = -f_speed
f_img = Image.open(f_imgpath)
for i in range(0, f_step):
q_img = f_img.rotate(i * f_speed)
f_res.append(q_img)
return f_resСразу скажу, получится урод. Надо сначала сделать из картинки квадрат: считаем точки краев картинки и получаем новую
def crop_img(f_imgpath):
img = Image.open(f_imgpath)
f_size = min(img.size)Готовый набор картинок собираем в контейнер видео-либы, накладываем аудио и го рендерить на старом офисном ноуте это дело адски долгое.
f_crop_size = (max(img.size))
f_dif = int((f_crop_size - f_size) / 2)
if img.height >= img.width:
f_crop_img = img.crop((0,f_dif,img.width,img.height - f_dif))
else:
f_crop_img = img.crop((f_dif, 0, img.width - f_dif,img.height))
return f_crop_imgГотовый набор картинок собираем в контейнер видео-либы, накладываем аудио и го рендерить на старом офисном ноуте это дело адски долгое.
def spin_imag(f_len=59, f_speed=2, f_img='low.jpg'):
j = 0
clips = []
f_img_obj = crop_img(f_img)
f_frames = rotate_set(f_img_obj, f_speed)
for i in range(0, f_len * 24):
# тут гоняем массив кадров полного вращения f_frames
# пока не получим массив на всю длинну видео f_len * 24
clips.append(ImageSequenceClip(f_frames[j]))
j += 1
if j >= len(f_frames):
j = 0
result_clip = concatenate_videoclips(clips, method="compose")
audio_clip = AudioFileClip(f_audio)
result_clip.audio = new_audioclip
f_result_file = f'{s_files_path}.mp4'
result_clip.write_videofile(f_result_file,
fps=24,
)
return f_result_fileСразу тестим на с убунтой и 300mb ОЗУ: Процесс убивается еще на закручивании картинок
Оптимизируем
Ладно, если не торопиться, то во первых надо делать входные картинки одного небольшого размера, всё-таки в кружочке нет приоритета на ХайРес, а видео рендерится по размеру большего из слоев. Заодно внимательнее следим за закрытием ненужных файлов/потоков
def crop_img(f_imgpath):
...
else:
f_crop_img = img.crop((f_dif, 0, img.width - f_dif, img.height))
f_crop_img = f_crop_img.resize((s_img_size, s_img_size))
img.close()
return f_crop_imgИз любопытства глядим на нагрузку системы
Немного вчитавшись в доки находим метод как раз для склейки картинок кадров в клип, в который надо только отправить адреса файлов, а он сам их по умному загрузит и склеит.
# сохраняем каждый кадр в файл, возвращаем путь к файлу
def rotate(f_img,f_angle,f_result_path):
f_res_path = f_result_path
rotate_img = f_img.rotate(f_angle)
rotate_img.save(f_result_path)
return f_res_path
def rotate_set(f_img, f_speed, f_id):
...
for i in range(0, f_step):
q_img = rotate(f_img, i * f_speed, f'{s_work_dir}{i}_rotate.jpg')
f_res.append(q_img)
return f_res
def spin_image(f_id=0, f_len=59, f_speed=2, f_img='low.jpg'):
...
# теперь здесь мы получаем массив адресов файлов
f_frames = rotate_set(f_img_obj, f_speed, f_id)
f_img_obj.close()
for i in range(0, f_len * 24):
# гоняем массив адресов файлов так же как раньше картинки
clips.append(f_frames[j])
j += 1
if j >= len(f_frames):
j = 0
# этот объект будет загружать кадры из файлов только когда они
# потребуются на рендере
result_clip = ImageSequenceClip(clips, fps=24)
...Ощутимая оптимизации. Надо больше читать доки
Где то в это время под тест попадет кейс когда входное аудио короче минуты, и хочется эту ситуацию быстро пусть топорно решить.
Применяем вуду-программирование:
def spin_image(f_id=0, f_len=59, f_speed=2, f_img='low.jpg'):
...
audio_clip = AudioFileClip(f_audio)
if audio_clip.duration < result_clip.duration:
f_count = int(result_clip.duration / audio_clip.duration) + 1
f_clip_list = []
for i in range(0, f_count):
f_clip_list.append(audio_clip.copy().set_start(audio_clip.duration * i))
f_clip_list[f_count - 1] = f_clip_list[f_count - 1].copy().set_duration(
result_clip.duration - ((f_count - 1) * audio_clip.duration))
audio_clip = f_clip_list
else:
audio_clip = [audio_clip.set_duration(result_clip.duration)]
new_audioclip = CompositeAudioClip(audio_clip)
...С божей помощью оно работает с первого раза, едем дальше.
Друг (ссылка: Разработка кроссплатформенных приложений, интерактивных экскурсий, презентаций, AR, VR, MR для выставок, музеев, рекламы и веба) советует для оптимизации потыкаться в кодеки рендера и битрейт, так что мы снижаем битрейт аудио до 100k, меняем кодек на новомодный h264 видео до 200k (дефолт выдавал 400, дефолт х254 вобще 4500! sic), врубаем режим оптимизации ultrafast, и все ради бедной убунты-300-озу, дай ей бог сил.
def spin_image(f_id=0, f_len=59, f_speed=2, f_img='low.jpg'):
...
result_clip.write_videofile(f_result_file,
fps=24,
codec='libx264',
preset='ultrafast',
bitrate='200k'
audio_bitrate='100k')
...Убунта справляется. Но такое качество даже в кружочке неприемлемо
Если использовать как посоветовал мой друг (ссылка: Разработка кроссплатформенных приложений, интерактивных экскурсий, презентаций, AR, VR, MR для выставок, музеев, рекламы и веба) кодек h265, который ещё более современный и оптимизированный, то результирующее видео вообще не воспроизводится на мобильном ТГ, на десктопе выглядит выразительно (скорее всего проблема в моем невежестве, но тратить на это время не целесообразно, ИДЕЯ ГОРИТ)
Молодец друг, если что он занимается Разработка кроссплатформенных приложений, интерактивных экскурсий, презентаций, AR, VR, MR для выставок, музеев, рекламы и веба и вот его профиль ссылка
Дальше начинаем подбирать разрешение и битрейт что бы железо тянуло, картинка удовлетворяла и самое интересное — какие критерии для видео существуют что бы ТГ его сделал кружочком. Дело в том что загрузка VideoNote работает загадочным образом, она отправляет на сервер ТГ любое твое видео, но они там его каким то образом оценивают и решают — выдать в чат каноничный кружок, или если что то не понравилось — вкинуть его как обычное видео. В документации написаны требования, только забыли упомянуть разрешение:
-
Разрешение видео не более 640р
-
Расширение файла .mp4
-
Длинна не более минуты
-
Квадратное
Кружок начинает выглядеть прекрасно уже на 600к битрейте
def get_mask(f_name, f_size=s_img_size):
f_path = f'{f_name}{f_size}.png'
if not os.path.exists(f_path):
with Image.open(f_name) as og:
with og.resize((f_size, f_size)) as rs:
rs.save(f_path)
return f_path
def spin_image():
...
result_clip = ImageSequenceClip(clips,fps=24)
# сначала загружаем пнг как обычный кадр
logo = ImageClip(get_mask(mask.png,f_img_size),duration=result_clip.duration)
# потом хитро загружаем его же но фильтром маской, и накладываем на предыдущий
f_mask = ImageClip(get_mask(mask.png,f_img_size),ismask=True).to_mask()
logo = logo.set_mask(f_mask)
result_clip = CompositeVideoClip([result_clip,logo])
...Конечный код скрипта доступен на https://github.com/Yellastro2/image_spin_and_music/blob/main/spin_video_sc.py
Я до последнего не верил что такого бота никто еще не делал, и недавно нашел одну реализацию такой идеи, можете найти его по слову винилайзер, у него я в итоге и подглядел макс разрешение для кружочка. Видеть чужую реализацию твоей тайной идеи конечно больно, но я сразу решил что у моего бота будет фича в простоте, так чик-хоп и готов кружок. А у конкурента фишка в сложности (:
Короче немного магии Aiogram, про него контента итак хватает, придумал социальный элемент — показывать юзерам чужие кружочки! и оценивать! и формировать топ!!! Добавил выбор маски-пластинки и запустил на копеечном
Я назвал своего бота Вжух
Автор: Yellastro2
