Реверс-инжиниринг формата данных кабельного канала Sega

Введение

Sega Channel — это сервис games-on-demand, предоставлявший абонентам кабельного телевидения ежемесячный доступ к библиотеке из примерно пятидесяти игр для Sega Genesis за помесячную оплату (обычно 10-15 долларов, в зависимости от поставщика услуг кабельного телевидения). Он работал с июня 1994 года (общий доступ по всем США включили в декабре 1994 года) по июнь 1998 года. Абонентам предоставлялся картридж-адаптер, подключавший их консоль Genesis к линии кабельного телевидения. При включении консоли картридж искал сигнал Sega Channel, а затем скачивал меню игр. Этот процесс обычно занимал примерно двадцать секунд. Затем пользователь выбирал игру и примерно минуту ждал, пока она загрузится в ОЗУ адаптера. Далее игра работала точно так же, как картридж из магазина. Отключение системы или нажатие кнопки меню на адаптере удаляло скачанную игру, но данные сохранений игры оставались в нём, пока пользователь не скачивал другую игру. Наряду с продававшимися в рознице играми в Sega Channel был раздел «Test Drives», в нём пользователи могли играть в урезанные по времени или контенту версии игр, которые позже выпускались в розничную продажу. Кроме того, было несколько игр, доступных только через Sega Channel, хотя по большей мере это были проекты, в качестве которых Sega или издатель были не уверены, а потому не хотели выпускать их на физических картриджах. Успех Sega Channel был довольно умеренным, на пике популярности на него были подписаны примерно 250 тысяч абонентов.

Данные Sega Channel передавались абонентам кабельного телевидения довольно запутанным путём. Сначала сотрудники Sega Channel выбирали линейку игр и другой контент (подсказки, руководства, новости, оцифрованный фан-арт и так далее) на месяц. Затем они отправляли всё компании Foley Hi-Tech, которая создавала графику/анимации меню игр и вставляла весь ежемесячный контент. В результате получался файл размером примерно 60 МБ, называвшийся «игровым образом», который прожигался на CD и передавался по спутнику в Денвер, штат Колорадо. Далее CD устанавливался на компьютер игрового сервера, который непрерывно циклически передавал данные игр по спутниковой связи. Центральные кабельные станции по всем США получали спутниковую передачу и отправляли её абонентам. Непрерывной циклической передачей данных в то время обеспечивалась «интерактивность», ведь поставщики услуг кабельного телевидения могли только передавать данные всем абонентам, но не получать их (то есть не знали, какую игру хочет скачать конкретный абонент). Когда пользователь выбирал игру из меню, адаптер просматривал поток данных Sega Channel и извлекал данные для выбранной игры. Игровой образ размером примерно 60 МБ передавался с частотой примерно 12 Мбит/с на двух несущих частотах по 6 Мбит/с. Если проблем с сигналом не было, пользователю всегда удавалось запустить выбранную игру меньше, чем за минуту (один цикл передачи данных). Меню скачивалось быстрее, потому что для ускорения скачивания в поток данных добавлялись его дополнительные копии.

Игровой образ

В ноябре 2024 года пользователь RisingFromRuins с форума Sonic Retro заявил, что перебирая кучу PC-оборудования, купленного в этом году, нашёл CD игрового образа Sega Channel за сентябрь 1996 года. Он опубликовал фотографии CD и загрузил копию файла игрового образа с диска. Я подумал, что будет любопытно проверить, смогу ли извлечь данные из файла и посмотреть, есть ли там какие-то эксклюзивные игры или прототипы. Всегда интересно увидеть игры, в которые никто не мог поиграть более двадцати пяти лет.

Процесс

Первым делом я решил проверить содержимое файла образа в шестнадцатеричном редакторе. Все игры для Genesis имеют стандартизированный ASCII-заголовок, и я решил, что подсказки по играм/скачиваемые руководства тоже должны быть читаемыми. К сожалению, просмотрев файл образа, я не нашёл в нём ничего читаемого. Я предположил, что файл был или скрэмблирован, или зашифрован.

Тут мне сильно повезло. В 2017 году пользователь tdijital загрузил CD с бэкапом компании Foley Hi-Tech, на котором были материалы по разработке для Sega Channel. Другие пользователи уже изучили часть содержимого CD и нашли интересное, в том числе соревновательные версии Primal Rage, пару игр-викторин из японской версии Sega Channel и автономные ROM демо меню за декабрь 1994 года - январь 1996 года, которые можно было запускать в эмуляторе. Однако, насколько я знаю, никто не исследовал инструментарий разработчика с этого диска. Я подумал, что если мне хочется извлечь данные из файла игрового образа, то будет проще выполнить реверс-инжиниринг инструментария для создания игрового образа, чем заниматься реверс-инжинирингом кода скачивания на стороне Genesis и надеяться, что в процессе передачи данных файл образа по большей мере остался целым.

Путём проб и ошибок я разобрался, как создавали файлы образов. Сначала разработчики добавляли все игры, описания, тексты новостей, арт, музыку и так далее при помощи программы MENUMAKR. В результате получался двоичный файл меню и файл скрипта (названный MENUSPIN.BAT, хоть он и не был пакетным), который содержал пути к файлам ROM, смещения данных, количество включаемых копий ROM и другие метаданные для каждой игры.

Затем они запускали программу PKSPREAD, написанную Scientific Atlanta (компанией-поставщиком кабельного оборудования, с которой Sega заключила соглашение для создания оборудования вещания Sega Channel и картриджа-адаптера). Эта программа проверяла содержимое файла MENUSPIN.BAT и выводила двоичный файл PMAP.DAT, содержавший инструкции о том, как разделять и обрабатывать меню и данные игр для передачи.

Далее они запускали ещё одну написанную Scientific Atlanta программу под названием NSF, которая использовала файл PMAP.DAT для кодирования всех входных файлов и создания файла игрового образа. Я решил, что если хочу декодировать файл образа, нужно заняться этой программой.

Здесь мне ещё раз крупно повезло. Обнаружилось, что NSF.EXE компилировался в режиме отладки с отключенными оптимизациями и встроенными в EXE символами. Благодаря этому его должно быть легко подвергнуть реверс-инжинирингу. К сожалению, IDA Pro не смогла автоматически перехватить отладочные символы из исполняемого файла, поэтому мне пришлось открыть NSF в Turbo Debugger (программа компилировалась с помощью Borland C++ 4.1) и скопировать их вручную. К счастью, программа была довольно маленькой, поэтому это не заняло много времени.

Далее можно было сразу перейти к написанию программы-декодера, но я подумал, что лучше будет сначала написать программу, эквивалентную NSF.EXE. Таким образом, если я смогу создать побайтово идентичный файл образа с тем, который был создан DOS-утилитой NSF.EXE, то точно буду знать, что алгоритм подобран корректно. Я создал тестовый файл игрового образа (показанный выше на скриншотах PKSPREAD и NSF) и приступил к их сопоставлению. Мне понадобился день работы и ещё пара вечеров отладки, но я всё же написал эквивалентную NSF.EXE программу на C, и результаты их работы совпали. Работал я так: на одном мониторе открыл IDA, а на другом — Visual Studio, и старался, чтобы ассемблерный код в них совпадал максимально близко. Это привело к паре любопытных наблюдений. Тот, кто писал NSF, вероятно, был новичком в C. Кроме того, он потратил приличное количество времени на то, чтобы всё индексировалось с единицы, а не с нуля (возможно, фанат Pascal?). Стоит отметить, что я не предпринимал усилий к тому, чтобы скомпилированный двоичный файл совпадал с оригинальным. На самом деле, он даже, вероятно, не скомпилируется как файл C в Borland C++ 4, потому что я использовал везде объявления C99 и типы stdint.h.

После того, как я разобрался в работе NSF, было довольно легко написать программу-декодер, которая откатывает все эти этапы в обратном порядке и выводит отдельные файлы данных. Однако выдаваемые моим декодером данные всё равно не были валидными данными ROM Genesis:

К счастью, причиной этого было всего лишь сжатие игровых данных перед передачей. Инструмент для сжатия ROM находился на CD Foley Hi-Tech (GAMEEDIT.EXE), но мне не пришлось выполнять его реверс-инжиниринг, потому что пользователь GitHub Octocontrabass уже сделал это. При помощи его инструмента unsa я распаковал все файлы .SA в стандартные файлы ROM.

Находки

Самыми примечательными играми из файла образа стали две эксклюзивные игры, транслировавшиеся в сентябре 1996 года: Chessmaster и Klondike. Chessmaster — это шахматы, выпущенные для многих платформ 90-х (но не для Genesis), а Klondike — это пасьянс, созданный Sega для Sega Channel и написанный известным разработчиком Pitfall Дэвидом Крейном.

Вот разбитый на категории список всех игр из файла образа:

После публикации моих находок Black Squirrel с Sonic Retro выяснил, что можно запустить в эмуляторе меню за сентябрь 1996 года, скопировав байты 0-0x1003FF с одного из ROM демо-картриджа Sega Channel и добавив в конец данные меню из игрового образа. Очевидно, что функция скачивания не работает, но изучить меню всё равно любопытно.

Последней частью контента из файла образа стал ROM с инструкциями к играм. Он выглядит как обычный файл ROM Genesis, но когда я попробовал запустить его в эмуляторе, то получил только чёрный экран. Оказалось, что проблема заключается в том, что ROM скомпонован с базовым адресом 0x100000 вместо 0, как на обычном картридже. Похоже, он должен был запускаться непосредственно из памяти адаптера Sega Channel без отображения в адресное пространство обычного картриджа. Могу только предположить, что это как-то связано с функциональностью перехода к руководству по конкретной игре из игрового меню. Я заставил его работать в эмуляторе, добавив нули после заголовка, пока код не выровнялся с векторами в заголовке. При запуске подобным образом мы видим предназначенное для разработчиков меню с внутренними именами каждой игры. На этом этапе весь контент из файла игрового образа можно запускать в эмуляторе.

Заключение

Должен поблагодарить Tdijital за публикацию CD-бэкапа для разработчиков Sega Channel, Octocontrabass за реверс-инжиниринг формата сжатия .SA и тех, кто скомпилировал в Scientific Atlanta файл NSF.EXE в режиме отладки. Этот проект оказался бы гораздо сложнее без их помощи. Больше всего мне бы хотелось поблагодарить RisingFromRuins за публикацию файла игрового образа. Надеюсь, все, кто найдет диск с игровым образом Sega Channel, последуют его примеру.

Скачиваемые файлы

• Уникальные ROM из файла игрового образа

• ROM демо меню Sega Channel за сентябрь 1996 года

• ROM с инструкциями к играм Sega Channel за сентябрь 1996 года