Текст, которого нет

Текстовые редакторы, основная задача которых — отображение моноширинного шрифта (например, кода), должны, как и следует из названия, показывать символы одной ширины.

Но есть нюанс

В Unicode есть символы, видеть которые не положено.
Текстовый редактор может просто отрендерить текст с таким символом, а может предпринять какие-то действия, чтобы сделать его заметным.

Кто же они?

Код	Пример	Название
U+2060	foo⁠bar	WORD JOINER
U+2061	foo⁡bar	FUNCTION APPLICATION
U+2062	foo⁢bar	INVISIBLE TIMES
U+2063	foo⁣bar	INVISIBLE SEPARATOR
U+180E	foo᠎bar	MONGOLIAN VOWEL SEPARATOR
U+200B	foo​bar	ZERO WIDTH SPACE
U+200C	foo€€‌bar	ZERO WIDTH NON-JOINER
U+200D	foo‍bar	ZERO WIDTH JOINER
U+FEFF	foobar	ZERO WIDTH NO-BREAK SPACE

Word joiner, U+2060

Пришёл на смену zero-width no-break space (U+FEFF), потому что U+FEFF стал использоваться для кодирования BOM (byte-order mask, несколько байт в начале файла, обозначающие его кодировку и порядок байт). Этот символ запрещает перенос строки там, где он встречается.

Zero-width no-break space, U+FEFF

Устаревший символ, заменён на word joiner, использовался в тех же целях.

Zero-width joiner, U+200D

Используется в индийских и арабских шрифтах для объединения символов, которые без него не были бы соединены.

Zero-width non-joiner, U+200C

В начертаниях с лигатурами можно вставить его между буквами, чтобы лигатуры не было:

Он втречаетя даже на клавиатурах:

Zero-width space, U+200B

Используется, когда нужно обозначить границу слов, не вставляя пробел. Этот текст будет переноситься по словам:

Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word​Word

А этот нет:

WordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWordWord

Invisible Operators: function application U+2061, invisible times U+2062, invisible separator U+2063

"Невидимые операторы", добавленные в Unicode 3.2. Нужны для обозначения математических операций в выражениях.

Например, эта запись: A_ij
Может означать или индекс (i, j) в двумерном массиве, или индекс i*j в одномерном. Для устранения неоднозначности можно использовать или Invisible times, или Invisible separator, чтобы было понятно, что имелось в виду.

Аналогчино, f (x + y), это или умножение, или функция.

Визуально они не должны отличаться, но некоторые парсеры смогут понять, что имелось в виду.

Mongolian vowel separator, U+180E

Из названия понятно, для чего он. Этот символ уже не раз вызывал проблемы. Очень хорошо описан в этом ответе.

Как это выглядит

Конечно же, отображение зависит не только от редактора, но ещё и от шрифта, посмотрим на рендеринг текста, не меняя настроек редакторов.

Atom, Sublime, VSCode, Xamarin Studio, XCode, Notepad++:

Cat не показывает их:

Vim тоже не сообщает о некоторых символах, даже с включённой настройкой set list, а вот less справляется лучше:

Web

GitHub, вот так показываются эти символы в pull request-ах и diff-ах:

Один из популярных редакторов кода, CodeMirror:

В том же CodeMirror, используемом jsbin, в IE часть символов видна:

ACE догадывается, что там бяка, и говорит, что что-то тут нечисто, но вот что именно — показывает не всегда:

Редакторы кода и diff tools

Редакторы на платформе IntelliJ:

Разные инструменты сравнения кода под macOS (P4Merge, FileMerge, KDiff3):

KDiff3, попытка засчитана, но этого не достаточно.

SourceTree: не обрабатывает текст вообще никак, плохо:

Tortoise, тоже почти ничего:

git diff: молодец, показал всё, ещё и выделил. Просто прекрасно, для diff tools это образец для подражания:

Anguish: brainfuck, которого нет

Кто-то сделал язык программирования Anguish, использующий только невидимые символы.

Он основан на brainfuck, но использует не знаки пунктуации, а символы, о которых мы говорили выше.

Есть даже интерпретатор на Perl и примеры использования.

Эксплуатация

Плохой код, фу таким быть, сделать закладку можно совсем просто:

function f() {
  // ну вы поняли, на что заменить
  return 'access_denined';
}
let code = f();
if (code === 'access_denied') {
  return 401;
}

Что делать

Пиши чистый код, %username%. Следуй best practices, их придумали не просто так, а для того чтобы держать меньше вещей в голове, в том числе своевременно замечая такие штуки. Увидел магическую строчку, странный или непроверяемый default case, ещё что-то: есть время — не поленись, перепиши как надо. Проводи код-ревью, смотри что коммитят в твою репу, поддерживай хорошее покрытие. Помни, что строке может быть не только то, что видно на экране, проверь в hex-редакторе, если возникло подозрение.

Вообще, вероятность реализации бэкдора через невидимый символ, конечно, есть, но скорее нет, чем да: найти его достаточно просто, а вставить закладку в говнокод можно и другими методами.

Почитать

• Unicode Demystified, A Practical Programmer’s Guide to the Encoding Standard, by Richard Gillam (вы знаете, где искать) — хорошая книга про unicode, многое рассказано, в том числе и о таких символах

Автор: Antelle

Источник