Главная

Неожиданные подвохи при перенаправлениях оболочки в $((i++))

2021-05-04 в 13:01, admin, рубрики: Без рубрики

Год назад вышла ShellCheck v0.7.1. Главным образом в ней были подчищены и исправлены имеющиеся проверки, но также появились и новые. Лично меня из всех новинок больше всех удивила та, что указывает на проблему, обсуждение которой я еще нигде не встречал:

In demo line 6:
  cat template/header.txt "$f" > archive/$((i++)).txt
                                             ^
  SC2257: Arithmetic modifications in command redirections
          may be discarded. Do them separately. 
#Арифметические изменения при перенаправлениях в command могут быть 
#отброшены. Выполняйте их отдельно

А вот весь скрипт:

#!/bin/bash
i=1
for f in *.txt
do
  echo "Archiving $f as $i.txt"
  cat template/header.txt "$f" > archive/$((i++)).txt
done

Опытные «сценаристы» уже наверняка забежали вперед и повторили это в своей оболочке, выяснив, что изменение будет работать, по крайней мере в Bash 5.0.16(1):

bash-5.0$ i=0; echo foo > $((i++)).txt; echo "$i" 
1

Исходя из этого вы можете ожидать беглого просмотра истории коммитов Bash, и, быть может, призыва сохранять благосклонность к нашим обездоленным собратьям на macOS, использующим Bash 3.

Но нет. Вот демо-скрипт на той же системе:

bash-5.0$ ./demo
Archiving chocolate_cake_recipe.txt as 1.txt
Archiving emo_poems.txt as 1.txt
Archiving project_ideas.txt as 1.txt

То же самое верно для source ./demo, которая выполняет скрипт в том же экземпляре оболочки, где мы только что проводили проверку. Более того, происходит это только при перенаправлениях, но не в аргументах.

Так в чем же здесь дело?

Оказывается, что Bash, Ksh и BusyBox ash в процессе установки файловых дескрипторов также расширяют имя файла, из которого происходит перенаправление. Если вы знакомы с моделью процессов Unix, то псевдокод будет выглядеть так:

if command is external:
  fork child process:
    filename := expandString(command.stdout) # инкрементно увеличивает i
    fd[1] := open(filename)
    execve(command.executable, command.args)
else:
  filename := expandString(command.stdout)   # инкрементно увеличивает i
  tmpFd := open(filename)
  run_internal_command(command, stdout=tmpFD)
  close(tmpFD)

Говоря иначе, область изменения переменной зависит от того, произвела ли оболочка ответвление нового процесса в ожидании выполнения команды.

Для встроенных команд, которые не разветвляются, например echo, это означает, что изменение произойдет в текущей оболочке. Именно такой тест мы и провели.

Для внешних же команд вроде cat изменение видимо только между моментом установки файлового дескриптора и вызовом команды для выполнения процесса. Это и делает демо-скрипт.

Конечно же, подоболочки хорошо известны опытным программистам, а также описаны в статье Why Bash is like that: Subshells. Но лично для меня это новый и, в частности, коварный их источник.

К примеру, этот скрипт отлично работает в busybox sh, где cat является встроенной:

$ busybox sh demo
Archiving chocolate_cake_recipe.txt as 1.txt
Archiving emo_poems.txt as 2.txt
Archiving project_ideas.txt as 3.txt

Аналогичным образом эта область может зависеть от того, переопределяли ли вы какие-либо команды функции-обертки:

awk() { gawk "$@"; }
# Инкрементирует
awk 'BEGIN {print "hi"; exit;}' > $((i++)).txt
# Не инкрементирует
gawk 'BEGIN {print "hi"; exit;}' > $((i++)).txt

Либо, если вы хотите переопределить псевдоним, то результат будет зависеть от того, использовали ли вы command или :

# Инкрементирует
command git show . > $((i++)).txt
# Не инкрементирует
git show . > $((i++)).txt

Чтобы избежать этой путаницы, обратите внимание на совет ShellCheck, и если при перенаправлении переменная является частью имени файла, то просто увеличивайте ее отдельно:

anything > "$((i++)).txt"
: $((i++))

Выражаю благодарность Strolls из #bash@Freenode за то, что указал на это поведение.

P.S. В процессе подготовки материала для статьи я выяснил, что dash всегда производит увеличение (хоть и с помощью $((i=i+1)), так как не поддерживает ++). ShellCheck v0.7.1 по-прежнему делает предупреждение, а код из master-ветки этого уже не делает.