Рекурсивные символы подстановки в GNU make?

Прошло много времени с тех пор, как я использовал make, так что терпите меня ...

У меня есть каталог flac, содержащий файлы .FLAC. У меня есть соответствующий каталог, mp3содержащий файлы MP3. Если файл FLAC новее, чем соответствующий файл MP3 (или соответствующий файл MP3 не существует), я хочу запустить несколько команд для преобразования файла FLAC в файл MP3 и скопировать теги.

Кикер: мне нужно flacрекурсивно искать в каталоге и создавать в нем соответствующие подкаталоги mp3. Каталоги и файлы могут иметь пробелы в именах и имеют имена в кодировке UTF-8.

И хочу использовать makeдля этого.

Я бы попробовал что-нибудь в этом роде

FLAC_FILES = $(shell find flac/ -type f -name '*.flac')
MP3_FILES = $(patsubst flac/%.flac, mp3/%.mp3, $(FLAC_FILES))

.PHONY: all
all: $(MP3_FILES)

mp3/%.mp3: flac/%.flac
    @mkdir -p "$(@D)"
    @echo convert "$<" to "$@"

Несколько замечаний для makeначинающих:

• Знак @перед командами предотвращает makeпечать команды до ее фактического выполнения.
• $(@D)является частью каталога имени целевого файла ( $@)
• Убедитесь, что строки с командами оболочки в них начинаются с табуляции, а не с пробелов.

Даже если это должно обрабатывать все символы UTF-8 и прочее, он не будет работать с пробелами в именах файлов или каталогов, поскольку makeиспользует пробелы для разделения вещей в make-файлах, и я не знаю, как это обойти. Боюсь, у вас останется только сценарий оболочки: - /

Вы можете определить свою собственную рекурсивную функцию с подстановочными знаками следующим образом:

rwildcard=$(foreach d,$(wildcard $(1:=/*)),$(call rwildcard,$d,$2) $(filter $(subst *,%,$2),$d))

Первый параметр ( $1) - это список каталогов, а второй ( $2) - список шаблонов, которым вы хотите сопоставить.

Примеры:

Чтобы найти все файлы C в текущем каталоге:

$(call rwildcard,.,*.c)

Для того, чтобы найти все .cи .hфайлы src:

$(call rwildcard,src,*.c *.h)

Эта функция основана на реализации из этой статьи с некоторыми улучшениями.

FWIW, я использовал что-то вроде этого в Makefile :

RECURSIVE_MANIFEST = `find . -type f -print`

В приведенном выше примере выполняется поиск в текущем каталоге ( '.' ) Всех «простых файлов» ( '-type f' ) и установка RECURSIVE_MANIFESTпеременной make для каждого найденного файла. Затем вы можете использовать подстановки шаблонов, чтобы уменьшить этот список, или, альтернативно, предоставить больше аргументов в find, чтобы сузить то, что он возвращает. См. Справочную страницу для поиска .

Мое решение основано на приведенном выше, sedвместо того, patsubstчтобы искажать вывод findИ экранировать пробелы.

Переход с flac / на ogg /

OGGS = $(shell find flac -type f -name "*.flac" | sed 's/ /\\ /g;s/flac\//ogg\//;s/\.flac/\.ogg/' )

Предостережения:

1. По-прежнему выдает ошибку, если в имени файла есть точки с запятой, но они встречаются довольно редко.
2. Трюк с $ (@ D) не сработает (выводит тарабарщину), но oggenc создает для вас каталоги!

Вот сценарий Python, который я быстро взломал, чтобы решить исходную проблему: сохранить сжатую копию музыкальной библиотеки. Сценарий преобразует файлы .m4a (предполагается, что это ALAC) в формат AAC, если файл AAC уже не существует и новее, чем файл ALAC. Файлы MP3 в библиотеке будут связаны, поскольку они уже сжаты.

Просто помните, что при прерывании скрипта ( ctrl-c) останется наполовину преобразованный файл.

Первоначально я также хотел написать Makefile, чтобы справиться с этим, но поскольку он не может обрабатывать пробелы в именах файлов (см. Принятый ответ) и поскольку написание сценария bash гарантированно поставит меня в мир боли, Python это так. Он довольно простой и короткий, поэтому его легко настроить в соответствии с вашими потребностями.

from __future__ import print_function


import glob
import os
import subprocess


UNCOMPRESSED_DIR = 'Music'
COMPRESSED = 'compressed_'

UNCOMPRESSED_EXTS = ('m4a', )   # files to convert to lossy format
LINK_EXTS = ('mp3', )           # files to link instead of convert


for root, dirs, files in os.walk(UNCOMPRESSED_DIR):
    out_root = COMPRESSED + root
    if not os.path.exists(out_root):
        os.mkdir(out_root)
    for file in files:
        file_path = os.path.join(root, file)
        file_root, ext = os.path.splitext(file_path)
        if ext[1:] in LINK_EXTS:
            if not os.path.exists(COMPRESSED + file_path):
                print('Linking {}'.format(file_path))
                link_source = os.path.relpath(file_path, out_root)
                os.symlink(link_source, COMPRESSED + file_path)
            continue
        if ext[1:] not in UNCOMPRESSED_EXTS:
            print('Skipping {}'.format(file_path))
            continue
        out_file_path = COMPRESSED + file_path
        if (os.path.exists(out_file_path)
            and os.path.getctime(out_file_path) > os.path.getctime(file_path)):
            print('Up to date: {}'.format(file_path))
            continue
        print('Converting {}'.format(file_path))
        subprocess.call(['ffmpeg', '-y', '-i', file_path,
                         '-c:a', 'libfdk_aac', '-vbr', '4',
                         out_file_path])

Конечно, это может быть улучшено для параллельного кодирования. Это оставлено читателю в качестве упражнения ;-)

Если вы используете Bash 4.x, вы можете использовать новую опцию подстановки , например:

SHELL:=/bin/bash -O globstar
list:
  @echo Flac: $(shell ls flac/**/*.flac)
  @echo MP3: $(shell ls mp3/**/*.mp3)

Такой рекурсивный подстановочный знак может найти все интересующие вас файлы ( .flac , .mp3 и т. Д.). О