Я отслеживаю файл виртуальной машины Virtual PC (* .vmc) в git, и после внесения изменений git определил файл как двоичный и не стал бы различать его для меня. Я обнаружил, что файл был закодирован в UTF-16.

Можно ли научить git распознавать, что это текстовый файл, и обрабатывать его соответствующим образом?

Я использую git под Cygwin, для core.autocrlf установлено значение false. При необходимости я мог бы использовать mSysGit или git под UNIX.

Некоторое время я боролся с этой проблемой и только что нашел (для меня) идеальное решение:

$ git config --global diff.tool vimdiff      # or merge.tool to get merging too!
$ git difftool commit1 commit2

git difftoolпринимает те же аргументы, что и git diffобычно, но запускает программу сравнения по вашему выбору вместо встроенного GNU diff. Так что выберите многобайтовый diff (в моем случае vimв режиме diff) и просто используйте git difftoolвместо git diff.

Находите "difftool" слишком долго для ввода? Нет проблем:

$ git config --global alias.dt difftool
$ git dt commit1 commit2

Git Rock.

Существует очень простое решение, которое "из коробки" работает в Unices.

Например, с .stringsфайлами Apple просто:

1. Создайте .gitattributesфайл в корне вашего репозитория с помощью:

   *.strings diff=localizablestrings
   

2. Добавьте в свой ~/.gitconfigфайл следующее:

   [diff "localizablestrings"]
   textconv = "iconv -f utf-16 -t utf-8"
   

Источник: файлы Diff .strings в Git (и более ранняя публикация 2010 г.).

Вы пытались настроить его так, .gitattributesчтобы он воспринимался как текстовый файл?

например:

*.vmc diff

Подробнее см. Http://www.git-scm.com/docs/gitattributes.html .

По умолчанию похоже, что gitс UTF-16 работать не будет; для такого файла вы должны убедиться , что сделать не CRLFобработка не выполняется на нем, но вы хотите , diffи mergeработать как обычный текстовый файл (это игнорирует , может ли ваш терминал / редактор обрабатывать UTF-16).

Но, глядя на .gitattributesстраницу руководства, можно увидеть настраиваемый атрибут binary:

[attr]binary -diff -crlf

Мне кажется, что вы можете определить настраиваемый атрибут на своем верхнем уровне .gitattributesдля utf16(обратите внимание, что я добавляю слияние здесь, чтобы убедиться, что он обрабатывается как текст):

[attr]utf16 diff merge -crlf

Оттуда вы можете указать в любом .gitattributesфайле что-то вроде:

*.vmc utf16

Также обратите внимание, что вы все равно должны иметь diffдоступ к файлу, даже если gitсчитаете его двоичным:

git diff --text

редактировать

Этот ответ в основном говорит о том, что GNU diff с UTF-16 или даже UTF-8 работает не очень хорошо. Если вы хотите gitиспользовать другой инструмент, чтобы увидеть различия (через --ext-diff), этот ответ предлагает Гиффи .

Но вам, вероятно, понадобится только diffфайл UTF-16, содержащий только символы ASCII. Чтобы заставить это работать, используйте --ext-diffследующий сценарий оболочки:

#!/bin/bash
diff <(iconv -f utf-16 -t utf-8 "$1") <(iconv -f utf-16 -t utf-8 "$2")

Обратите внимание, что преобразование в UTF-8 может работать и для слияния, вам просто нужно убедиться, что это сделано в обоих направлениях.

Что касается вывода на терминал при просмотре diff файла UTF-16:

Попытка провести такое различие приводит к выбросу двоичного мусора на экран. Если git использует GNU diff, может показаться, что GNU diff не поддерживает Unicode.

GNU diff на самом деле не заботится о юникоде, поэтому, когда вы используете diff --text, он просто сравнивает и выводит текст. Проблема в том, что используемый вами терминал не может обрабатывать передаваемый UTF-16 (в сочетании с разностными метками, которые являются символами ASCII).

Решение - отфильтровать cmd.exe /c "type %1". Встроенная typeкоманда cmd выполнит преобразование, поэтому вы можете использовать это с возможностью textconv git diff, чтобы включить текстовое различие файлов UTF-16 (также должно работать с UTF-8, хотя и не тестировалось).

Цитата из справочной страницы gitattributes:

Выполнение текстовых различий бинарных файлов

Иногда желательно увидеть разницу между текстовыми версиями некоторых двоичных файлов. Например, документ текстового процессора можно преобразовать в текстовое представление ASCII и показать различие текста. Несмотря на то, что это преобразование теряет некоторую информацию, полученное различие полезно для просмотра человеком (но не может применяться напрямую).

Параметр конфигурации textconv используется для определения программы для выполнения такого преобразования. Программа должна принимать единственный аргумент, имя файла, который нужно преобразовать, и выдавать результирующий текст на стандартный вывод.

Например, чтобы показать различие информации exif файла вместо двоичной информации (при условии, что у вас установлен инструмент exif), добавьте следующий раздел в свой $GIT_DIR/configфайл (или $HOME/.gitconfigфайл):

[diff "jpg"]
        textconv = exif

Решение для mingw32 , поклонникам cygwin, возможно, придется изменить подход. Проблема заключается в передаче имени файла для преобразования в cmd.exe - он будет использовать косую черту, а cmd предполагает разделители каталогов обратной косой чертой.

Шаг 1:

Создайте сценарий с одним аргументом, который будет преобразовывать в стандартный вывод. c: \ путь \ к \ some \ script.sh:

#!/bin/bash
SED='s/\//\\\\\\\\/g'
FILE=\`echo $1 | sed -e "$SED"\`
cmd.exe /c "type $FILE"

Шаг 2:

Настройте git, чтобы иметь возможность использовать файл сценария. Внутри вашей конфигурации git ( ~/.gitconfigили .git/configили посмотрите man git-config) поместите это:

[diff "cmdtype"]
textconv = c:/path/to/some/script.sh

Шаг 3:

Укажите файлы, к которым следует применить этот обходной путь, используя файлы .gitattributes (см. Man gitattributes (5)):

*vmc diff=cmdtype

затем используйте git diffв своих файлах.

git недавно начал понимать кодировки, такие как utf16. См. Документацию gitattributes , найдитеworking-tree-encoding

[Убедитесь, что ваша справочная страница совпадает, так как она совсем новая!]

Если (скажем) файл UTF-16 без спецификации на машине Windows, добавьте в свой .gitattributes файл

*.vmc text working-tree-encoding=UTF-16LE eol=CRLF

Если UTF-16 (с bom) на * nix сделает это:

*.vmc text working-tree-encoding=UTF-16-BOM eol=LF

(Заменить *.vmcна*.whatever для whateverфайлов типа вам нужно ручкой)

См .: Поддержка кодировки рабочего дерева "UTF-16LE-BOM" .

Добавлено позже

После @Hackslash можно обнаружить, что этого недостаточно

 *.vmc text working-tree... 

Чтобы получить красивые текстовые различия, вам нужно

 *.vmc diff working-tree...

Помещение обоих тоже работает

 *.vmc text diff working-tree... 

Но это возможно

• Резервный - eol=... подразумеваетtext
• Подробно - в большом проекте легко могут быть десятки различных типов текстовых файлов.

Проблема

В Git есть макро-атрибут, binary который означает -text -diff. Противоположный+text +diff не доступна встроенной, но git дает инструменты (я думаю!) Для его синтеза.

Решение

Git позволяет определять новые атрибуты макроса.

Я бы предложил эту верхнюю часть .gitattributesфайла, который у вас есть

 [attr]textfile text diff

Затем для всех путей, которые должны быть text и diff, выполните

 path textfile working-tree-encoding= eol=...

Обратите внимание, что в большинстве случаев нам нужна кодировка по умолчанию (utf-8) и eol по умолчанию (native), поэтому их можно отбросить.

Большинство строк должно выглядеть так

textfile *.c
textfile *.py
Etc

Почему бы просто не использовать diff?

Практично: в большинстве случаев нам нужен собственный eol. Что значит нет eol=.... Это textне подразумевается, и его нужно указывать явно.

Концептуальный: текст против двоичного - фундаментальное различие. eol, encoding, diff и т. д. - это лишь некоторые его аспекты.

Отказ от ответственности

Из-за странных времен, в которых мы живем, у меня нет машины с текущим работающим git. Поэтому в настоящий момент я не могу проверить последнее добавление. Если кто что-то не так, поправлю / удалю.

Я написал небольшой драйвер git-diff to-utf8, который должен упростить сравнение любых файлов в кодировке, отличной от ASCII / UTF-8. Вы можете установить его, следуя инструкциям здесь: https://github.com/chaitanyagupta/gitutils#to-utf8 (to-utf8 скрипт доступен в том же репо).

Обратите внимание, что для этого сценария в системе должны быть доступны обе команды fileи iconv.

Если бы эта проблема на Windows , в последнее время , а dos2unixи unix2dosбункера , которые поставляются с мерзавцем для окон сделали трюк. По умолчанию они расположены в C:\Program Files\Git\usr\bin\. Обратите внимание, это будет работать, только если ваш файл не должен быть в формате UTF-16. Например, кто-то случайно закодировал файл python как UTF-16, когда в этом не было необходимости (в моем случае).

PS C:\Users\xxx> dos2unix my_file.py
dos2unix: converting UTF-16LE file my_file.py to ANSI_X3.4-1968 Unix format...

а также

PS C:\Users\xxx> unix2dos my_file.py
unix2dos: converting UTF-16LE file my_file.py to ANSI_X3.4-1968 DOS format...