Какая кодировка правильно открывает файлы CSV в Excel на Mac и Windows?

У нас есть веб-приложение, которое экспортирует файлы CSV, содержащие иностранные символы, с UTF-8, без спецификации. Как пользователи Windows, так и Mac получают символы мусора в Excel. Я пытался конвертировать в UTF-8 с спецификацией; С Excel / Win все в порядке, Excel / Mac показывает бред. Я использую Excel 2003 / Win, Excel 2011 / Mac. Вот все кодировки, которые я пробовал:

Encoding  BOM      Win                            Mac
--------  ---      ----------------------------   ------------
utf-8     --       scrambled                      scrambled
utf-8     BOM      WORKS                          scrambled
utf-16    --       file not recognized            file not recognized
utf-16    BOM      file not recognized            Chinese gibberish
utf-16LE  --       file not recognized            file not recognized
utf-16LE  BOM      characters OK,                 same as Win
                   row data all in first field

Лучшим является UTF-16LE с спецификацией, но CSV не распознается как таковой. Разделитель полей - запятая, но точка с запятой ничего не меняет.

Есть ли какая-либо кодировка, которая работает в обоих мирах?

Кодировки Excel

Я обнаружил, что WINDOWS-1252кодировка наименее расстраивает при работе с Excel. Так как в основном это собственный фирменный набор символов Microsoft, можно предположить, что он будет работать как на Mac, так и на Windows-версии MS-Excel. Обе версии по крайней мере включают в себя соответствующий селектор «Источник файла» или «Кодировка файла», который правильно считывает данные.

В зависимости от вашей системы и инструментов , которые вы используете, эта кодировка также может быть названа CP1252, ANSI, Windows (ANSI), MS-ANSIили просто Windows, среди других вариантов.

Эта кодировка является надмножеством ISO-8859-1(иначе LATIN1и другими), поэтому вы можете вернуться к ней, ISO-8859-1если WINDOWS-1252по какой-то причине вы не можете ее использовать . Имейте в виду, что ISO-8859-1некоторые символы отсутствуют, WINDOWS-1252как показано здесь:

| Char | ANSI | Unicode | ANSI Hex | Unicode Hex | HTML entity | Unicode Name                               | Unicode Range            |
| €    | 128  | 8364    | 0x80     | U+20AC      | €      | euro sign                                  | Currency Symbols         |
| ‚    | 130  | 8218    | 0x82     | U+201A      | ‚     | single low-9 quotation mark                | General Punctuation      |
| ƒ    | 131  | 402     | 0x83     | U+0192      | ƒ      | Latin small letter f with hook             | Latin Extended-B         |
| „    | 132  | 8222    | 0x84     | U+201E      | „     | double low-9 quotation mark                | General Punctuation      |
| …    | 133  | 8230    | 0x85     | U+2026      | …    | horizontal ellipsis                        | General Punctuation      |
| †    | 134  | 8224    | 0x86     | U+2020      | †    | dagger                                     | General Punctuation      |
| ‡    | 135  | 8225    | 0x87     | U+2021      | ‡    | double dagger                              | General Punctuation      |
| ˆ    | 136  | 710     | 0x88     | U+02C6      | ˆ      | modifier letter circumflex accent          | Spacing Modifier Letters |
| ‰    | 137  | 8240    | 0x89     | U+2030      | ‰    | per mille sign                             | General Punctuation      |
| Š    | 138  | 352     | 0x8A     | U+0160      | Š    | Latin capital letter S with caron          | Latin Extended-A         |
| ‹    | 139  | 8249    | 0x8B     | U+2039      | ‹    | single left-pointing angle quotation mark  | General Punctuation      |
| Π   | 140  | 338     | 0x8C     | U+0152      | Π    | Latin capital ligature OE                  | Latin Extended-A         |
| Ž    | 142  | 381     | 0x8E     | U+017D      |             | Latin capital letter Z with caron          | Latin Extended-A         |
| ‘    | 145  | 8216    | 0x91     | U+2018      | ‘     | left single quotation mark                 | General Punctuation      |
| ’    | 146  | 8217    | 0x92     | U+2019      | ’     | right single quotation mark                | General Punctuation      |
| “    | 147  | 8220    | 0x93     | U+201C      | “     | left double quotation mark                 | General Punctuation      |
| ”    | 148  | 8221    | 0x94     | U+201D      | ”     | right double quotation mark                | General Punctuation      |
| •    | 149  | 8226    | 0x95     | U+2022      | •      | bullet                                     | General Punctuation      |
| –    | 150  | 8211    | 0x96     | U+2013      | –     | en dash                                    | General Punctuation      |
| —    | 151  | 8212    | 0x97     | U+2014      | —     | em dash                                    | General Punctuation      |
| ˜    | 152  | 732     | 0x98     | U+02DC      | ˜     | small tilde                                | Spacing Modifier Letters |
| ™    | 153  | 8482    | 0x99     | U+2122      | ™     | trade mark sign                            | Letterlike Symbols       |
| š    | 154  | 353     | 0x9A     | U+0161      | š    | Latin small letter s with caron            | Latin Extended-A         |
| ›    | 155  | 8250    | 0x9B     | U+203A      | ›    | single right-pointing angle quotation mark | General Punctuation      |
| œ    | 156  | 339     | 0x9C     | U+0153      | œ     | Latin small ligature oe                    | Latin Extended-A         |
| ž    | 158  | 382     | 0x9E     | U+017E      |             | Latin small letter z with caron            | Latin Extended-A         |
| Ÿ    | 159  | 376     | 0x9F     | U+0178      | Ÿ      | Latin capital letter Y with diaeresis      | Latin Extended-A         |

Обратите внимание, что знак евро отсутствует . Эту таблицу можно найти в Alan Wood .

преобразование

Преобразование выполняется по-разному в каждом инструменте и языке. Однако предположим, что у вас есть файл, query_result.csvкоторый, как вы знаете, UTF-8закодирован. Преобразовать его в WINDOWS-1252использование iconv:

iconv -f UTF-8 -t WINDOWS-1252 query_result.csv > query_result-win.csv

Для UTF-16LE с спецификацией, если вы используете символы табуляции в качестве разделителей вместо запятых, Excel распознает поля. Причина, по которой он работает, заключается в том, что Excel фактически использует парсер Unicode * .txt.

Предупреждение : если файл отредактирован в Excel и сохранен, он будет сохранен как ASCII с разделителями табуляцией. Проблема теперь в том, что когда вы заново открываете файл, Excel предполагает, что он настоящий CSV (с запятыми), видит, что это не Unicode, поэтому анализирует его как разделенный запятыми - и, следовательно, создаст его хэш!

Обновление : вышеупомянутое предостережение, кажется, не происходит для меня сегодня в Excel 2010 (Windows), по крайней мере, хотя, кажется, есть разница в поведении сохранения, если:

• Вы редактируете и выходите из Excel (пытается сохранить как 'Unicode * .txt')

по сравнению с:

• редактирование и закрытие только файла (работает как положено).

Недостаток: нет решения. Excel 2011 / Mac не может правильно интерпретировать CSV-файл, содержащий умляуты и диакритические знаки, независимо от того, какую кодировку или переходы по кругу вы делаете. Я был бы рад услышать, что кто-то говорит мне другое!

Вы пробовали только CSV с разделителями-запятыми и точками с запятой. Если бы вы попробовали CSV с разделением табуляцией (также называемый TSV), вы бы нашли ответ:

UTF-16LE с спецификацией (метка порядка байтов), разделенная табуляцией

Но : в комментарии вы упоминаете, что TSV не подходит для вас (хотя я не смог найти это требование в вашем вопросе). Какая жалость. Это часто означает, что вы разрешаете ручное редактирование файлов TSV, что, вероятно, не очень хорошая идея. Визуальная проверка файлов TSV не является проблемой. Кроме того, редакторы могут быть настроены на отображение специального символа для отметки вкладок.

И да, я попробовал это на Windows и Mac.

Вот решающий момент при импорте CSV в кодировке utf8 в Excel 2011 для Mac: Microsoft говорит: «Excel для Mac в настоящее время не поддерживает UTF-8». Excel для Mac 2011 и UTF-8

Yay, способ пойти MS!

Лучший обходной путь для чтения файлов CSV с UTF-8 на Mac - это преобразовать их в формат XLSX. Я нашел скрипт, созданный Конрадом Фёрстнером, который я немного улучшил, добавив поддержку различных символов-разделителей.

Загрузите скрипт с Github https://github.com/brablc/clit/blob/master/csv2xlsx.py . Для того , чтобы запустить его вам нужно будет установить модуль питона openpyxl для обработки файлов Excel: sudo easy_install openpyxl.

В моем случае это сработало (Mac, Excel 2011, кириллические и латинские буквы с чешскими диакритическими знаками):

• Charset UTF-16LE (просто UTF-16 было недостаточно)
• Спецификация "\ xFF \ xFE"
• \ t (вкладка) в качестве разделителя
• Не забудьте также кодировать разделитель и CRLF :-)
• Используйте iconv вместо mb_convert_encoding

В моем случае кажется, что Excel 2011 для Mac OS не использует Encoding.GetEncoding («10000»), как я думал, и потратил 2 дня впустую, но с той же iso, что и в ОС Microsoft. Лучшим доказательством этого является создание файла в Excel 2011 для MAC со специальными символами, сохранение его как CSV, а затем открытие его в текстовом редакторе MAC, и символы шифруются.

Для меня этот подход сработал - это означает, что экспорт csv в Excel 2011 на MAC OS имеет специальные западноевропейские символы:

Encoding isoMacOS = Encoding.GetEncoding("iso-8859-1");
Encoding defaultEncoding = Encoding.Default; 

// Convert the string into a byte array.
byte[] defaultEncodingBytes = defaultEncoding.GetBytes(exportText);

// Perform the conversion from one encoding to the other.
byte[] ansiBytes = Encoding.Convert(defaultEncoding, isoMacOS, defaultEncodingBytes);

decodedString = isoMacOS.GetString(ansiBytes);

UTF-8 без спецификации в настоящее время работает для меня в Excel Mac 2011 14.3.2.

UTF-8 + BOM вроде работает, но BOM визуализируется как бред.

UTF-16 работает, если вы импортируете файл и завершите работу мастера, но не если вы просто дважды щелкните по нему.

В Excel для Mac 2011 и Windows Excel 2002 работали следующие функции:

1. Используя iconv на Mac, преобразуйте файл в UTF-16 Little-Endian + назовите его * .txt (расширение .txt заставляет Excel запустить мастер импорта текста):

   iconv -f UTF-8 -t UTF-16LE filename.csv >filename_UTF-16LE.csv.txt

2. Откройте файл в Excel и в мастере импорта текста выберите:

   • Шаг 1: Происхождение файла : игнорируйте его, не важно, что вы выберете
   • Шаг 2: выберите правильные значения для разделителей и текстовых квалификаторов
   • Шаг 3: при необходимости выберите форматы столбцов

PS UTF-16LE, созданный iconv, имеет в начале байты спецификации FF FE.

PPS Мой оригинальный CSV-файл был создан на компьютере под управлением Windows 7 в формате UTF-8 (с байтами BOM EF BB BF в начале) и использовал разрывы строк CRLF. Запятая использовалась как разделитель полей, а одинарная кавычка - как текстовый классификатор. Он содержал буквы ASCII, а также различные латинские буквы с тильдами, умлаутом и т. Д., Плюс немного кириллицы. Все отображается правильно в Excel для Win и Mac.

PPPS Точные версии программного обеспечения:
* Mac OS X 10.6.8
* Excel для Mac 2011 v.14.1.3
* Windows Server 2003 SP2
* Windows Excel 2002 v.10.2701.2625

На моей Mac OS Text Wrangler определил файл CSV, созданный в Excel, как имеющий «западную» кодировку.

После некоторого поиска в Google я сделал этот небольшой скрипт (я не уверен в доступности Windows, может быть, с Cygwin ?):

$ cat /usr/local/bin/utf8.sh

#!/bin/bash

INPUTFILE="$1"

iconv -f macroman -c -t UTF-8 $INPUTFILE |tr '\r' '\n' >/tmp/file.$$.csv

mv $INPUTFILE ms_trash
mv /tmp/file.$$.csv $INPUTFILE

В моем случае добавление преамбулы к файлу решило мою проблему:

var data = Encoding.UTF8.GetBytes(csv);
var result = Encoding.UTF8.GetPreamble().Concat(data).ToArray();
return File(new MemoryStream(result), "application/octet-stream", "data.csv");

вместо csv попробуйте вывести html с расширением XLS и mime-типом «application / excel». Я знаю, что это будет работать в Windows, но не могу говорить за MacOS

Это работает для меня

1. Откройте файл в BBEdit или TextWrangler *.
2. Установите файл как Unicode (UTF-16 Little-Endian) (Концы строк могут быть Unix или Windows). Сохранить!
3. В Excel: Данные> Получить внешние данные> Импортировать текстовый файл ...

Теперь ключевой момент, выберите MacIntosh в качестве источника файла (это должен быть первый выбор).

Это использует Excel 2011 (версия 14.4.2)

* В нижней части окна есть маленький выпадающий список

Решите это, используя Java (UTF-16LE с спецификацией):

String csvReportStr = getCsvReport();
byte[] data = Charset.forName("UTF-16LE").encode(csvReportStr)
    .put(0, (byte) 0xFF)
    .put(1, (byte) 0xFE)
    .array();

Обратите внимание, что файл CSV следует использовать в TABкачестве разделителя. Вы можете прочитать файл CSV как в Windows, так и в MAC OS X.

Обратитесь к разделу: Как мне кодировать / декодировать байтовые массивы UTF-16LE с помощью спецификации?