C # Преобразование строки из UTF-8 в ISO-8859-1 (Latin1) H

104

Я погуглил по этой теме и просмотрел все ответы, но до сих пор не понимаю.

В основном мне нужно преобразовать строку UTF-8 в ISO-8859-1, и я делаю это, используя следующий код:

Encoding iso = Encoding.GetEncoding("ISO-8859-1");
Encoding utf8 = Encoding.UTF8;
string msg = iso.GetString(utf8.GetBytes(Message));

Моя исходная строка

Message = "ÄäÖöÕõÜü"

Но, к сожалению, моя строка результата становится

msg = "�ä�ö�õ�ü

Что я здесь делаю не так?

Даниил Харик
источник
5
Все строки в .NET внутренне хранят строки с использованием символов Юникода. Нет понятия, что строка является "windows-1252", "iso-8859-1", "utf-8" и т. Д. Вы пытаетесь выбросить из своей строки какие-либо символы, не представленные в Windows? -1252 кодовая страница?
Ян Бойд
1
@IanBoyd Фактически, String представляет собой подсчитанную последовательность кодовых единиц UTF-16. (К сожалению, термин Unicode был неправильно использован Encoding.Unicodeв Win32 API. Юникод - это набор символов, а не кодировка. UTF-16 - одна из нескольких кодировок для Unicode.)
Том Блоджет,
1
Вы делаете некорректное действие: делаете массив байтов в кодировке utf8, но читаете их с помощью iso decode. Если вы хотите создать строку с закодированными символами, это простая строка
StuS
Это называется моджибаке.
Rick James
Я предполагаю, что Даниил говорит, что это Messageбыло декодировано из UTF-8. Предполагая, что эта часть работает правильно, преобразование в Latin-1 так же просто, как byte[] bytes = Encoding.GetEncoding("ISO-8859-1").GetBytes(Message). Затем, как говорит StuS, вы можете преобразовать байты Latin-1 обратно в UTF-16 с помощьюEncoding.GetEncoding("ISO-8859-1").GetString(bytes)
Qwertie

Ответы:

177

Используйте Encoding.Convert, чтобы настроить массив байтов, прежде чем пытаться декодировать его в целевую кодировку.

Encoding iso = Encoding.GetEncoding("ISO-8859-1");
Encoding utf8 = Encoding.UTF8;
byte[] utfBytes = utf8.GetBytes(Message);
byte[] isoBytes = Encoding.Convert(utf8, iso, utfBytes);
string msg = iso.GetString(isoBytes);
Натан Баулч
источник
7
Один лайнерEncoding.GetEncoding("ISO-8859-1").GetString(Encoding.Convert(Encoding.UTF8, Encoding.GetEncoding("ISO-8859-1"), Encoding.UTF8.GetBytes(myString)))
1
Если вы сами создаете строку внутри C # /. Net, то этот код не на 100% правильный, вам нужно кодировать из UTF-16 (который является переменной «Unicode»). Потому что это по умолчанию. Поэтому UTF8 в приведенном выше коде нужно изменить на Unicode.
goamn 01
Я рекомендую использовать это: Encoding iso = Encoding.GetEncoding ("ISO-8859-9"); Потому что турецкая кодировка охватывает почти весь алфавит, заимствованный из латиницы.
Fuat
27

Я думаю, ваша проблема в том, что вы предполагаете, что байты, представляющие строку utf8, приведут к той же строке при интерпретации как что-то еще (iso-8859-1). А это просто не так. Я рекомендую вам прочитать эту отличную статью Джоэла Спольски.

Клаус Бысков Педерсен
источник
1
Действительно отличная статья и с чувством юмора! Сегодня я столкнулся с проблемой кодирования на работе, и это помогло мне.
Pantelis
16

Попробуй это:

Encoding iso = Encoding.GetEncoding("ISO-8859-1");
Encoding utf8 = Encoding.UTF8;
byte[] utfBytes = utf8.GetBytes(Message);
byte[] isoBytes = Encoding.Convert(utf8,iso,utfBytes);
string msg = iso.GetString(isoBytes);
Ману
источник
почему я получаю такое же сообщение utf-8? вместо сообщения я передал строку message = <name> sdjfhsjdf </name>. затем тот же вывод попадает в msg varieable. как получить латинские данные?
user1237131 09
У меня это работает. Не забудьте включить пространство имен System.Text.
Spawnrider 03
2
Encoding.Convert генерирует резервное исключение при преобразовании, если строка содержит символы, отличные от iso
Tertium
8

В первую очередь вам нужно исправить источник строки.

Строка в .NET на самом деле представляет собой просто массив 16-битных кодовых точек Юникода, символов, поэтому строка не находится в какой-либо конкретной кодировке.

Когда вы берете эту строку и преобразуете ее в набор байтов, в игру вступает кодирование.

В любом случае, как вы это сделали, закодировав строку в массив байтов с одним набором символов, а затем декодировав ее другим, как видите, не сработает.

Не могли бы вы рассказать нам подробнее, откуда взялась эта исходная строка и почему, по вашему мнению, она была неправильно закодирована?

Лассе В. Карлсен
источник
Он идет прямо из App.config, и я думал, что по умолчанию это UTF8. Спасибо!
Даниил Харик
Кодировка этого файла может повлиять на его интерпретацию, поэтому я бы посмотрел на это.
Лассе В. Карлсен
2
Поправьте меня, если я ошибаюсь, но я понимаю, что, хотя технически это «не в какой-либо конкретной кодировке», строка .NET представляет собой массив байтов, который точно соответствует файлу UTF-16, байт за байтом (исключая спецификацию). Он даже использует суррогаты таким же образом (что похоже на трюк с кодированием). Конечно, вы обычно хотите хранить файлы как UTF-8, но обрабатывать данные в памяти как 16-битные. (Или 32-битный, чтобы избежать сложности суррогатных пар, хотя я не уверен, действительно ли это возможно.)
Джон Кумбс
6

Кажется немного странным код. Чтобы получить строку из потока байтов Utf8, все, что вам нужно сделать, это:

string str = Encoding.UTF8.GetString(utf8ByteArray);

Если вам нужно где-то сохранить поток байтов iso-8859-1, просто используйте: дополнительную строку кода для предыдущего:

byte[] iso88591data = Encoding.GetEncoding("ISO-8859-1").GetBytes(str);
Сандер А
источник
1
Это, безусловно, самый простой ответ. Проблема в коде действительно состоит в том, что автор, кажется, предполагает, что String в C # уже может быть сохранен «с использованием» определенной кодировки, что попросту неверно; они всегда внутри UTF16.
Nyerguds
1
Полностью согласен. Когда у вас уже есть UTF-16, довольно сложно преобразовать его в правильную кодировку, потому что при преобразовании массива байтов в строку с неправильной кодировкой уже происходит потеря информации.
Sander A
0

Просто использовал раствор Натана, и он отлично работает. Мне нужно было преобразовать ISO-8859-1 в Unicode:

string isocontent = Encoding.GetEncoding("ISO-8859-1").GetString(fileContent, 0, fileContent.Length);
byte[] isobytes = Encoding.GetEncoding("ISO-8859-1").GetBytes(isocontent);
byte[] ubytes = Encoding.Convert(Encoding.GetEncoding("ISO-8859-1"), Encoding.Unicode, isobytes);
return Encoding.Unicode.GetString(ubytes, 0, ubytes.Length);
Николай Нита
источник
0
Encoding targetEncoding = Encoding.GetEncoding(1252);
// Encode a string into an array of bytes.
Byte[] encodedBytes = targetEncoding.GetBytes(utfString);
// Show the encoded byte values.
Console.WriteLine("Encoded bytes: " + BitConverter.ToString(encodedBytes));
// Decode the byte array back to a string.
String decodedString = Encoding.Default.GetString(encodedBytes);
Томаш Описание
источник
-5

Вот образец для ISO-8859-9;

protected void btnKaydet_Click(object sender, EventArgs e)
{
    Response.Clear();
    Response.Buffer = true;
    Response.ContentType = "application/vnd.openxmlformatsofficedocument.wordprocessingml.documet";
    Response.AddHeader("Content-Disposition", "attachment; filename=XXXX.doc");
    Response.ContentEncoding = Encoding.GetEncoding("ISO-8859-9");
    Response.Charset = "ISO-8859-9";
    EnableViewState = false;


    StringWriter writer = new StringWriter();
    HtmlTextWriter html = new HtmlTextWriter(writer);
    form1.RenderControl(html);


    byte[] bytesInStream = Encoding.GetEncoding("iso-8859-9").GetBytes(writer.ToString());
    MemoryStream memoryStream = new MemoryStream(bytesInStream);


    string msgBody = "";
    string Email = "mail@xxxxxx.org";
    SmtpClient client = new SmtpClient("mail.xxxxx.org");
    MailMessage message = new MailMessage(Email, "mail@someone.com", "ONLINE APP FORM WITH WORD DOC", msgBody);
    Attachment att = new Attachment(memoryStream, "XXXX.doc", "application/vnd.openxmlformatsofficedocument.wordprocessingml.documet");
    message.Attachments.Add(att);
    message.BodyEncoding = System.Text.Encoding.UTF8;
    message.IsBodyHtml = true;
    client.Send(message);}
Энгин Камарот
источник