Игнорирование акцентированных букв при сравнении строк

145

Мне нужно сравнить 2 строки в C # и рассматривать буквы с диакритическими знаками так же, как буквы без диакритических знаков. Например:

string s1 = "hello";
string s2 = "héllo";

s1.Equals(s2, StringComparison.InvariantCultureIgnoreCase);
s1.Equals(s2, StringComparison.OrdinalIgnoreCase);

Эти две строки должны быть одинаковыми (что касается моего приложения), но оба этих утверждения оцениваются как ложные. Есть ли способ сделать это в C #?

Джон Тэкабери
источник

Ответы:

257

РЕДАКТИРОВАТЬ 2012-01-20: О, мальчик! Решение было намного проще и оставалось в рамках почти навсегда. Как указывает knightpfhor :

string.Compare(s1, s2, CultureInfo.CurrentCulture, CompareOptions.IgnoreNonSpace);

Вот функция, которая удаляет диакритические знаки из строки:

static string RemoveDiacritics(string text)
{
  string formD = text.Normalize(NormalizationForm.FormD);
  StringBuilder sb = new StringBuilder();

  foreach (char ch in formD)
  {
    UnicodeCategory uc = CharUnicodeInfo.GetUnicodeCategory(ch);
    if (uc != UnicodeCategory.NonSpacingMark)
    {
      sb.Append(ch);
    }
  }

  return sb.ToString().Normalize(NormalizationForm.FormC);
}

Подробнее в блоге MichKap ( RIP ... ).

Принцип состоит в том, что он превращает «é» в два последовательных символа «е» с ударением. Затем он перебирает символы и пропускает диакритические знаки.

«héllo» становится «he <acute> llo», которое, в свою очередь, становится «hello».

Debug.Assert("hello"==RemoveDiacritics("héllo"));

Примечание. Вот более компактная версия той же функции, совместимая с .NET4 +:

static string RemoveDiacritics(string text)
{
  return string.Concat( 
      text.Normalize(NormalizationForm.FormD)
      .Where(ch => CharUnicodeInfo.GetUnicodeCategory(ch)!=
                                    UnicodeCategory.NonSpacingMark)
    ).Normalize(NormalizationForm.FormC);
}
Серж Вотье
источник
1
Как это сделать в ядре .NET, если его нет string.Normalize?
Андре Соарес
Спасибо за это, я хотел бы проголосовать больше одного раза! Однако он не обрабатывает все буквы с диакритическими знаками, например ð, ħ и ø не преобразуются в o, h и o соответственно. Есть ли способ справиться и с этим?
Аврохом Исроэль
@AvrohomYisroel "ð" - это "латинская строчная буква Eth", которая является отдельной буквой, а не "o-with-accent" или "d-with-accent". Остальные - это «Латинская строчная буква H с обводкой» и «Латинская строчная буква O с обводкой», которые также можно рассматривать как отдельные буквы
Ханс
139

Если вам не нужно преобразовывать строку, и вы просто хотите проверить равенство, вы можете использовать

string s1 = "hello";
string s2 = "héllo";

if (String.Compare(s1, s2, CultureInfo.CurrentCulture, CompareOptions.IgnoreNonSpace) == 0)
{
    // both strings are equal
}

или если вы хотите, чтобы сравнение также было нечувствительным к регистру

string s1 = "HEllO";
string s2 = "héLLo";

if (String.Compare(s1, s2, CultureInfo.CurrentCulture, CompareOptions.IgnoreNonSpace | CompareOptions.IgnoreCase) == 0)
{
    // both strings are equal
}
рыцарь
источник
1
Если кому-то еще интересно узнать об этой опции IgnoreNonSpace, вы можете прочитать ее обсуждение. pcreview.co.uk/forums/accent-insensitive-t3924592.html TL ; DR ; это нормально :)
Джим В. говорит, что
на msdn: «Стандарт Unicode определяет комбинирование символов как символов, которые объединяются с базовыми символами для создания нового символа. Комбинируемые символы без интервала сами по себе не занимают позицию интервала при визуализации».
Avlin
хорошо, этот метод не удался для этих двух строк: tarafli / TARAFLİ, однако SQL-сервер говорит, что равняется, как и должно быть
MonsterMMORPG
3
Это связано с тем, что обычно SQL Server настроен без учета регистра, но по умолчанию сравнения в .Net чувствительны к регистру. Я обновил ответ, чтобы показать, как сделать этот регистр нечувствительным.
knightpfhor
Я пытаюсь создать IEqualityComparer. Он должен предоставлять GetHashCode ... Как вы это получили (он должен быть таким же, если он равен)
Yepeekai
5

Следующий метод CompareIgnoreAccents(...)работает с данными вашего примера. Вот статья, в которой я получил свою справочную информацию: http://www.codeproject.com/KB/cs/EncodingAccents.aspx

private static bool CompareIgnoreAccents(string s1, string s2)
{
    return string.Compare(
        RemoveAccents(s1), RemoveAccents(s2), StringComparison.InvariantCultureIgnoreCase) == 0;
}

private static string RemoveAccents(string s)
{
    Encoding destEncoding = Encoding.GetEncoding("iso-8859-8");

    return destEncoding.GetString(
        Encoding.Convert(Encoding.UTF8, destEncoding, Encoding.UTF8.GetBytes(s)));
}

Я думаю, что лучше использовать метод расширения:

public static string RemoveAccents(this string s)
{
    Encoding destEncoding = Encoding.GetEncoding("iso-8859-8");

    return destEncoding.GetString(
        Encoding.Convert(Encoding.UTF8, destEncoding, Encoding.UTF8.GetBytes(s)));
}

Тогда использование будет таким:

if(string.Compare(s1.RemoveAccents(), s2.RemoveAccents(), true) == 0) {
   ...
Райан Кук
источник
1
это делает букву с ударением на '?'
onmyway133 07
4
Это деструктивное сравнение, где, например, ā и ē будут считаться равными. Вы теряете любые символы выше 0xFF, и нет гарантии, что строки равны, игнорируют акценты.
Авель
Вы также теряете такие вещи, как ñ. Не решение, если вы спросите меня.
Игнасио Солер Гарсия
5

Мне пришлось сделать что-то подобное, но с методом StartsWith. Вот простое решение, полученное на основе @Serge - appTranslator.

Вот способ расширения:

    public static bool StartsWith(this string str, string value, CultureInfo culture, CompareOptions options)
    {
        if (str.Length >= value.Length)
            return string.Compare(str.Substring(0, value.Length), value, culture, options) == 0;
        else
            return false;            
    }

И для одних лайнеров уродов;)

    public static bool StartsWith(this string str, string value, CultureInfo culture, CompareOptions options)
    {
        return str.Length >= value.Length && string.Compare(str.Substring(0, value.Length), value, culture, options) == 0;
    }

Нечувствительный к акценту и нечувствительный к регистру startWith можно назвать так

value.ToString().StartsWith(str, CultureInfo.InvariantCulture, CompareOptions.IgnoreNonSpace | CompareOptions.IgnoreCase)
Guish
источник
0

Более простой способ убрать акценты:

    Dim source As String = "áéíóúç"
    Dim result As String

    Dim bytes As Byte() = Encoding.GetEncoding("Cyrillic").GetBytes(source)
    result = Encoding.ASCII.GetString(bytes)
Ньютон Карлос Дантас
источник
-3

попробуйте эту перегрузку в методе String.Compare.

Метод String.Compare (String, String, Boolean, CultureInfo)

Он создает значение типа int на основе операций сравнения, включая культуру. пример на странице сравнивает "Изменить" в en-US и en-CZ. CH в en-CZ - это одна буква.

пример по ссылке

using System;
using System.Globalization;

class Sample {
    public static void Main() {
    String str1 = "change";
    String str2 = "dollar";
    String relation = null;

    relation = symbol( String.Compare(str1, str2, false, new CultureInfo("en-US")) );
    Console.WriteLine("For en-US: {0} {1} {2}", str1, relation, str2);

    relation = symbol( String.Compare(str1, str2, false, new CultureInfo("cs-CZ")) );
    Console.WriteLine("For cs-CZ: {0} {1} {2}", str1, relation, str2);
    }

    private static String symbol(int r) {
    String s = "=";
    if      (r < 0) s = "<";
    else if (r > 0) s = ">";
    return s;
    }
}
/*
This example produces the following results.
For en-US: change < dollar
For cs-CZ: change > dollar
*/

поэтому для языков с акцентом вам нужно будет получить культуру, а затем протестировать строки на ее основе.

http://msdn.microsoft.com/en-us/library/hyxc48dt.aspx


источник
Это лучший подход, чем прямое сравнение строк, но он по-прежнему считает, что базовая буква и ее версия с акцентом отличаются . Следовательно, он не отвечает на исходный вопрос, в котором акценты игнорировались.
CB