Действительно хороший, плохой пример тестовых данных UTF-8 [закрыто]

88

Итак, у нас есть шпаргалка по XSS для проверки нашей фильтрации XSS - но кроме примера безобидной страницы я не могу найти никаких злонамеренных или искаженных тестовых данных, чтобы убедиться, что мой код UTF-8 может обрабатывать данные с некорректным поведением.

Где я могу найти хорошие ... плохие данные для тестирования? Или что такое хитрая последовательность символов?

unicode utf-8 Xeoncross
источник
4
columbia.edu/kermit/utf8.html - еще один хороший
Xeoncross
3
cl.cam.ac.uk/~mgk25/ucs/examples/quickbrown.txt
Xeoncross
14
ă ծ ềſģȟ Ꭵ𝒋 ǩľḿꞑȯ𝘱𝑞𝗋𝘴ȶ𝞄𝜈ψ𝒙𝘆𝚣1234567890! @ # $% ^ & * () -_ = + [{]} ;: '", <.> /? ~𝘈Ḇ𝖢𝕯٤ḞԍНǏ𝙅ƘԸⲘ𝙉০Ρ𝗤Ɍ𝓢ȚЦ𝒱Ѡ𝓧ƳȤѧᖯć𝗱ễ𝑓𝙜Ⴙ𝞲𝑗𝒌ļṃʼnо𝞎𝒒ᵲꜱ𝙩ừ𝗏ŵ𝒙𝒚ź1234567890!@#$%^&*()-_=+[{]};:'",<.>/?~ АḂ Ⲥ𝗗𝖤𝗙 ꞠꓧȊ𝐉𝜥ꓡ𝑀𝑵Ǭ𝙿𝑄Ŗ𝑆𝒯𝖴𝘝𝘞ꓫŸ𝜡ả𝘢ƀ𝖼ḋếᵮℊ𝙝 Ꭵ𝕛 кιṃ դ ⱺ𝓅𝘲𝕣𝖘ŧ𝑢ṽẉ𝘅 ყ ž1234567890! @ # $% ^ & * () -_ = + [{]}; : '", <.> /? ~Ѧ𝙱ƇᗞΣℱԍҤ١𝔍К𝓛𝓜ƝȎ𝚸𝑄Ṛ𝓢ṮṺƲᏔꓫ𝚈𝚭𝜶Ꮟçძ𝑒𝖿𝗀ḧ𝗂𝐣ҝɭḿ𝕟𝐨𝝔𝕢ṛ𝓼тú𝔳ẃ⤬𝝲𝗓1234567890!@#$%^&*()-_=+[{]};:'",<.>/?~ 𝖠Β𝒞𝘋𝙴𝓕ĢȞỈ𝕵ꓗʟ𝙼ℕ০𝚸𝗤 Հꓢ ṰǓⅤ𝔚 Ⲭ𝑌𝙕𝘢𝕤
Эндрю

Ответы:

98

Ознакомьтесь с стресс-тестом декодера UTF-8 Маркуса Куна

zildjohn01
источник
1
Хотя вы не приложили для этого никаких усилий - эта страница - именно то, что я искал. ;)
Xeoncross
75
Не забывайте, что знание того, где найти ответ, зачастую так же важно, как и его знание.
Джонатан Леффлер,
19
Я предупреждаю вас, что его тест основан на устаревшем определении UTF-8, когда были разрешены 5- и 6-байтовые последовательности до того, как самолеты 17 и выше были удалены. И это означает, что кодовые точки U + FFFE и U + FFFF недействительны в UTF-8, тогда как согласно консорциуму Unicode они не являются
Саймон Киссейн
35

См. Также Как файлу с китайскими символами известно, сколько байтов использовать на символ? - без сомнения, есть и другие SO-вопросы, которые также могут помочь.

В UTF-8 вы получаете следующие типы байтов:

Binary    Hex          Comments
0xxxxxxx  0x00..0x7F   Only byte of a 1-byte character encoding
10xxxxxx  0x80..0xBF   Continuation bytes (1-3 continuation bytes)
110xxxxx  0xC0..0xDF   First byte of a 2-byte character encoding
1110xxxx  0xE0..0xEF   First byte of a 3-byte character encoding
11110xxx  0xF0..0xF4   First byte of a 4-byte character encoding

(Последняя строка выглядит так, как будто она должна читать 0xF0..0xF7; однако 21-битный диапазон Unicode (U + 0000 - U + 10FFFF) означает, что максимальное допустимое значение - 0xF4; значения 0xF5..0xF7 не могут встречаться в действительный UTF-8.)

Проверка того, является ли конкретная последовательность байтов допустимой для UTF-8, означает, что вам нужно подумать о:

  • Байты продолжения появляются там, где не ожидалось
  • Появление байтов, не являющихся продолжением, там, где ожидается байт продолжения
  • Неполные символы в конце строки (вариант «ожидаемого байта продолжения»)
  • Неминимальные последовательности
  • Суррогаты UTF-16

В допустимом UTF-8 байты 0xF5..0xFF не могут встречаться.

Неминимальные последовательности

Для некоторых символов существует несколько возможных представлений. Например, символ Unicode U + 0000 (ASCII NUL) может быть представлен следующим образом:

0x00
0xC0 0x80
0xE0 0x80 0x80
0xF0 0x80 0x80 0x80

Однако в стандарте Unicode четко указано, что последние три альтернативы неприемлемы, поскольку они не минимальны. Так получилось, что байты 0xC0 и 0xC1 никогда не могут появиться в допустимом UTF-8, потому что единственные символы, которые могут быть закодированы ими, минимально закодированы как однобайтовые символы в диапазоне 0x00..0x7F.

Суррогаты UTF-16

В базовой многоязычной плоскости (BMP) значения Unicode U + D800 - U + DFFF зарезервированы для суррогатов UTF-16 и не могут отображаться в кодировке действительного UTF-8. Если бы они были действительны в UTF-8 (что, я подчеркиваю, нет), то суррогаты были бы закодированы:

  • U + D800 - 0xED 0xA0 0x80 (наименьший старший суррогат)
  • U + DBFF - 0xED 0xAF 0xBF (самый большой старший суррогат)
  • U + DC00 - 0xED 0xB0 0x80 (наименьший младший суррогат)
  • U + DFFF - 0xED 0xBF 0xBF (самый большой младший суррогат)

Плохие данные

Итак, ваши данные BAD должны содержать образцы, нарушающие эти различные предписания.

  • Байт продолжения, которому не предшествует одно из начальных значений байта
  • Многосимвольные начальные байты, за которыми не следует достаточное количество байтов продолжения
  • Неминимальные многобайтовые символы
  • Суррогаты UTF-16
  • Неверные байты (0xC0, 0xC1, 0xF5..0xFF).

Обратите внимание, что метка порядка байтов (BOM) U + FEFF, также известная как неразрывный пробел нулевой ширины (ZWNBSP), не может отображаться незакодированной в UTF-8 - байты 0xFF и 0xFE не разрешены в допустимом UTF-8. Закодированный ZWNBSP может отображаться в файле UTF-8 как 0xEF 0xBB 0xBF, но BOM полностью излишни в UTF-8.

В Юникоде также есть некоторые несимволы . U + FFFE и U + FFFF - два таких несимвола (и последние две кодовые точки в каждой плоскости, U + 1FFFE, U + 1FFFF, U + 2FFFE, U + 2FFFF, ... U + 10FFFE, U + 10FFFF - другие ). Обычно они не должны появляться в данных Unicode для обмена данными, но могут появляться при частном использовании. См. Ссылку на часто задаваемые вопросы по Unicode для получения множества грязных подробностей, включая довольно сложную историю несимволов в Unicode. ( Исправление № 9: Разъяснение о несимволах , выпущенное в январе 2013 года, делает то, что предполагает его название - разъясняет значение несимволов .)

Джонатан Леффлер
источник
Спасибо за этот отличный список. Сейчас я планирую изучить каждый из них более подробно.
Xeoncross
3
Комментарий о том, что несимволы «не должны появляться в данных в кодировке UTF-8», вводит в заблуждение. Несимволы не должны появляться в данных в кодировке UTF-8, предназначенных для открытого обмена , но, тем не менее, должны приниматься кодировщиками / декодерами UTF-8
Саймон Киссан
@SimonKissane: Похоже, я был одним из многих, кого смутило status quo ante Corrigendum # 9 , которое было выпущено в январе 2013 года. Целый раздел Unicode FAQ, посвященный несимвольным символам , стоит прочитать. Спасибо за информацию. (Я также отмечу, что в моих комментариях написано `` следует '', что согласуется с тем, что сказано в стандарте Unicode (но не `` говорит ''); намерение состоит в том, что они не должны появляться в `` открытом обмене '', а могут использоваться для `` внутреннего использования '' '.)
Джонатан Леффлер,
1
@AdrianMaire: см. Таблицу 3.6 в главе 3 стандарта Unicode (9.0.0) (номер страницы 125; p54 файла PDF). Я не уверен, с какими еще источниками вы консультируетесь, но я думаю, что сказанное мной отражено в этой таблице.
Джонатан Леффлер
@JonathanLeffler Вы на 100% правы, спасибо за ссылку.
Адриан Мэйр
17

Вы можете использовать этот удобный онлайн-инструмент от Джеффри Бергамини для преобразования любого текста в действительно странную строку гомоглифов UTF8.

Типичный

Lorem ipsum dolor sit amet, conctetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.

стать таким:

Ë ȋṕšᶙṁ ḍỡḽǭᵳ ʂǐť ӓṁệẗ, čįɳġ ​​ḝłįʈ, ᶁⱺ ẽḭŭŝḿꝋď ṫĕᶆᶈṓɍ ñḉīḑȋᵭṵńť ṷŧ ḹẩḇőꝛế éȶ đꝍꞎôꝛȇ áꞡᶇā îɋṹẵ.

Шебука
источник
6
Я полагаю, это потому, что это не очень помогает тестировать UTF8: вы не получаете ничего близкого к полному набору случаев, нет «плохих» случаев, и формат не очень полезен для тестирования. Это всего лишь способ получить странных персонажей.
Адриан Мэйр
Ты это пробовал? Этот генератор не для развлечения. Он дает вам символы из полного диапазона UTF-8, и поскольку они странно похожи на фактические символы, вы можете «увидеть», какие символы вызывают проблемы. В примере, который я опубликовал, мой iPhone отображает 6 символов в виде вопросительных знаков в рамке.
Шебука 02
4
ИМО, этот замечательный инструмент мог бы быть очень хорошей «добавленной стоимостью» к объяснению, но он не подходит как ответ сам по себе в SO (также потому, что страница может быть прекращена). Во всяком случае, я согласен, что -1 без объяснения причин не очень конструктивно.
Адриан Мэйр
Итак, это «хорошие, хорошие примерные тестовые данные UTF-8» ... заслуживающие одобрения, поскольку это касается, ИМО
Рондо
2

С верхней части моей головы:

0xff и 0xfe

Одиночные байты старшего разряда

Многобайтовое представление младших байтовых символов - хороший способ скрыть пустые значения после ранних проверок

Метки порядка байтов - вы собираетесь их игнорировать?

NFC против NFD

Дуглас Лидер
источник