Автоматическая очистка данных

Общей проблемой является ML низкого качества данных: ошибки в значениях признаков, неправильно классифицированные экземпляры и т. Д.

Один из способов решения этой проблемы - вручную просмотреть данные и проверить, но есть ли другие способы? (Бьюсь об заклад, есть!)

Какие из них лучше и почему?

Уменьшение размерности с помощью чего-то вроде PCA было бы полезно, чтобы получить представление о количестве измерений, которые имеют решающее значение для представления ваших данных.

Чтобы проверить наличие неправильно классифицированных экземпляров, вы можете выполнить элементарную кластеризацию ваших данных с помощью k-средних, чтобы получить представление о том, насколько хорошо ваши необработанные данные будут соответствовать предложенным категориям. Хотя это и не автоматическое решение, визуализация на этом этапе была бы полезной, поскольку ваш зрительный мозг сам по себе является мощным классификатором.

С точки зрения данных, которые прямо отсутствуют, статистика имеет множество методов, чтобы уже иметь дело с этой ситуацией, в том числе вменение, получение данных из существующего набора или другого набора для заполнения пробелов.

Вы не можете действительно удалить знающего человека из цикла и ожидать разумных результатов. Это не означает, что человек должен смотреть на каждый отдельный элемент в отдельности, но в конечном итоге требуются некоторые реальные знания, чтобы узнать, являются ли резюме / графики данных разумными. (Например: может ли переменная A быть отрицательной, может ли переменная B быть больше, чем переменная A, или есть 4 или 5 вариантов выбора для категориальной переменной C?)

Как только вы ознакомитесь с данными, вы, вероятно, сможете выработать ряд правил, которые вы могли бы использовать для автоматического тестирования данных. Проблема в том, что могут возникнуть другие ошибки, о которых вы не задумывались. (Например, ошибка программирования в процессе сбора данных, которая дублирует переменную A в переменную C.)

Если вы знаете, что ваши данные не очень хороши, всегда полезно проверить и выбросы. Большую часть времени возникают аномалии.

Если у вас есть много функций, уменьшение размерности является обязательным. PCA достаточно эффективен для этого.

Если у вас отсутствуют данные, вы можете использовать вменение или интерполяцию, но если ваши потребности это позволяют, выигрышным вариантом будет использование совместной фильтрации.