Jenks Natural Breaks в Python: как найти оптимальное количество перерывов?

Я нашел эту реализацию Python в Дженкс Natural Breaks алгоритма , и я мог бы сделать его запустить на моем компьютере Windows 7. Это довольно быстро, и он находит разрывы за короткое время, учитывая размер моих геоданных. Прежде чем использовать этот алгоритм кластеризации для моих данных, я использовал sklearn.clustering.KMeans (здесь) алгоритм. Проблема, с которой я столкнулся с KMeans, заключалась в поиске оптимального параметра значения K, но я «решил» его, запустив алгоритм для различных значений K и используя sklearn.metrics.silhouette_score (здесь), чтобы найти лучший K.

Мой вопрос: если я скажу алгоритму Natural Breaks найти 5 классов (это будет K), как я могу быть уверен, что это количество классов, которые лучше всего соответствуют моим данным? Как проверить, что я выбираю лучшее количество перерывов?

Благодарность!

Jenks Natural Breaks работает, оптимизируя Goodness of Variance Fit, значение от 0 до 1, где 0 = No Fit и 1 = Perfect Fit. Ключ при выборе количества классов - найти баланс между обнаружением различий и переоснащением ваших данных. Чтобы определить оптимальное количество классов, я предлагаю вам использовать желаемое пороговое значение GVF и сначала использовать количество классов, которое удовлетворяет этому значению.

Ниже приведена функция для вычисления Goodness of Variance Fit с учетом массива значений для классификации и количества выбранных классов:

from jenks import jenks
import numpy as np
def goodness_of_variance_fit(array, classes):
    # get the break points
    classes = jenks(array, classes)

    # do the actual classification
    classified = np.array([classify(i, classes) for i in array])

    # max value of zones
    maxz = max(classified)

    # nested list of zone indices
    zone_indices = [[idx for idx, val in enumerate(classified) if zone + 1 == val] for zone in range(maxz)]

    # sum of squared deviations from array mean
    sdam = np.sum((array - array.mean()) ** 2)

    # sorted polygon stats
    array_sort = [np.array([array[index] for index in zone]) for zone in zone_indices]

    # sum of squared deviations of class means
    sdcm = sum([np.sum((classified - classified.mean()) ** 2) for classified in array_sort])

    # goodness of variance fit
    gvf = (sdam - sdcm) / sdam

    return gvf

def classify(value, breaks):
    for i in range(1, len(breaks)):
        if value < breaks[i]:
            return i
    return len(breaks) - 1

Например, предположим, вы решили, что GVF должен быть не менее 0,8, тогда вы можете увеличивать количество классов, пока GVF не будет удовлетворен:

gvf = 0.0
nclasses = 2
while gvf < .8:
    gvf = goodness_of_variance_fit(array, nclasses)
    nclasses += 1