Análise de cluster – Como ordenar agrupamentos

No post de análise de cluster, foram utilizados algoritmos de agrupamento para classificar dados. No entanto, os números de cluster atribuídos não têm uma ordem. Na verdade, são números apenas por conveniência – poderiam ser letras também. Quando fizer mais de uma rodada ou for comparar resultados de diferentes séries, isso acaba sendo um grande problema. Se você deseja impor uma ordem ou nomes específicos a eles, você pode rotulá-los novamente como quiser, já que isso não é função do algoritmo de agrupamento. Por exemplo, você pode classificar os centros pela coordenada X e remarcá-los.

Como o início da localização dos grupos é randômica, a combinação “cor x número do grupo” pode variar a cada rodada no gráfico. Um primeiro passo pode ser o de fixar a semente inicial através do parâmetro “random_state=0”. No entanto, se quiser que os rótulos (‘labels’) de cada grupo permaneçam em uma certa sequência, isso não garante uma correlação correta entre rótulo dado pelo algoritmo e o que você deseja.

No exemplo a seguir, é criado um vetor com as classes desejadas, que são números de 1 a 20 (‘day_classes’). Também é criado um vetor com os números dos clusters calculados pelo algoritmo, que são de 0 a 19 (‘cluster_numbers’) e calculado outro vetor com as médias da variável ‘qs’ para cada agrupamento (‘mean_classes’), posteriormente unidos em um dicionário. Cada item desse dicionário é composto por chave (número do agrupamento) e valor (média de ‘qs’ do agrupamento). Posteriormente, ele é ordenado pelo valor de ‘qs’ e extraída uma lista somente com as chaves (‘before’). O vetor ‘after’ será o ordenamento final, formado pelo vetor de classes desejadas.

Para renomear as classes originais dos agrupamentos (‘before’) para a nova sequência desejada (‘after’) diretamente na coluna de rótulos do dataframe original (df[‘label’]), deve ser criada uma máscara indicando a posição de cada número (‘mdk’). Em seguida, essa máscara é aplicada na coluna com os rótulos originais. Pronto, a dataframe está com os rótulo redefinidos – nesse caso, seguindo uma ordem de 1 a 20 conforme o valor de uma das variáveis.

O método definido a seguir recebe a dataframe contendo os dados a serem agrupados e uma lista com o nome das colunas a serem utilizadas (duas ou três variáveis). São fixados 20 agrupamentos, cujas variáveis são selecionadas da dataframe e servem de entrada para o método de cálculo do k-means. Os rótulos são guardados em uma coluna da dataframe, que é renomeada conforme já foi descrito. Por fim, são feitos gráficos das variáveis, com opções 2D e 3D (as cores indicam o número de cada classe).

Veja como agora os valores médios de QS ordenados definem os números das classes calculadas pelo algoritmo k-means (antes e depois):

Agrupamentos numerados aleatoriamente, de 0 a 19
Agrupamentos numerados aleatoriamente, de 0 a 19
Agrupamentos reordenados conforme valores médios de QS, de 1 a 20
Agrupamentos reordenados conforme valores médios de QS, de 1 a 20

Uma forma alternativa de realizar essa reordenação pode ser vista no Stackoverflow – How to set k-Means clustering labels from highest to lowest with Python?