Explorando K Nearest Neighbors

KNN en Python¶

A continuación veremos cómo podemos implementar este modelo en Python. Para ello, utilizaremos la librería scikit-learn.

KNN para clasificación¶

Para ejemplificar la implementación de un KNN para clasificación utilizaremos el conjunto de datos que venimos utilizando en los módulos anteriores y que ha sido normalizado debido a que este tipo de modelos lo requiere.

Paso 1. Lectura del conjunto de datos procesado¶

El conjunto train lo utilizaremos para entrenar el modelo, mientras que con el test lo evaluaremos para medir su grado de efectividad.

Para asegurar el correcto funcionamiento de este modelo y evitar errores, la estandarización de los datos es necesaria ya que si las características no están en la misma escala, aquellas con magnitudes más grandes pueden dominar la distancia y afectar el resultado del algoritmo.

Por ejemplo, si tenemos dos características: la edad (con valores entre 0 y 100) y el ingreso anual (con valores entre 0 y 100.000), la diferencia de escala entre ambas variables podría hacer que el ingreso anual tenga un impacto desproporcionado en la distancia ignorando la importancia de la edad.

Estandarizar los datos ayuda a que todas las características contribuyan de manera equitativa a la distancia, lo que puede mejorar el rendimiento del algoritmo KNN. La elección entre normalización y estandarización Min-Max dependerá del comportamiento de las variables y de cómo afectan al rendimiento del modelo. Si tenemos características con diferentes escalas y rango, Min-Max es la mejor alternativa. Si por el contrario tienen la misma escala o similar, la normalización es la más apropiada.

A continuación visualizaremos la relación entre las variables del dataset (hemos escogido tres para realizar un gráfico 3D, ya que no podemos coger más y graficarlas; no existen los gráficos 4D):

El gráfico 3D permite analizar la separación y distribución de las clases en función de la combinatoria de las 3 variables. Claramente se observa que dado un punto y las variables predictoras seríamos capaz de, aprovechando la potencia y capacidad predictora de un modelo KNN, de realizar una precisión adecuada.

Para más información, podríamos calcular un diagrama de puntos para la relación entre las variables dos a dos (esto tendría que hacerse en el EDA):

Comparando las predictoras una a una (para que sea más gráfico y explícito) se observa mejor la separación en función de los valores de las clases. Por lo tanto, el modelo KNN es también muy apropiado para resolver el problema.

Paso 2: Inicialización y entrenamiento del modelo¶

El tiempo de entrenamiento de un modelo dependerá, en primer lugar, del tamaño del conjunto de datos (instancias y características), y también de la tipología de modelo y su configuración.

Paso 3: Predicción del modelo¶

Una vez se ha entrenado el modelo, se puede utilizar para predecir con el conjunto de datos de prueba.

Con los datos en crudo es muy complicado saber si el modelo está acertando o no. Para ello, debemos compararlo con la realidad. Existe una gran cantidad de métricas para medir la efectividad de un modelo a la hora de predecir, entre ellas la precisión (accuracy), que es la fracción de predicciones que el modelo realizó correctamente.

El modelo es perfecto!

Paso 4: Guardado del modelo¶

Una vez tenemos el modelo que estábamos buscando (presumiblemente tras la optimización de hiperparámetros), para poder utilizarlo a futuro es necesario almacenarlo en nuestro directorio, junto a la semilla.

Añadir un nombre explicativo al modelo es vital, ya que en el caso de perder el código que lo ha generado sabremos qué configuración tiene (en este caso decimos default porque no hemos personalizado ninguno de los hiperparámetros del modelo, hemos dejado los que tiene por defecto la función).

KNN para regresión¶

Para ejemplificar la implementación de un algoritmo KNN mostraremos cómo generar un conjunto de datos que satisfaga nuestras necesidades.

Paso 1. Lectura del conjunto de datos procesado¶

El conjunto train lo utilizaremos para entrenar el modelo, mientras que con el test lo evaluaremos para medir su grado de efectividad. Dividiremos también las predictoras de las características.

En la regresión también es necesario estandarizar los datos. En este caso, ya nos vienen estandarizados. Tal y como hemos hecho anteriormente, dibujaremos de nuevo el gráfico 3D y las relaciones una a una de las características del dataset generado artificialmente:

Vemos que para la mayoría de variables se establece cierto patrón diferenciador y que la regresión puede arrojar buenos resultados.

Paso 2: Inicialización y entrenamiento del modelo¶

Paso 3: Predicción del modelo¶

Una vez se ha entrenado el modelo, se puede utilizar para predecir con el conjunto de datos de prueba.

Para calcular la efectividad del modelo utilizaremos el error cuadrático medio (MSE):

El modelo está muy cerca de ser perfecto.

Paso 4: Guardado del modelo¶

Una vez tenemos el modelo que estábamos buscando (presumiblemente tras la optimización de hiperparámetros), para poder utilizarlo a futuro es necesario almacenarlo en nuestro directorio, junto a la semilla.

Añadir un nombre explicativo al modelo es vital, ya que en el caso de perder el código que lo ha generado sabremos qué configuración tiene (en este caso decimos default porque no hemos personalizado ninguno de los hiperparámetros del modelo, hemos dejado los que tiene por defecto la función).