Esta mañana, repasando mis apuntes de Machine Learning, y justo en la sección de «selección de características», me he vuelto a encontrar un concepto con un nombre difícil de olvidar:
La maldición de la dimensionalidad
(Disclaimer: no es una película de Woody Allen).
Y lo curioso es que detrás de un nombre tan dramático como ese, hay una idea bastante contraintuitiva.
Básicamente, cuando construimos un modelo, parece lógico pensar que «cuanta más información le proporcionemos, mejor».
Más características -> más información sobre cada observación -> más posibilidades de encontrar patrones.
Pues no siempre funciona así.
Según añadimos características, también aumentamos las dimensiones del espacio en el que trabaja el modelo. Y ese espacio crece muchísimo más rápido de lo que podríamos esperar.
Los datos quedan cada vez más dispersos. Encontrar patrones puede hacerse más difícil y podemos necesitar muchos más datos para representar ese espacio. Algunas características aportan poco o se limitan a introducir ruido. Y nuestro modelo con más información puede terminar generalizando peor que otro más sencillo.
Por eso, seleccionar características no consiste simplemente en «quitar columnas para hacer el modelo más pequeño».
Entonces, la pregunta que realmente deberíamos hacernos es:
¿Qué información necesita realmente el modelo para aprender?
Mañana, más ideas obvias de ML… justo después de entenderlas.
Deja una respuesta