Mejoramiento es un campo de las matemáticas que se ocupa de encontrar una buena o mejor solución entre muchos candidatos.
Es un tema fundamental importante que se requiere en el aprendizaje automático, ya que la mayoría de los algoritmos de aprendizaje automático se ajustan a los datos históricos mediante un algoritmo de optimización. Además, problemas más amplios, como la selección de modelos y el ajuste de hiperparámetros, también pueden enmarcarse como un problema de optimización.
Aunque tener cierta experiencia en optimización es fundamental para los profesionales del aprendizaje automático, puede ser un tema abrumador dado que a menudo se describe utilizando un lenguaje altamente matemático.
En esta publicación, descubrirá los mejores libros sobre optimización que serán útiles para los profesionales del aprendizaje automático.
Empecemos.
Libros sobre optimización para el aprendizaje automático
Foto de Patrick Alexander, algunos derechos reservados.
Visión general
El campo de la optimización es enorme ya que afecta a muchos otros campos de estudio.
Como tal, hay cientos de libros sobre el tema, y la mayoría son libros de texto archivados con matemáticas y pruebas. Esto es bastante justo dado que es un tema altamente matemático.
Sin embargo, hay libros que proporcionan una descripción más accesible de los algoritmos de optimización.
No todos los algoritmos de optimización son relevantes para el aprendizaje automático; en cambio, es útil centrarse en un pequeño subconjunto de algoritmos.
Francamente, es difícil agrupar los algoritmos de optimización ya que existen muchas preocupaciones. Sin embargo, es importante tener alguna idea de la optimización que subyace a los algoritmos más simples, como la regresión lineal y la regresión logística (por ejemplo, optimización convexa, mínimos cuadrados, métodos de newton, etc.) y redes neuronales (métodos de primer orden, descenso de gradiente , etc.).
Estos son algoritmos de optimización fundamentales que se tratan en la mayoría de los libros de texto de optimización.
No todos los problemas de optimización en el aprendizaje automático se comportan bien, como la optimización utilizada en AutoML y el ajuste de hiperparámetros. Por tanto, se requiere conocimiento de los algoritmos de optimización estocástica (recocido simulado, algoritmos genéticos, enjambre de partículas, etc.). Aunque se trata de algoritmos de optimización, también son un tipo de algoritmo de aprendizaje denominado computación inspirada biológicamente o inteligencia computacional.
Por lo tanto, echaremos un vistazo a los dos libros que cubren los algoritmos de optimización clásicos, así como a los libros sobre algoritmos de optimización alternativos.
De hecho, el primer libro que veremos cubre ambos tipos de algoritmos y mucho más.
Este libro fue escrito por Mykel Kochenderfer y Tim Wheeler y se publicó en 2019.
Algoritmos de optimización
Este libro podría ser uno de los pocos libros de texto que he visto que cubre ampliamente el campo de las técnicas de optimización relevantes para el aprendizaje automático moderno.
Este libro proporciona una amplia introducción a la optimización con un enfoque en algoritmos prácticos para el diseño de sistemas de ingeniería. Cubrimos una amplia variedad de temas de optimización, presentando las formulaciones de problemas matemáticos subyacentes y los algoritmos para resolverlos. Se proporcionan figuras, ejemplos y ejercicios para transmitir la intuición detrás de los diversos enfoques.
– Página xiiix, Algoritmos de optimización, 2019.
Es importante destacar que los algoritmos van desde métodos univariados (bisección, búsqueda de línea, etc.) hasta métodos de primer orden (descenso de gradiente), métodos de segundo orden (método de Newton), métodos directos (búsqueda de patrones), métodos estocásticos (recocido simulado) y métodos de población (algoritmos genéticos, enjambre de partículas) y mucho más.
Incluye tanto descripciones técnicas de algoritmos con referencias como ejemplos trabajados de algoritmos en Julia. Es una pena que los ejemplos no estén en Python, ya que esto haría que el libro fuera casi perfecto a mis ojos.
La tabla de contenido completa del libro se enumera a continuación.
- Capítulo 01: Introducción
- Capítulo 02: Derivadas y gradientes
- Capítulo 03: Horquillado
- Capítulo 04: Descenso local
- Capítulo 05: Métodos de primer orden
- Capítulo 06: Métodos de segundo orden
- Capítulo 07: Métodos directos
- Capítulo 08: Métodos estocásticos
- Capítulo 09: Métodos de población
- Capítulo 10: Restricciones
- Capítulo 11: Optimización lineal restringida
- Capítulo 12: Optimización multiobjetivo
- Capítulo 13: Planes de muestreo
- Capítulo 14: Modelos sustitutos
- Capítulo 15: Modelos sustitutos probabilísticos
- Capítulo 16: Optimización sustituta
- Capítulo 17: Optimización bajo incertidumbre
- Capítulo 18: Propagación de la incertidumbre
- Capítulo 19: Optimización discreta
- Capítulo 20: Optimización de expresiones
- Capítulo 21: Optimización multidisciplinaria
Me gusta mucho este libro; está lleno de valiosos consejos prácticos. ¡Lo recomiendo altamente!
Aprende más:
Este libro fue escrito por Jorge Nocedal y Stephen Wright y fue publicado en 2006.
Optimización numérica
Este libro se centra en las matemáticas y la teoría de los algoritmos de optimización presentados y cubre muchas de las técnicas fundamentales utilizadas por los algoritmos comunes de aprendizaje automático. Puede resultar un poco demasiado pesado para el practicante medio.
El libro está pensado como un libro de texto para estudiantes graduados en materias matemáticas.
Tenemos la intención de que este libro se utilice en cursos de posgrado en optimización, que se ofrecen en los departamentos de ingeniería, investigación de operaciones, informática y matemáticas.
– Página xviii, Optimización numérica, 2006.
Aunque es altamente matemático, las descripciones de los algoritmos son precisas y pueden proporcionar una descripción alternativa útil para complementar los otros libros enumerados.
La tabla de contenido completa del libro se enumera a continuación.
- Capítulo 01: Introducción
- Capítulo 02: Fundamentos de la optimización sin restricciones
- Capítulo 03: Métodos de búsqueda de línea
- Capítulo 04: Métodos de región de confianza
- Capítulo 05: Métodos de gradiente conjugado
- Capítulo 06: Métodos cuasi-Newton
- Capítulo 07: Optimización sin restricciones a gran escala
- Capítulo 08: Cálculo de derivados
- Capítulo 09: Optimización sin derivadas
- Capítulo 10: Problemas de mínimos cuadrados
- Capítulo 11: Ecuaciones no lineales
- Capítulo 12: Teoría de la optimización restringida
- Capítulo 13: Programación lineal: el método simplex
- Capítulo 14: Programación lineal: métodos de punto interior
- Capítulo 15: Fundamentos de algoritmos para optimización restringida no lineal
- Capítulo 16: Programación cuadrática
- Capítulo 17: Penalización y métodos lagrangianos aumentados
- Capítulo 18: Programación cuadrática secuencial
- Capítulo 19: Métodos de punto interior para programación no lineal
Es un libro de texto sólido sobre optimización.
Aprende más:
Si prefiere el enfoque teórico al tema, otro libro matemático ampliamente utilizado sobre optimización es «Optimización convexa» escrito por Stephen Boyd y Lieven Vandenberghe y publicado en 2004.
Este libro fue escrito por Andries Engelbrecht y publicado en 2007.
Inteligencia computacional: una introducción
Este libro proporciona una excelente descripción general del campo de los algoritmos de optimización inspirados en la naturaleza, también conocidos como inteligencia computacional. Esto incluye campos como la computación evolutiva y la inteligencia de enjambre.
Este libro es mucho menos matemático que los libros de texto anteriores y está más centrado en la metáfora del sistema inspirado y en cómo configurar y usar los algoritmos específicos con muchas explicaciones de pseudocódigo.
Si bien el material es de naturaleza introductoria, no rehuye los detalles y presenta los fundamentos matemáticos al lector interesado. La intención del libro no es brindar una atención completa a todos los paradigmas y algoritmos de inteligencia computacional, sino brindar una descripción general de los modelos más populares y utilizados con frecuencia.
– Página xxix, Computational Intelligence: An Introduction, 2007.
Es útil conocer algoritmos como los algoritmos genéticos, la programación genética, las estrategias evolutivas, la evolución diferencial y la optimización del enjambre de partículas para el ajuste de hiperparámetros del modelo de aprendizaje automático y quizás incluso la selección del modelo. También forman el núcleo de muchos sistemas AutoML modernos.
La tabla de contenido completa del libro se enumera a continuación.
- Parte I Introducción
- Capítulo 01: Introducción a la inteligencia computacional
- Parte II Redes neuronales artificiales
- Capítulo 02: La neurona artificial
- Capítulo 03: Redes neuronales de aprendizaje supervisado
- Capítulo 04: Redes neuronales de aprendizaje no supervisado
- Capítulo 05: Redes de funciones de base radial
- Capítulo 06: Aprendizaje por refuerzo
- Capítulo 07: Problemas de rendimiento (aprendizaje supervisado)
- Parte III Computación evolutiva
- Capítulo 08: Introducción a la computación evolutiva
- Capítulo 09: Algoritmos genéticos
- Capítulo 10: Programación genética
- Capítulo 11: Programación evolutiva
- Capítulo 12: Estrategias de evolución
- Capítulo 13: Evolución diferencial
- Capítulo 14: Algoritmos culturales
- Capítulo 15: Coevolución
- Parte IV Inteligencia computacional del enjambre
- Capítulo 16: Optimización del enjambre de partículas
- Capítulo 17: Algoritmos de hormigas
- Parte V Sistemas inmunes artificiales
- Capítulo 18: Sistema inmunológico natural
- Capítulo 19: Modelos inmunes artificiales
- Parte VI Sistemas difusos
- Capítulo 20: Conjuntos difusos
- Capítulo 21: Lógica difusa y razonamiento
Soy fanático de este libro y lo recomiendo.
Aprende más:
Resumen
En esta publicación, descubrió libros sobre algoritmos de optimización que es útil conocer para el aprendizaje automático aplicado.
¿Me perdí un buen libro sobre optimización?
Déjame saber abajo en los comentarios.
¿Ha leído alguno de los libros enumerados?
Déjame saber lo que piensas al respecto en los comentarios.