Introducción al Aprendizaje Estadístico

Apuntes sobre los fundamentos y modelos del aprendizaje estadístico, incluyendo modelos lineales, redes neuronales profundas y modelos no paramétricos.

Aprendizaje Automático · Universidad Politécnica de Valencia · Grado en Ingeniería Informática · Escuela Técnica Superior de Ingeniería Informática · 4.º curso

7 páginas · 6 temas · 30 flashcards · 30 preguntas tipo test

Índice

  1. 1. Introducción al Aprendizaje Automático · p. 2
  2. 2. Fundamentos: Probabilidad, Estadística y Optimización · p. 3
  3. 3. Modelos Lineales · p. 4
  4. 4. Redes Neuronales Profundas · p. 5
  5. 5. Modelos No Paramétricos · p. 6
  6. 6. Más Allá del Aprendizaje Supervisado · p. 7

1. Introducción al Aprendizaje Automático

Flashcards

¿Qué es el aprendizaje automático?
Es la capacidad de las máquinas para aprender de los datos sin ser programadas explícitamente.
¿Qué es el aprendizaje supervisado?
Es un tipo de aprendizaje donde el algoritmo aprende de datos etiquetados.
¿Qué es el aprendizaje no supervisado?
Es un tipo de aprendizaje donde el algoritmo identifica patrones en datos no etiquetados.
¿Qué es el aprendizaje por refuerzo?
Es un tipo de aprendizaje donde un agente aprende a tomar decisiones maximizando una recompensa.

Preguntas tipo test

  1. ¿Cuál de las siguientes opciones describe mejor el objetivo principal del aprendizaje automático?
    • a) Desarrollar algoritmos que repliquen el comportamiento humano.
    • b) Permitir que las máquinas aprendan de los datos sin ser programadas explícitamente.
    • c) Crear programas informáticos que sigan reglas predefinidas.
    • d) Automatizar tareas repetitivas en la industria manufacturera.

    Respuesta: b) Permitir que las máquinas aprendan de los datos sin ser programadas explícitamente.. El aprendizaje automático se centra en desarrollar algoritmos que permiten a las máquinas aprender de los datos, identificar patrones y tomar decisiones con mínima intervención humana.

  2. ¿Cuál de los siguientes es un tipo de aprendizaje automático donde el algoritmo aprende de datos etiquetados?
    • a) Aprendizaje no supervisado.
    • b) Aprendizaje por refuerzo.
    • c) Aprendizaje supervisado.
    • d) Reducción de la dimensionalidad.

    Respuesta: c) Aprendizaje supervisado.. En el aprendizaje supervisado, el algoritmo se entrena con datos que ya están etiquetados, lo que le permite aprender a predecir la etiqueta correcta para nuevos datos.

  3. ¿Cuál de las siguientes NO es una categoría principal del aprendizaje automático?
    • a) Aprendizaje supervisado.
    • b) Aprendizaje no supervisado.
    • c) Aprendizaje por imitación.
    • d) Aprendizaje por refuerzo.

    Respuesta: c) Aprendizaje por imitación.. Las categorías principales del aprendizaje automático son el aprendizaje supervisado, no supervisado y por refuerzo. El aprendizaje por imitación no es una categoría principal estándar.

2. Fundamentos: Probabilidad, Estadística y Optimización

Flashcards

¿Qué es la Estimación Máximo-Verosímil (MLE)?
Un método para encontrar los valores de los parámetros que maximizan la probabilidad de observar los datos.
¿Qué es la regularización?
Una técnica para prevenir el sobreajuste al añadir una penalización a la función de costo.
¿Qué son los Multiplicadores de Lagrange?
Una técnica para resolver problemas de optimización con restricciones de igualdad.
¿Qué es el Descenso por Gradiente?
Un algoritmo iterativo para encontrar el mínimo local de una función.

Preguntas tipo test

  1. ¿Cuál de las siguientes opciones representa un método para encontrar el valor más probable de un parámetro en estadística?
    • a) Minimización del Riesgo Empírico (ERM)
    • b) Estimación Máximo-Verosímil (MLE)
    • c) Regularización
    • d) Descenso por gradiente

    Respuesta: b) Estimación Máximo-Verosímil (MLE). La Estimación Máximo-Verosímil (MLE) es un método estadístico para encontrar los valores de los parámetros que maximizan la probabilidad de observar los datos dados.

  2. ¿Qué concepto se utiliza para ajustar la complejidad de un modelo y evitar el sobreajuste?
    • a) Optimización
    • b) Regularización
    • c) Estimación MAP
    • d) Teoría de la Información

    Respuesta: b) Regularización. La regularización es una técnica que añade una penalización a la función de costo para evitar que el modelo se ajuste demasiado a los datos de entrenamiento, mejorando así su capacidad de generalización.

  3. ¿Qué método de optimización se menciona para encontrar el mínimo de una función?
    • a) Multiplicadores de Lagrange
    • b) Descenso por gradiente
    • c) Análisis Discriminante Lineal
    • d) Estimación Máximo-Verosímil

    Respuesta: b) Descenso por gradiente. El Descenso por gradiente es un algoritmo iterativo utilizado para encontrar el mínimo local de una función, ajustando los parámetros en la dirección opuesta al gradiente.

3. Modelos Lineales

Flashcards

¿Qué tipo de modelo es el Análisis Discriminante Lineal?
Modelo Lineal
¿Cuál es el objetivo de la Regresión Logística?
Predecir la probabilidad de pertenencia a una clase
¿Qué método se usa comúnmente en la Regresión Lineal?
Mínimos Cuadrados Convencional (OLS)
¿Qué permiten modelar los Modelos Lineales Generalizados?
Variables respuesta con distribuciones diferentes a la normal

Preguntas tipo test

  1. ¿Cuál de los siguientes es un tipo de modelo lineal?
    • a) Redes Neuronales Profundas
    • b) Análisis Discriminante Lineal
    • c) Modelos No Paramétricos
    • d) Aprendizaje por Refuerzo

    Respuesta: b) Análisis Discriminante Lineal. El Análisis Discriminante Lineal es un modelo lineal, mientras que las Redes Neuronales Profundas y los Modelos No Paramétricos son diferentes tipos de modelos de aprendizaje automático.

  2. ¿Cuál de los siguientes métodos se utiliza comúnmente en la regresión lineal?
    • a) Máxima Verosimilitud
    • b) Mínimos Cuadrados Convencional (OLS)
    • c) Descenso de Gradiente Estocástico
    • d) Regularización L1

    Respuesta: b) Mínimos Cuadrados Convencional (OLS). El método de Mínimos Cuadrados Convencional (OLS) es un enfoque estándar para estimar los parámetros en la regresión lineal, buscando minimizar la suma de los cuadrados de las diferencias entre los valores observados y los valores predichos por el modelo.

  3. En el contexto de la regresión logística, ¿qué tipo de variable se predice?
    • a) Una variable continua
    • b) Una probabilidad de pertenencia a una clase
    • c) Una variable categórica nominal
    • d) Un valor entero

    Respuesta: b) Una probabilidad de pertenencia a una clase. La regresión logística predice la probabilidad de que una instancia pertenezca a una clase específica, lo que la hace adecuada para problemas de clasificación binaria y multiclase.

4. Redes Neuronales Profundas

Flashcards

¿Qué son las redes neuronales profundas?
Modelos que utilizan múltiples capas para extraer características complejas de los datos.
¿Cuál es el propósito del algoritmo Backprop?
Ajustar los pesos de la red neuronal para minimizar el error.
¿Qué tipos de datos pueden ser procesados por redes neuronales?
Datos tabulados, imágenes y secuencias.
¿Qué es el 'fine-tuning' en el contexto de las redes neuronales?
Adaptar un modelo pre-entrenado a una nueva tarea específica.

Preguntas tipo test

  1. ¿Cuál de las siguientes opciones describe mejor el propósito de las redes neuronales profundas?
    • a) Resolver problemas de optimización lineal.
    • b) Modelar relaciones complejas en datos a través de múltiples capas de abstracción.
    • c) Realizar análisis estadísticos descriptivos.
    • d) Implementar algoritmos de búsqueda en grafos.

    Respuesta: b) Modelar relaciones complejas en datos a través de múltiples capas de abstracción.. Las redes neuronales profundas están diseñadas para modelar relaciones complejas en los datos utilizando múltiples capas que aprenden diferentes niveles de abstracción.

  2. En el contexto de las redes neuronales, ¿qué es 'backprop'?
    • a) Un tipo de función de activación.
    • b) Un algoritmo para ajustar los pesos de la red durante el entrenamiento.
    • c) Un método para la selección de características.
    • d) Una técnica para la visualización de datos.

    Respuesta: b) Un algoritmo para ajustar los pesos de la red durante el entrenamiento.. Backpropagation (retropropagación) es un algoritmo clave para entrenar redes neuronales, ajustando los pesos de las conexiones para minimizar el error entre la salida predicha y la salida real.

  3. ¿Cuál de las siguientes NO es una aplicación común de las redes neuronales profundas?
    • a) Clasificación de imágenes.
    • b) Procesamiento del lenguaje natural.
    • c) Análisis de regresión lineal simple.
    • d) Reconocimiento de voz.

    Respuesta: c) Análisis de regresión lineal simple.. Las redes neuronales profundas son más adecuadas para tareas complejas como la clasificación de imágenes, el procesamiento del lenguaje natural y el reconocimiento de voz, y no para el análisis de regresión lineal simple.

5. Modelos No Paramétricos

Flashcards

¿Qué son los modelos no paramétricos?
Modelos cuya complejidad aumenta con el tamaño de los datos.
Menciona tres tipos de modelos no paramétricos.
Modelos basados en ejemplos, métodos kernel, árboles de decisión.
¿Qué es el bagging en el contexto de los modelos no paramétricos?
Técnica que entrena múltiples modelos en subconjuntos de datos y promedia sus predicciones.
¿Qué son los métodos kernel?
Métodos que transforman los datos en un espacio de mayor dimensión para hacerlos linealmente separables.

Preguntas tipo test

  1. ¿Cuál de los siguientes NO es un modelo no paramétrico?
    • a) Modelos basados en ejemplos
    • b) Métodos kernel
    • c) Regresión lineal
    • d) Árboles de decisión

    Respuesta: c) Regresión lineal. La regresión lineal es un modelo paramétrico, mientras que los modelos basados en ejemplos, los métodos kernel y los árboles de decisión son modelos no paramétricos.

  2. ¿Qué característica distingue principalmente a los modelos no paramétricos de los paramétricos?
    • a) Requieren menos datos para el entrenamiento
    • b) Tienen un número fijo de parámetros
    • c) Su complejidad aumenta con el tamaño de los datos
    • d) Son más rápidos de entrenar

    Respuesta: c) Su complejidad aumenta con el tamaño de los datos. Los modelos no paramétricos aumentan su complejidad a medida que se incrementa el tamaño de los datos, a diferencia de los modelos paramétricos que tienen un número fijo de parámetros.

  3. Dentro de los modelos no paramétricos, ¿cuál de los siguientes métodos se basa en la idea de crear múltiples árboles de decisión para mejorar la precisión y reducir el sobreajuste?
    • a) Máquinas de Vector Soporte (SVM)
    • b) Bosques Aleatorios (Random Forests)
    • c) K-Vecinos Más Cercanos (KNN)
    • d) Regresión Logística

    Respuesta: b) Bosques Aleatorios (Random Forests). Los Bosques Aleatorios utilizan un conjunto de árboles de decisión para mejorar la precisión y robustez del modelo, reduciendo el riesgo de sobreajuste.

6. Más Allá del Aprendizaje Supervisado

Flashcards

¿Qué es el clustering?
Técnica para agrupar datos similares en clústeres.
¿Qué es la reducción de la dimensión?
Proceso de reducir el número de variables en un conjunto de datos.
¿Qué son los embeddings de grafos?
Representaciones vectoriales de nodos en un grafo.
¿Qué es transfer learning?
Aprovechar el conocimiento de un modelo pre-entrenado para una nueva tarea.

Preguntas tipo test

  1. ¿Cuál de las siguientes técnicas se centra en ajustar modelos pre-entrenados a tareas específicas?
    • a) Clustering
    • b) Transfer learning y fine-tuning
    • c) Reducción de la dimensión
    • d) Embeddings de grafos

    Respuesta: b) Transfer learning y fine-tuning. Transfer learning y fine-tuning implican tomar un modelo ya entrenado en una tarea general y ajustarlo (fine-tuning) para que funcione bien en una tarea más específica.

  2. ¿Qué técnica de aprendizaje se exploró en el bloque 2 durante el SIN 2024/25?
    • a) Reducción de la dimensión
    • b) Aprendizaje con pocos datos etiquetados
    • c) Clustering (algoritmo k-medias)
    • d) Sistemas de recomendación

    Respuesta: c) Clustering (algoritmo k-medias). El clustering, específicamente el algoritmo k-medias, fue explorado en el bloque 2 durante el SIN 2024/25.

  3. ¿Cuál de las siguientes técnicas de aprendizaje se ocupa de encontrar estructuras de grupo inherentes dentro de un conjunto de datos?
    • a) Reducción de la dimensión
    • b) Clustering
    • c) Sistemas de recomendación
    • d) Embeddings de grafos

    Respuesta: b) Clustering. El clustering es una técnica que busca agrupar datos similares en clústeres, identificando patrones y estructuras inherentes en los datos.

Y 6 flashcards y 12 preguntas más en el documento.

Texto del documento

T1 Introducción Índice 1. PML1, parte 0: introducción 2. PML1, parte 1: fundamentos 3. PML1, parte 2: modelos lineales 4. PML1, parte 3: redes neuronales profundas 5. PML1, parte 4: modelos no paramétricos 6. PML1, parte 5: más allá del aprendizaje supervisado Alfons Juan, Jorge Civera, APR 2025/26 1 / 7 ETSINF, DSIC, UPV 1 PML1, parte 0: introducción 1.1 ¿Qué es aprendizaje automático?

1.2 Aprendizaje supervisado 1.3 Aprendizaje no supervisado 1.4 Aprendizaje por refuerzo 1.5 Datos 1.6 Discusión SIN 2024/25: esencialmente cubierto en el bloque 2 PER 2024/25: no se añade más; datos visto en lab APR 2025/26: no añadimos más Alfons Juan, Jorge Civera, APR 2025/26 2 / 7 ETSINF, DSIC, UPV 2 PML1, parte 1: fundamentos 2 Probabilidad: modelos univariados 3 Probabilidad: modelos multivariados 4 Estadística 5 Teoría de la decisión 6 Teoría de la información 7 Algebra lineal 8 Optimización SIN 2024/25: cosas sueltas en el bloque 2 (regla de Bayes, error de Bayes, softmax, NLL, SGD) PER 2024/25: visto en gran medida en el tema 2 (bloque 1) T2.1 Algebra lineal y PCA: EVD, SVD y PCA (a partir de la SVD de la matriz de datos centrados) T2.2 Optimización Derivada, gradiente y Jacobiana Descenso por gradiente: momentum estándar y Nesterov Cálculo matricial: formato numerador, identidades, transformaciones lineales y elementales (no lineales) Optimización con restricciones: multiplicadores de Langrange para restricciones de igualdad T2.3 Probabilidad, estadística y decisión Probabilidad: distribuciones de Bernoulli, categórica, Gaussiana 1d y Gaussiana (multivariada) Entropía de distribuciones discretas: entropía, entropía cruzada y entropía cruzada binaria Estadística: estimación máximo-verosímil (MLE), minimización del riesgo empírico (ERM) y regularización Decisión: estimador MAP para clasificación y regresor L2 para regresión APR 2025/26: ampliaremos con aspectos relevantes no vistos en PER Alfons Juan, Jorge Civera, APR 2025/26 3 / 7 ETSINF, DSIC, UPV 3 PML1, parte 2: modelos lineales 9 Análisis discriminante lineal 10 Regresión logística 11 Regresión lineal 12 Modelos lineales generalizados SIN 2024/25: regresión logística (y perceptrón) en el bloque 2 PER 2024/25: visto (salvo lineales generalizados) en el tema 3 T3.1 Generativos: naive Bayes, análisis discriminante cuadrático (QDA) y análisis discriminante lineal (LDA) T3.2 Regresión logística: regresión logística binaria y regresión logística (multiclase) T3.3 Regresión lineal: regresión polinómica, mínimos cuadrados convencional (OLS) y evaluación (coeficiente R2) APR 2025/26: no añadimos más Alfons Juan, Jorge Civera, APR 2025/26 4 / 7 ETSINF, DSIC, UPV 4 PML1, parte 3: redes neuronales profundas 13 Redes neuronales para datos tabulados 14 Redes neuronales para imágenes 15 Redes neuronales para secuencias PER 2024/25: vimos redes para datos tabulados en el tema 4 T4.1 Perceptrones multicapa: XOR, definición de MLP, funciones de activación y ejemplos T4.2 Backprop: algoritmo y ejemplos con un batch T4.3 Aprendizaje profundo: arquitecturas destacadas para clasificación de imágenes APR 2025/26: veremos redes para secuencias primero y luego para imágenes Los temas 14 y 15 se han quedado un poco desfasados en tres años Veremos versiones actualizadas de ambos temas Alfons Juan, Jorge Civera, APR 2025/26 5 / 7 ETSINF, DSIC, UPV 5 PML1, parte 4: modelos no paramétricos 16 Modelos basados en ejemplos 17 Métodos kernel 18 Árboles, bosques, bagging y boosting PER 2024/25: árboles y compañía visto en buena medida en el tema 5 Classification and regression trees (CART): coste de un nodo, aprendizaje voraz, inestabilidad Ensambles: bagging, bosques, boosting y gradient boosting (xgboost) Interpretación APR 2025/26: no añadimos más con el fin de dedicar más tiempo a redes Alfons Juan, Jorge Civera, APR 2025/26 6 / 7 ETSINF, DSIC, UPV 6 PML1, parte 5: más allá del aprendizaje supervisado 19 Aprendizaje con pocos datos etiquetados 20 Reducción de la dimensión 21 Clustering 22 Sistemas de recomendación 23 Embeddings de grafos SIN 2024/25: clustering (algoritmo k-medias) visto en el bloque 2 PER 2024/25: Reducción de la dimensión mediante PCA vista en el tema 2 (algebra lineal y PCA) Transfer learning y fine-tuning (tema 19) visto en el lab APR 2025/26: en el lab seguiremos ajustando modelos pre-entrenados a tareas específicas Alfons Juan, Jorge Civera, APR 2025/26 7 / 7 ETSINF, DSIC, UPV

Exámenes, temas y apuntes de Aprendizaje Automático