FiveTech Software tech support forums

Qué es:
Aprendizaje supervisado clásico: Entrenas al modelo con ejemplos de entrada-salida etiquetados, donde un humano proporciona respuestas "ideales" para cada prompt.

Objetivo: Hacer que el modelo imite el comportamiento humano demostrado en los datos de entrenamiento.

Cómo funciona:
Dataset: Pares de (prompt, respuesta ideal).

Entrenamiento: Minimizar la pérdida (p. ej., entropía cruzada) entre las respuestas del modelo y las respuestas humanas.

Ventajas:
Simplicidad: Fácil de implementar con frameworks estándar (como PyTorch).

Control directo: El modelo sigue fielmente los ejemplos proporcionados.

Estabilidad: Menos riesgo de comportamientos impredecibles.

Limitaciones:
Dependencia de datos: Requiere un dataset grande y de alta calidad.

Rigidez: No optimiza para métricas complejas (p. ej., creatividad, seguridad).

Sesgo humano: Reproduce los sesgos o errores presentes en los datos de entrenamiento.

Ejemplo: Entrenar un modelo para escribir poemas usando un dataset de poemas escritos por humanos.

Qué es:
Aprendizaje por retroalimentación: El modelo interactúa con un entorno y recibe recompensas (o penalizaciones) por sus acciones.

Objetivo: Maximizar una función de recompensa (no solo imitar datos).

Cómo funciona (RLHF - RL from Human Feedback):
Reward Model: Un modelo secundario que puntúa respuestas (entrenado con preferencias humanas).

Optimización: El modelo principal genera respuestas y ajusta sus parámetros para maximizar la recompensa esperada.

Ventajas:
Flexibilidad: Optimiza para objetivos complejos (p. ej., "ser útil, honesto e inofensivo").

Adaptabilidad: Aprende a navegar trade-offs (p. ej., entre creatividad y precisión).

Mejora iterativa: Puede superar el rendimiento humano en ciertas métricas.

Limitaciones:
Complejidad: Requiere diseñar una función de recompensa robusta (evitar reward hacking).

Inestabilidad: El entrenamiento puede divergir si las recompensas están mal calibradas.

Coste computacional: Mucho más intensivo que el SFT.

Ejemplo: Refinar un modelo para que evite respuestas tóxicas, usando recompensas basadas en un detector de toxicidad.

| **Aspecto** | **SFT** | **RL** |
|---------------------------|--------------------------------------|--------------------------------------|
| **Tipo de aprendizaje** | Imitación (dataset estático) | Maximización de recompensas (dinámico) |
| **Datos requeridos** | Pares (input, output ideal) | Función de recompensa + interacciones |
| **Objetivo** | Reproducir respuestas humanas | Optimizar métricas abstractas |
| **Flexibilidad** | Limitada a datos de entrenamiento | Puede explorar soluciones novedosas |
| **Riesgo de sesgo** | Alto (depende del dataset) | Moderado (depende de la recompensa) |

SFT:

Cuando tienes un dataset de alta calidad y quieres un modelo predecible.

Para tareas estructuradas (p. ej., traducción, resumen).

Como paso inicial antes de aplicar RL.

RL:

Cuando el objetivo es complejo y no se puede capturar en un dataset estático.

Para alinear el modelo con valores subjetivos (p. ej., ética, estilo).

En escenarios donde las preferencias humanas son dinámicas (p. ej., asistente personalizado).

Los LLMs de última generación (como ChatGPT) usan ambos métodos secuencialmente:

SFT: Entrenamiento inicial con datos humanos.

RLHF: Ajuste fino con recompensas para refinar el comportamiento.

Ejemplo:

SFT entrena al modelo para responder preguntas de forma coherente.

RL lo ajusta para evitar alucinaciones o respuestas dañinas.

SFT es como enseñar a un estudiante con un libro de texto: sigue instrucciones al pie de la letra.

RL es como entrenar a un atleta con un coach: mejora iterativamente basándose en feedback.

¡La combinación de ambos permite modelos potentes y alineados con los valores humanos!