El fine-tuning es un entrenamiento complementario de un LLM sobre un conjunto de datos específico para adaptar sus comportamientos o especializar sus conocimientos. Un modelo generalista como GPT-4 puede ser ajustado con datos médicos para mejorar sus respuestas en ese ámbito. Para el AEO, comprender el fine-tuning ayuda a entender por qué ciertas IA responden de forma diferente sobre temas idénticos.
Cómo funciona el fine-tuning
1. Selección de datos: Un conjunto de datos específico (ejemplos de preguntas-respuestas, documentos especializados).
2. Entrenamiento supervisado: El modelo aprende a reproducir los patrones de los nuevos datos.
3. Validación: Pruebas para verificar que el modelo responde mejor en el dominio objetivo.
Tipos de fine-tuning
Fine-tuning de especialización: Adaptar el modelo a un dominio (médico, jurídico).
Fine-tuning de estilo: Modificar el tono, la longitud de las respuestas.
RLHF: Reinforcement Learning from Human Feedback.
Fine-tuning vs RAG
| Aspecto | Fine-tuning | RAG |
|---|---|---|
| Datos | Integrados en el modelo | Consultados sobre la marcha |
| Actualización | Nuevo entrenamiento | Tiempo real |
| Coste | Elevado | Bajo |