Cómo aprender a entrenar modelos de IA
Tenés base de programación y matemática. Meta: entender y modificar el pipeline completo.
Esta ruta asume que ya programás con soltura y que la matemática no te asusta. El objetivo no es entrenar un modelo frontera —eso no lo hace nadie solo— sino entender el pipeline completo lo suficiente como para modificarlo: tokenizador, arquitectura, datos, paralelismo, evaluación y post-entrenamiento.
Es la ruta más larga y la que más cómputo pide, aunque bastante menos del que la gente supone: reproducir GPT-2 hoy cuesta decenas de dólares en GPUs alquiladas.
Los 7 pasos, en orden
-
Neural Networks: Zero to Hero, completo
Escribiendo el código vos, no mirándolo. De micrograd a un transformer funcionando. Es el mejor material que existe sobre el tema, y es gratis.
-
Understanding Deep Learning como referencia
El libro de Prince en paralelo, para consultar cada vez que un concepto quede a medias. PDF gratuito.
-
El transformer en serio
«Attention Is All You Need» + The Annotated Transformer + The Illustrated Transformer. Los tres juntos: paper, código anotado e intuición visual.
-
Stanford CS336
Tokenizador, arquitectura, kernels, entrenamiento distribuido y leyes de escalado. Es el curso más completo que hay sobre construir un modelo de lenguaje desde cero.
-
nanoGPT y después nanochat
Reproducí GPT-2 y luego el pipeline completo incluyendo post-entrenamiento. Acá se junta todo lo anterior en algo que funciona.
-
Los playbooks de entrenamiento a escala
Ultra-Scale Playbook y Smol Training Playbook: la realidad de los clusters, lo que se rompe y lo que ningún paper documenta.
-
Post-training
InstructGPT, DPO, GRPO y open-r1 para leer código real de aprendizaje por refuerzo con recompensas verificables.
Mirar videos y leer papers da una sensación de progreso que no siempre se corresponde con aprendizaje. La regla práctica: por cada hora de consumo, una hora escribiendo código que rompe, se debuguea y funciona. Si nunca te peleaste con un shape mismatch, todavía no aprendiste el tema.
Preguntas frecuentes
¿Qué necesito saber antes de empezar a entrenar modelos?
Python con soltura, PyTorch básico, álgebra lineal y cálculo hasta la regla de la cadena, y haber entrenado al menos una red chica de punta a punta. Sin esa base, esta ruta se vuelve frustrante muy rápido.
¿Se puede aprender a entrenar modelos sin trabajar en un laboratorio?
Sí. Todo el material de esta ruta es público y gratuito, el código es abierto y el cómputo necesario para los ejercicios se alquila por decenas de dólares. Lo que no vas a poder replicar en casa es la escala, pero los conceptos y el pipeline son los mismos.