Infraestructura, GPUs y cómputo para IA
Debajo de todo modelo hay hardware con límites muy concretos, y una parte enorme del trabajo real en IA es pelear con esos límites. Esta sección cubre desde escribir kernels con CUDA o Triton hasta entender la economía del cómputo: cuánto cuesta una hora de GPU, qué se alquila, qué se compra y por qué el suministro condiciona el ritmo del campo.
La habilidad más rentable acá es diagnóstica: saber si estás limitado por cómputo o por memoria antes de empezar a optimizar. Un análisis de roofline de media hora ahorra semanas de trabajo dedicado a acelerar lo que no era el cuello de botella.
10 recursos de infraestructura y GPUs
Ordenados con los imprescindibles primero y agrupados por tipo. Los marcados con ★ son los que recomendaría alguien que ya recorrió el camino; los que dicen «gratis» no cuestan nada.
🎓 Curso
📚 Libro
El libro de referencia para llevar ML a producción: datos, features, despliegue, monitoreo, deriva de datos.
El libro canónico de CUDA. GPU MODE organiza grupos de lectura sobre él.
✍️ Blog/Post
Análisis profundo de hardware, datacenters, cadena de suministro y economía real del cómputo de IA. Nadie más hace este trabajo con este nivel de detalle.
La guía de referencia para elegir hardware, con razonamiento sobre ancho de banda y memoria, no solo benchmarks.
🐙 Repo
🛠️ Herramienta
La alternativa open source y self-hosted para tracking, registro de modelos y despliegue.
GPUs por hora sin administrar infraestructura. Modal es especialmente cómodo para entrenar o servir desde Python puro.
Tracking de experimentos, sweeps de hiperparámetros y reportes. Gratis para uso personal y estándar en investigación.
📘 Docs
Preguntas frecuentes sobre infraestructura y GPUs
¿Qué GPU necesito para aprender IA?
Ninguna, para empezar. Colab y Kaggle ofrecen GPUs gratis suficientes para todos los ejercicios de aprendizaje, y alquilar por hora sale más barato que comprar si el uso es intermitente. Una GPU propia se justifica cuando entrenás de forma sostenida o necesitás privacidad sobre los datos.
¿Hace falta saber CUDA para trabajar con IA?
No para la mayoría de los roles. Se vuelve necesario si te dedicás a optimizar inferencia o entrenamiento a bajo nivel, y ahí es una habilidad escasa y muy bien pagada. Triton bajó bastante la barrera: permite escribir kernels eficientes en Python.