Cómo construir productos con LLMs

Sos desarrollador. Meta: construir productos con modelos, no entrenarlos desde cero.

Si ya programás, esta es la ruta más corta hacia algo que funcione en producción. No necesitás entrenar nada: necesitás entender lo suficiente del modelo para usarlo bien, y bastante de ingeniería para que el sistema alrededor no se caiga.

El orden acá es deliberadamente contraintuitivo en un punto: las evaluaciones van antes que las funcionalidades. Es lo que separa un demo que impresiona de un producto que se puede mejorar. Sin una forma de medir si la versión de hoy es mejor que la de ayer, iterar es adivinar.

Tiempo estimado: 1 a 3 meses si ya programás · 6 pasos

Los 6 pasos, en orden

  1. Deep Dive into LLMs de Karpathy

    Tres horas y media que dan el modelo mental completo: qué es pre-entrenamiento, qué es post-entrenamiento, por qué el modelo alucina y qué se puede esperar razonablemente de él.

    Recursos de transformers y llms →

  2. Prompting e ingeniería de contexto

    Las guías de Anthropic y OpenAI, más «Building Effective Agents». El contexto es un recurso escaso: qué entra en la ventana y qué se descarta es la decisión de diseño central.

    Recursos de rag, agentes y contexto →

  3. Evaluaciones, antes que nada más

    El material de Hamel Husain sobre evals. Armá un conjunto de casos con criterios explícitos y revisalos a mano al menos una vez. Esto separa juguetes de productos.

    Recursos de evaluación y benchmarks →

  4. RAG y agentes

    Recuperación sobre datos propios, uso de herramientas, memoria y orquestación. El Model Context Protocol para conectar el modelo con sistemas reales.

    Recursos de rag, agentes y contexto →

  5. Inferencia y costos

    vLLM u Ollama, cuantización y las cuentas de costo real por token. Acá se define si el producto cierra económicamente o no.

    Recursos de inferencia y optimización →

  6. Fine-tuning al final, y solo si hace falta

    Únicamente cuando las evaluaciones demuestren que prompting y recuperación no alcanzan. La mayoría de las veces no hace falta.

    Recursos de fine-tuning práctico →

Una advertencia sobre el consumo pasivo

Mirar videos y leer papers da una sensación de progreso que no siempre se corresponde con aprendizaje. La regla práctica: por cada hora de consumo, una hora escribiendo código que rompe, se debuguea y funciona. Si nunca te peleaste con un shape mismatch, todavía no aprendiste el tema.

Preguntas frecuentes

¿Necesito saber machine learning para construir con LLMs?

No en profundidad. Necesitás entender qué hace el modelo, por qué alucina y cómo se comporta el contexto, pero no hace falta saber entrenar. La mayor parte del trabajo es ingeniería de software clásica alrededor de una API.

¿Qué se necesita para hacer un chatbot con IA sobre mis propios datos?

Recuperación aumentada (RAG): indexás tus documentos, buscás los fragmentos relevantes según la consulta y se los pasás al modelo en el contexto. No hace falta entrenar ni hacer fine-tuning, y tiene la ventaja de que actualizar la información es actualizar el índice.