Technical content
supported by
NVIDIA
← Lo que aprendemos en los labs
Entrega 01 · Taller 1 de 6

Tu primera app sobre un LLM en la nube

En el primer taller cada persona construye un chatbot con memoria y un agente que consulta pedidos de una tienda. No necesita GPU. El modelo vive en la nube de NVIDIA y se usa por API.

Modelo: Nemotron 3.5 Lightning Servicio: build.nvidia.com, capa gratuita Corrida: 31 de octubre de 2026
Abrir el notebook original T1 · .ipynb

Paso 1Conectarse toma tres líneas

El notebook usa la librería openai. Su formato de API se volvió el estándar de la industria. Aquí solo apunta al servicio de NVIDIA. Basta una key gratuita de build.nvidia.com, que empieza con nvapi-.

Celda que crea el cliente y confirma la conexión con nvidia/nemotron-3.5-lightning-30b-a3b
La celda confirma la conexión. El límite de espera de 120 segundos importa: la capa gratuita a veces tarda mucho.

Paso 2El modelo piensa antes de contestar

Nemotron 3.5 Lightning razona antes de responder. El razonamiento llega en un campo aparte de la respuesta. Por eso el notebook usa streaming desde la primera llamada. Sin streaming, la persona ve una pantalla en blanco y cree que se trabó.

En esta corrida el modelo pensó en inglés y contestó en español. Para decir hola en una frase, escribió un plan de cinco pasos.

Salida del paso 2: el razonamiento del modelo en inglés y la respuesta final Hola, ¿cómo estás?
Primero se ve el razonamiento y al final la respuesta. El parámetro reasoning_budget acota cuánto puede pensar.
Lo que aprendimos

Sin tope, una respuesta llegó a gastar 1,582 tokens pensando y tardó 13 segundos. Con reasoning_budget en 256 bajó a 274 tokens y 5.7 segundos. Lo medimos en septiembre, con la misma pregunta.

Paso 3La personalidad vive en el system prompt

La misma pregunta va a dos bots. Uno es un profesor paciente. El otro es un ingeniero escueto. Cambia solo la instrucción de sistema.

El ingeniero contestó limpio, en una frase. Al profesor se le coló el razonamiento dentro de la respuesta: se ve al modelo contando frases y corrigiendo "predicando" por "prediciendo".

Dos respuestas a ¿Qué es un LLM?; la del profesor trae mezclado el razonamiento en inglés
Así salió, sin editar. Esta llamada no usa streaming y tiene tope de razonamiento.
Lo que aprendimos

Con razonamiento activo, un tope corto y sin streaming, el pensamiento a veces termina dentro de la respuesta. En una app real hay que separar los dos campos y validar lo que se muestra.

Paso 5El modelo no tiene memoria

Este paso falla a propósito. En el primer turno dices que te llamas Ana y trabajas en logística. En el segundo preguntas cómo te llamas. Cada llamada llega sola, así que el modelo no sabe nada de Ana. Se presentó a sí mismo.

Turno 1 saluda a Ana; turno 2 responde Soy Nemotron, sin saber quién es Ana
En el turno 2 el modelo contesta "Soy Nemotron". No recuerda el turno 1.

Pasos 6 y 7La memoria es una lista

La solución es guardar cada turno en una lista y mandarla completa en cada llamada. Con eso el bot recuerda. La función que lo hace también reintenta cuando la capa gratuita devuelve una respuesta vacía, se tarda demasiado o pide bajar el ritmo.

Chat con memoria: el bot recuerda que el usuario se llama Ana y trabaja en logística
Los puntos son el modelo pensando. Ahora sí recuerda a Ana, aunque contestó como si él fuera Ana.

Pasos 8 a 10Los ejemplos enseñan el formato

La tarea es convertir mensajes de clientes en tickets de una línea: #pedido | motivo | prioridad. Una función revisa el formato y marca OK o X. El efecto de los ejemplos se ve, no se adivina.

Zero-shot: tres X, el modelo redacta tickets largos en markdown
Sin ejemplos: tres X. El modelo escribió tickets largos con títulos y negritas.
One-shot: dos OK y una X
Con un ejemplo: dos OK. Ojo con la tercera línea: la cancelación no traía número de pedido y el modelo le inventó el 1043.
Few-shot: tres OK
Con tres ejemplos: tres OK.
Lo que aprendimos

El validador revisa la forma, no el contenido. El ticket inventado del one-shot pasó como OK. Un formato correcto no garantiza un dato correcto.

Paso 11Un agente que usa una herramienta

El agente recibe la pregunta "¿Ya salió mi pedido 1043 y cuándo llega?". No ve la base de datos de la tienda. Solo ve una línea que describe la herramienta consultar_pedido. Escribe qué quiere hacer, tu código ejecuta la herramienta y le devuelve el resultado.

El agente consulta el pedido 1043 y responde en dos pasos
Dos pasos: consulta y responde. La generación se corta antes de "Observación:" para que el modelo no invente el resultado de la herramienta.

Paso 12Cuando falta una herramienta, el agente adivina

Ahora la pregunta es "¿En cuántos días llega mi pedido 1043?". El agente tiene la fecha de entrega. No sabe qué día es hoy.

No lo admitió. Supuso que hoy era el día en que salió el pedido y contestó "5 días aproximadamente". La respuesta correcta era 2.

El agente supone la fecha de hoy y responde 5 días, cuando la respuesta correcta es 2
El paso 2 muestra la suposición: "suponiendo que la fecha actual sea 2026-10-28".

Paso 13La herramienta corrige al modelo

Registramos una segunda herramienta, contar_hasta, que calcula los días que faltan desde hoy. El modelo volvió a imaginar una fecha equivocada en su razonamiento. No importó: la herramienta le devolvió la fecha real y la respuesta fue 2 días.

Con la herramienta contar_hasta, el agente responde correctamente que el pedido llega en 2 días
Agregar una capacidad al agente es agregar una línea al diccionario HERRAMIENTAS.
Lo que aprendimos

Un agente sin el dato que necesita no se detiene: inventa con seguridad. La herramienta correcta convierte una suposición en un hecho. Es el mismo problema que resuelve RAG en la siguiente entrega.

En resumen
  1. Un modelo en la nube es una función remota: mandas texto y recibes texto.
  2. El system prompt define la personalidad. El historial le da memoria.
  3. Con ejemplos, el modelo sigue mejor un formato. Valida también el contenido.
  4. Con herramientas, el modelo pide datos que no tiene. Tu código decide qué se ejecuta.
Correr el T1 con tu key .ipynb

Siguiente entrega: RAG con tus documentos →