Technical content
supported by
NVIDIA
← Lo que aprendemos en los labs
Entrega 02 · Taller 2 de 6

RAG: respuestas sustentadas en tus documentos

En el segundo taller cada persona construye un bot que responde con sus propios documentos, cita de cuál sacó la respuesta y admite cuando algo no está ahí. No instala ninguna base de datos.

Modelos: Nemotron 3.5 Lightning y Nemotron 3 Embed 1B Servicio: build.nvidia.com, capa gratuita Corrida: 31 de octubre de 2026
Abrir el notebook original T2 · .ipynb

Paso 2El modelo no conoce tus documentos

La pregunta es sobre Café La Espiga, una cafetería inventada para el taller. El modelo nunca leyó nada sobre ella. A veces inventa una respuesta con toda seguridad. Esta vez admitió que no sabía y mandó a buscar en Google Maps.

El modelo dice que no tiene acceso a los horarios de Café La Espiga
Sin documentos, el modelo solo sabe lo que vio en su entrenamiento.

Pasos 3 y 4Cuatro documentos, once fichas

El corpus son cuatro documentos del café: menú, pagos y facturación, preguntas frecuentes, sucursales y horarios. Cada uno se corta en fichas de hasta 500 caracteres, sin partir párrafos. Cada ficha conserva el nombre de su documento. Ese nombre es la cita.

11 fragmentos de 4 documentos y un fragmento de muestra de sucursales-horarios.md
Once fichas. Cada una sabe de qué documento salió.

Paso 5Buscar por significado, no por palabras

Un embedding convierte una frase en una lista de números, un vector. Este modelo usa 2,048 números por frase. Las frases que dicen lo mismo quedan cerca, aunque usen palabras distintas.

"¿Puedo entrar con mi perro?" quedó cerca de la frase sobre mascotas, con 0.37. Quedó lejos del precio del latte, con 0.06, y del horario de Coyoacán, con 0.04. Ninguna frase dice "perro".

Similitud coseno: 0.37 con la frase de mascotas, 0.06 y 0.04 con las otras
La similitud coseno mide la cercanía. Cerca de 1 es lo mismo. Cerca de 0, nada que ver.
Lo que aprendimos

Este modelo distingue entre preguntas y documentos. La pregunta se embebe como query y las fichas como passage. El puntaje sirve para ordenar resultados, no como calificación absoluta.

Pasos 6 y 7La base de datos vectorial es una lista

El índice guarda tres cosas por ficha: su texto, su fuente y su vector. Se calcula una sola vez. Buscar es comparar el vector de la pregunta contra el de cada ficha y quedarse con las tres más cercanas.

Índice listo: 11 fragmentos de 4 documentos, cada uno con un vector de 2048 números
Para unos cientos de fichas basta una lista en memoria.
Búsqueda de la pregunta sobre Coyoacán: tres fragmentos de sucursales-horarios.md
Las tres fichas vienen del documento correcto. La primera empieza con Roma, pero trae Roma y Coyoacán juntas.

Paso 8Responder con cita

Las tres fichas se le ponen enfrente al modelo, cada una con su fuente. Es un examen a libro abierto. Las reglas van en el system prompt: contesta solo con el contexto, cita entre corchetes y, si no está, dilo.

La misma pregunta que el modelo no supo contestar en el paso 2 ahora sale bien, con su cita.

Respuesta: La sucursal de Coyoacán cierra los lunes. [sucursales-horarios.md]
"La sucursal de Coyoacán cierra los lunes. [sucursales-horarios.md]"

Paso 9Lo que no está, no se inventa

"¿Venden pizza?" no viene en ningún documento. La búsqueda trae tres fichas de todos modos, con puntajes bajos: 0.19, 0.18 y 0.17. El modelo las lee y responde "No encuentro eso en los documentos."

Pregunta ¿Venden pizza?: puntajes bajos y respuesta No encuentro eso en los documentos
Rechazó bien. Aun así agregó una cita a menu-precios.md, porque la regla le pide citar siempre.
Lo que aprendimos

No hay un umbral de puntaje que separe lo que está de lo que no. Quien decide es el modelo, al leer. Y las reglas del prompt se cumplen al pie de la letra: si pides citar siempre, cita hasta cuando no encontró nada.

Paso 10Tu propio documento

Pegas un texto tuyo o subes un archivo .txt. Se suma a los documentos y se reconstruye el índice. No tocas ningún otro paso. El ejemplo usa la descripción de este mismo programa de talleres.

Índice con 14 fragmentos de 5 documentos y respuesta sobre el programa con cita a mi-documento
Catorce fichas de cinco documentos. La respuesta cita [mi-documento].

Paso 11Platicar con tus documentos

El chat junta la memoria de la primera entrega con la búsqueda de esta. En cada turno busca tres fichas y responde con ellas. Las dos respuestas fueron correctas: Roma abre a las 8:00 y Coyoacán es la que cierra los lunes.

Chat sobre los documentos del café con dos preguntas y sus respuestas citadas
La primera respuesta llegó duplicada y con marcas de código sueltas. Es la capa gratuita: a veces ensucia la salida.
Lo que aprendimos

La búsqueda solo lee tu último mensaje. Si escribes "¿Y los domingos?", no sabe de qué sucursal hablas. Resolverlo bien implica reescribir la pregunta con el historial, y eso ya es trabajo de un agente.

En resumen
  1. El modelo solo sabe lo que vio en su entrenamiento. Tus documentos no estaban ahí.
  2. Un embedding pone cerca los textos que significan lo mismo.
  3. Tu base de datos vectorial es una lista de fichas con su vector. Buscar es comparar vectores.
  4. RAG: tu código busca, el modelo redacta con lo que recibe y cita la fuente.
Correr el T2 con tu key .ipynb

← Entrega anterior: tu primera app sobre un LLM