Serie PRYMA · Del trabajo real a la IA útil · Artículo 2 de 5 · Caso de estudio anonimizado
Una IA puede encontrar el contrato correcto y, aun así, no tener evidencia suficiente para responder.
Pensemos en una ronda de inversión. Un term sheet establece las condiciones iniciales. Un borrador posterior contiene cambios. Un correo aporta contexto sobre la negociación. Y puede existir una decisión que todavía no está confirmada en los documentos disponibles.
¿Cuál de esas fuentes demuestra qué se acordó realmente?
La respuesta no se obtiene necesariamente escogiendo el archivo más reciente. Una cláusula propuesta no es una cláusula aprobada. Una comunicación sobre un posible cambio no acredita por sí sola que ese cambio entró en vigor.
Este escenario es ilustrativo, no un incidente atribuido a la firma. Pero recoge un problema real de diseño que apareció en las sesiones del proyecto: el contexto de un asunto puede estar distribuido entre documentos, versiones, anexos y comunicaciones que no tienen la misma función ni autoridad.
En el primer artículo de esta serie explicamos por qué comenzamos observando el trabajo de abogados de distintas especialidades antes de construir agentes. Aquí abordamos la siguiente pregunta: ¿cómo debe investigar un sistema de IA para preparar una conclusión que un profesional pueda comprobar?
La diferencia no es simplemente académica. Una respuesta fluida pero difícil de verificar puede devolverle al abogado todo el trabajo de búsqueda que supuestamente debía ahorrarle.
1. Una búsqueda puede terminar donde recién comienza la investigación
Trabajamos sobre necesidades vinculadas con due diligence, instrumentos convertibles —como SAFE, notas convertibles y side letters—, financiamientos por participación accionaria, M&A, reestructuraciones y contratos corporativos.
Sus preguntas son distintas. El desafío transversal es saber qué se encontró, qué se leyó, qué cambió y qué permanece sin resolver.
Un motor de búsqueda puede devolver un archivo porque su nombre coincide con una consulta o porque su contenido es semánticamente parecido. Eso es útil, pero no demuestra que el documento pertenezca al asunto correcto, que sea la versión que debe utilizarse o que haya sido revisado por completo.
Distinguimos cinco estados que, en una investigación documental, no conviene confundir:
| Estado de la fuente | Lo que acredita | Lo que todavía no acredita |
|---|---|---|
| Localizada | Hay una referencia candidata en el índice o inventario. | Que el original esté disponible o haya sido leído. |
| Accesible | Existe una vía autorizada para consultar su contenido. | Que sea pertinente, vigente o decisiva para la pregunta. |
| Inspeccionada | Se examinó el contenido necesario del original o de una representación apropiada. | Que la evidencia no contradiga otras fuentes. |
| Contrastada | Se comparó con documentos, versiones y contexto material. | Que todas las discrepancias hayan quedado resueltas. |
| Suficiente para la pregunta | El respaldo y el alcance permiten preparar un resultado acotado y revisable. | Que todo el expediente esté exhaustivamente auditado. |
Esta distinción revela un cambio de unidad de análisis: el objetivo deja de ser recuperar documentos y pasa a ser respaldar afirmaciones específicas.
Por ejemplo, no basta con decir «encontramos tres contratos». Importa precisar qué condición se analizó, dónde aparece, qué otra fuente la modifica o cuestiona y qué necesita confirmar la persona responsable.
2. Cuatro operaciones: localizar, verificar, contrastar y documentar
En las tres láminas que acompañan este artículo resumimos la investigación en cuatro acciones. Cada una exige capacidades y controles distintos.
Localizar: usar el índice como punto de entrada
La búsqueda avanzada permite reducir el universo inicial de documentos. Puede utilizar metadatos, términos exactos, recuperación semántica y otras estrategias según el problema y la plataforma.
En arquitecturas de generación aumentada por recuperación (RAG), esa información recuperada sirve de contexto para un modelo. Es una técnica útil, pero recuperación no equivale a comprobación: un fragmento puede omitir excepciones, estar desactualizado o provenir del expediente equivocado.
Por eso, el diseño del proyecto priorizó una ruta de índice primero, original después. El índice ayuda a encontrar; la fuente original permite verificar.
Además, un archivo recién incorporado puede todavía no aparecer en los resultados indexados. Esa situación exige contemplar un acceso alternativo autorizado cuando existe, o registrar expresamente la limitación. No encontrar un archivo en un índice no significa que no exista.
Verificar: abrir el documento pertinente
Una vez localizado un candidato, hay que comprobar su identidad y alcance: asunto, versión, procedencia, contenido material y permisos para leerlo.
La fecha más reciente es una pista, no una regla jurídica universal de autoridad. Un documento firmado, un borrador de negociación y una instrucción confirmada cumplen funciones diferentes.
También hay una frontera de seguridad: si la fuente no puede abrirse con los permisos disponibles, el agente debe señalarlo. No puede sustituir la lectura por una inferencia a partir del título ni sortear el control de acceso.
Contrastar: reconstruir la relación entre fuentes
Aquí el problema deja de ser solo informacional y se vuelve analítico.
Una cláusula cambia de redacción. Un anexo contiene una excepción. Un side letter plantea condiciones particulares. Un correo material puede explicar una negociación, pero no demostrar por sí solo la aprobación del cambio.
El agente debe identificar esas relaciones, distinguir observaciones de inferencias y dejar visibles las contradicciones. Consultar comunicaciones puede ser importante; consultar indiscriminadamente un buzón completo, no. Su uso requiere pertinencia, alcance y autorización.
Documentar: producir una investigación que pueda continuar
La salida valiosa puede ser una matriz de términos, un inventario de documentos, una lista de asuntos pendientes (issue list) o un análisis con referencias verificables.
En todos los casos, el profesional debería poder regresar a la fuente sin reconstruir la búsqueda desde cero. Si falta información material, el resultado correcto puede ser un hallazgo provisional con una pregunta pendiente, no una respuesta definitiva.
Figura 1 · Investigación documental con rutas de excepción
flowchart TB
A["Encargo<br/>Pregunta, asunto y alcance autorizado"] --> B["01 · LOCALIZAR<br/>Búsqueda en índice y fuentes pertinentes"]
B --> C{"¿Se localizó una fuente<br/>y se puede leer el original?"}
C -->|"No"| D["Registrar el motivo<br/>No localizado, no indexado o sin acceso"]
D --> E{"¿Existe otra ruta<br/>de consulta autorizada?"}
E -->|"Sí"| F["Consultar la fuente permitida<br/>y comprobar su identidad"]
E -->|"No"| G["Dejar faltante o bloqueo<br/>con próxima acción"]
C -->|"Sí"| F
F --> H["02 · VERIFICAR<br/>Original, versión y pertenencia al asunto"]
H --> I{"¿Hay comunicaciones<br/>materiales autorizadas?"}
I -->|"Sí"| J["Examinar correo pertinente<br/>sin asumir aprobación"]
I -->|"No"| K["03 · CONTRASTAR<br/>Cláusulas, anexos y diferencias"]
J --> K
K --> L{"¿Respaldo suficiente<br/>para esta pregunta?"}
L -->|"No"| M["04 · DOCUMENTAR<br/>Contradicciones, límites y pendientes"]
G --> M
L -->|"Sí"| N["04 · DOCUMENTAR<br/>Hallazgos con referencias al original"]
M --> O["Revisión profesional<br/>Ampliar, confirmar o corregir"]
N --> O
O --> P["SALIDA UTILIZABLE<br/>Investigación respaldada o pendiente explícito"]
classDef base fill:#F5F4EE,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef decision fill:#F2B7EF,stroke:#242424,color:#242424,stroke-width:2px;
classDef pending fill:#EBDCF8,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef result fill:#EEFF20,stroke:#242424,color:#242424,stroke-width:2px;
class A,B,F,H,J,K,N,O base;
class C,E,I,L decision;
class D,G,M pending;
class P result;
Figura 1. Flujo de referencia, no una afirmación de autonomía total. Rosa: decisiones y condiciones de avance; lila: bloqueo o incertidumbre; amarillo lima: resultado que permite continuar. La ruta alternativa siempre respeta permisos.
3. El corpus necesita identidad, cobertura y procedencia
En este contexto, llamamos corpus documental al conjunto de fuentes que se organiza para trabajar un asunto, junto con los datos necesarios para entender qué contiene y cómo puede usarse.
No es simplemente «todo lo que devolvió el buscador». Debe permitir distinguir documentos candidatos, originales revisados, duplicados, versiones, fuentes aún no recibidas y elementos que no pudieron inspeccionarse.
Para un expediente de due diligence, por ejemplo, una revisión útil necesita saber tanto qué documentos fueron examinados como cuáles eran esperables y siguen faltando. No existe un porcentaje de cobertura interpretable si no se define primero el inventario o conjunto de referencia.
La procedencia de la evidencia (provenance) agrega otra dimensión: no basta con anexar una cita que parezca relevante. Hay que poder asociar cada afirmación con una fuente identificable, su versión y el pasaje que realmente la sostiene.
En la práctica, estas preguntas permiten detectar problemas diferentes:
| Pregunta técnica | Error que ayuda a evitar |
|---|---|
| ¿Pertenece al asunto correcto? | Mezclar documentación de clientes o transacciones distintas. |
| ¿Se inspeccionó el original? | Presentar un resultado indexado como lectura comprobada. |
| ¿Qué versión y sección respaldan el dato? | Confundir condiciones propuestas con términos confirmados. |
| ¿Qué fuentes materiales quedaron fuera? | Declarar una revisión «completa» sin cobertura suficiente. |
| ¿Quién puede continuar el pendiente? | Entregar incertidumbre sin un siguiente paso accionable. |
El índice acelera la localización. La gestión del corpus y la procedencia hacen posible auditar el análisis. Son capacidades complementarias.
4. Cómo compusimos el sistema: especialidades jurídicas y capacidades comunes
A partir del levantamiento de prácticas reales, configuramos una suite de agentes especializados y capacidades documentales compartidas que entró en uso en la firma. Las especialidades jurídicas incluyen due diligence, financiamiento convertible, equity financing, transacciones M&A, revisión sénior de documentación NVCA, reestructuraciones y contratos corporativos o comerciales.
La especialidad define qué preguntas investigar y qué criterios aplicar. Una investigación de due diligence necesita inventario, cobertura, issues y riesgos respaldados. La comparación de un SAFE con una nota convertible requiere otro esquema de términos. Un asunto de M&A puede exigir relaciones entre documentos de transacción, condiciones de cierre y modificaciones negociadas.
Ninguno de esos trabajos se resuelve de forma confiable conectando un modelo de lenguaje a una carpeta y pidiéndole «analiza todo».
La arquitectura combina funciones distintas y reutilizables:
- Agentes especializados, que delimitan el ámbito del asunto y el análisis que corresponde.
- Corpus y recuperación, para encontrar, inventariar e inspeccionar materiales autorizados.
- Herramientas y skills, que materializan tareas compartidas, coordinación y registro de evidencia.
- Controles y responsables, que establecen acceso, alcance, criterios de cierre y revisión profesional.
Estas categorías describen responsabilidades de ingeniería. La implementación concreta puede utilizar diferentes plataformas y combinaciones técnicas; eso no significa que sus permisos, herramientas o resultados sean intercambiables sin adaptación y pruebas.
Figura 2 · Arquitectura funcional: del asunto al expediente verificable
flowchart TB
A["ENCARGO<br/>Identidad del asunto, pregunta y responsable"] --> B["AGENTE ESPECIALIZADO<br/>Ámbito y plan de investigación"]
B --> C["RECUPERACIÓN<br/>Índice, metadatos y fuentes candidatas"]
C --> D["INSPECCIÓN AUTORIZADA<br/>Originales, versiones y pasajes"]
D --> E["CONTRASTE CONTEXTUAL<br/>Anexos y comunicaciones cuando sean materiales"]
E --> F["ANÁLISIS DE DOMINIO<br/>Hechos, diferencias e inferencias"]
F --> G["REGISTRO DE EVIDENCIA<br/>Hallazgo, fuente, estado y límites"]
G --> H{"¿Suficiencia y calidad<br/>para el alcance acordado?"}
H -->|"Pendiente"| I["SALIDA PARCIAL<br/>Incertidumbres y próximos pasos"]
H -->|"Respaldado"| J["SALIDA FUNDAMENTADA<br/>Hallazgos con referencias verificables"]
I --> K["ABOGADO RESPONSABLE<br/>Revisa, amplía y decide"]
J --> K
K --> L["RESULTADO REVISABLE<br/>Trabajo que puede continuar"]
M["CAPACIDADES COMPARTIDAS<br/>Corpus, coordinación y herramientas"] -.-> D
M -.-> G
N["GOBIERNO<br/>Permisos, aislamiento de asuntos y trazas"] -.-> C
N -.-> K
classDef base fill:#F5F4EE,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef focus fill:#F2B7EF,stroke:#242424,color:#242424,stroke-width:2px;
classDef pending fill:#EBDCF8,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef result fill:#EEFF20,stroke:#242424,color:#242424,stroke-width:2px;
classDef note fill:#EBDCF8,stroke:#6B5C7A,color:#242424,stroke-width:1px,stroke-dasharray:4 3;
class A,C,D,E,G,K base;
class B,F,J focus;
class H,I pending;
class L result;
class M,N note;
Figura 2. Capas lógicas, no una certificación de cada recorrido. Las conexiones punteadas muestran capacidades transversales de herramientas y gobierno. Una plataforma puede reunir varias funciones; el criterio importante es que ninguna quede sin responsable.
Lo que aprendimos al probar, no solo al diseñar
La diferencia entre una arquitectura razonable y un agente confiable apareció también en la evaluación técnica.
En una campaña histórica de diagnóstico, algunas ejecuciones lograron identificar asuntos y acceder a documentos originales, pero dejaron brechas en la comprobación de comunicaciones materiales, la atribución correcta del contexto o el cierre de la investigación. Los casos exigían remediación; no constituían una aceptación integral.
La lección fue concreta: hacer una llamada a una fuente no acredita haber completado la investigación. El sistema necesita conservar la identidad del asunto a lo largo del recorrido, comprobar los originales relevantes, registrar omisiones y producir una salida que se pueda contrastar con criterios de aceptación.
Esos hallazgos pertenecen a evaluaciones históricas específicas. Su valor estuvo en convertir situaciones concretas en requisitos para mejorar cobertura, recuperación de originales y continuidad del contexto. No describen automáticamente el estado actual de todos los agentes: esa calidad se sigue observando y evaluando por especialidad.
En el trabajo cotidiano, abogados sénior han valorado la especialización y profundidad de investigación de los agentes, según la retroalimentación comunicada por el equipo. Es una señal profesional importante: complementa las pruebas técnicas al mostrar que el tipo de investigación que diseñamos responde a necesidades reales de los abogados.
5. El entregable: una matriz que sobreviva a la conversación
Regresemos al ejemplo sintético de la ronda de inversión.
La pregunta es: «¿Se modificó una condición relevante y qué evidencia permite sostenerlo?».
Una respuesta breve podría mencionar dos versiones de un contrato. Una investigación bien preparada debería identificar cuál es el cambio, dónde aparece, qué fuente lo respalda, qué podría contradecirlo y qué falta para decidir.
La unidad mínima no es un párrafo persuasivo; es una afirmación vinculada a evidencia y estado de revisión.
| Pregunta del asunto | Qué sabemos | Qué lo respalda | Contradicción o límite | Qué falta verificar |
|---|---|---|---|---|
| ¿Cuáles fueron los términos iniciales? | Se localizaron condiciones en un term sheet. | Documento y cláusula identificados. | No prueba el acuerdo definitivo. | Contrastar con instrumentos posteriores. |
| ¿Cambió una cláusula? | Hay una diferencia entre dos borradores. | Versiones originales y pasajes comparados. | La fecha posterior no acredita aprobación. | Confirmar la versión autorizada. |
| ¿Existe una instrucción relevante? | Se encontró una comunicación material. | Correo consultado con autorización y contexto. | Una propuesta no equivale a aceptación. | Solicitar confirmación al responsable. |
| ¿Está completo el paquete? | Un documento remite a un anexo no localizado. | Referencia presente en una fuente revisada. | No localizado no significa inexistente. | Solicitar o recuperar el anexo. |
La tabla es un ejemplo conceptual, no un resultado extraído de un expediente real ni una pantalla certificada del sistema. Su propósito es mostrar el tipo de información que un profesional debería poder inspeccionar.
Los cuatro encabezados del carrusel —qué sabemos, qué lo respalda, qué se contradice y qué falta verificar— son campos de una misma ficha, no cuatro tareas que deban ejecutarse en un orden rígido.
Figura 3 · Anatomía de una unidad de evidencia
flowchart TB
Q["PREGUNTA DEL ASUNTO<br/>Alcance y condición que se quiere verificar"] --> F["FICHA DE HALLAZGO<br/>Una afirmación por unidad de evidencia"]
F --> A["QUÉ SABEMOS<br/>Hecho observado o inferencia identificada"]
A ~~~ B["QUÉ LO RESPALDA<br/>Original, versión, pasaje y procedencia"]
B ~~~ C["QUÉ SE CONTRADICE<br/>Diferencia, excepción o fuente discrepante"]
C ~~~ D["QUÉ FALTA VERIFICAR<br/>Pendiente y acción con responsable"]
D --> E{"REVISIÓN<br/>¿El hallazgo está suficientemente respaldado?"}
E -->|"No"| G["ESTADO PROVISIONAL<br/>Conservar límite y pedir aclaración"]
E -->|"Sí"| H["HALLAZGO UTILIZABLE<br/>Con referencia comprobable"]
G --> I["EXPEDIENTE DE EVIDENCIA<br/>Revisable y actualizable"]
H --> I
classDef base fill:#F5F4EE,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef decision fill:#F2B7EF,stroke:#242424,color:#242424,stroke-width:2px;
classDef pending fill:#EBDCF8,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef result fill:#EEFF20,stroke:#242424,color:#242424,stroke-width:2px;
class Q,F,A,B,C,D base;
class E decision;
class G pending;
class H,I result;
Figura 3. Los cuatro recuadros centrales son atributos del mismo hallazgo; las líneas invisibles los ordenan en vertical y no indican una secuencia de ejecución. Rosa marca la evaluación de respaldo; lila, el estado provisional; amarillo, el resultado revisable. Este es un contrato de salida propuesto, no una funcionalidad certificada por sí sola.
Esta estructura tiene una ventaja que suele pasar inadvertida: la conversación deja de ser el único lugar donde vive el trabajo. Un abogado puede cuestionar una premisa, incorporar una fuente nueva o pedir un análisis adicional sin perder el rastro de lo ya examinado.
6. No investigar más por sistema: investigar lo suficiente para el encargo
Leer todos los documentos siempre no es equivalente a investigar bien. Puede aumentar latencia, costo y exposición innecesaria de información sin mejorar la conclusión.
La condición de cierre debe definirse según el objetivo. Una consulta acotada sobre una cláusula y una investigación completa de due diligence no requieren el mismo universo documental ni el mismo estándar de cobertura.
Para formular una condición de cierre útil, conviene precisar la pregunta, las fuentes materiales, el criterio de suficiencia, las excepciones que bloquean la conclusión y la autoridad que acepta la salida.
Esto distingue dos resultados legítimos:
Salida respaldada: existen fuentes suficientes para responder dentro del alcance acordado, con referencias y reservas pertinentes.
Salida parcial controlada: falta acceso, un original, un anexo o una confirmación; el sistema conserva lo que sí verificó y plantea el paso necesario para continuar.
Una salida parcial no es necesariamente un error. Ocultar el faltante como si la investigación estuviera completa sí lo es.
7. Cómo evaluar la investigación y ampliar las pruebas de calidad
En el desarrollo ya utilizamos diagnósticos técnicos, revisión de fuentes y criterios especializados. Para fortalecer la evaluación funcional de cada recorrido, necesitamos además conjuntos representativos de casos, fuentes de referencia y revisión por abogados. El objetivo no es pedirle al mismo modelo que califique su propia respuesta: es comprobar la pertinencia y suficiencia del respaldo.
Los escenarios siguientes describen condiciones de aceptación para nuevas campañas o ampliaciones de pruebas; la tabla no representa seis ejecuciones adicionales ya certificadas:
| Escenario | Comportamiento esperado | Señal de fallo relevante |
|---|---|---|
| Dos versiones con una cláusula distinta | Recuperar originales y señalar diferencia y autoridad pendiente. | Tratar «más reciente» como «aprobado». |
| Anexo material no disponible | Declarar el faltante y su impacto en el alcance. | Inventar contenido del anexo o afirmar inexistencia. |
| Correo con propuesta de cambio | Incorporarlo cuando sea material y autorizado, sin elevar propuesta a aprobación. | Cerrar el asunto sin comprobar la decisión. |
| Archivo nuevo todavía no indexado | Utilizar una ruta autorizada cuando esté disponible o registrar el bloqueo. | Dar por completo el corpus solo porque el índice no lo mostró. |
| Dos asuntos parecidos o permiso denegado | Aislar correctamente el expediente y respetar accesos. | Usar datos de otro asunto o atribuir contenido no leído. |
| Referencia que no sostiene la frase | Corregir, matizar o abstenerse, dejando el pasaje comprobable. | Presentar una cita decorativa como evidencia. |
Las métricas deben distinguir calidad de referencia, omisión material, cobertura respecto del alcance y esfuerzo humano hasta una salida aceptada. Cuando se mide cobertura, debe existir un denominador definido; cuando se mide productividad, deben contabilizarse revisión y retrabajo, no solo los segundos que tardó el modelo en redactar.
En paralelo a las pruebas, contamos con uso observado y resultados operativos comunicados por los profesionales. Integrantes del equipo reportaron que determinadas búsquedas y recopilaciones de antecedentes para preparar procesos de onboarding —tareas especialmente dependientes de encontrar el documento adecuado— pasaron de días a horas. Se trata de experiencias sobre tareas específicas, no de una medición porcentual uniforme de todos los expedientes.
Estas señales complementan los criterios de calidad: muestran dónde la investigación asistida ya aporta valor y ayudan a escoger qué recorridos medir con mayor detalle. Para publicar una reducción global o un ROI de toda la operación seguirían haciendo falta muestras comparables y la contabilización del trabajo de revisión. No partimos de cero: utilizamos el comportamiento real para elevar el estándar de nuestras pruebas.
Lo que este caso enseña más allá del derecho
El punto de partida fue una firma legal, pero la lógica es transferible a expedientes de seguros, licitaciones, auditorías, documentación técnica y otras operaciones donde las decisiones dependen de múltiples fuentes.
No se trata de reutilizar una especialidad jurídica en otro sector. Cambiarán el vocabulario, los permisos, el riesgo y los criterios de aceptación. Lo que puede transferirse es la arquitectura de investigación: delimitar una pregunta, localizar fuentes, verificar originales, contrastar condiciones, conservar contradicciones y entregar un resultado revisable.
Para nosotros, esta es una diferencia central entre responder una pregunta y ayudar a completar una investigación profesional.
En este caso, ejecutar no significa responder con mayor seguridad. Significa dejar al profesional con evidencia que pueda comprobar y un trabajo que realmente pueda continuar.
La pregunta correcta para evaluar una IA documental ya no es únicamente «¿qué respondió?». También es: ¿qué sabemos, qué lo respalda, qué se contradice y qué falta verificar?
Ese es el puente hacia el tercer artículo de la saga: cómo convertir la evidencia investigada en documentos útiles, consistentes y sujetos a revisión, sin delegar en un modelo cada transformación repetible.
Suscríbete a nuestro newsletter
Insights de IA, casos reales y tendencias en Data Science. Contenido que importa, directo a tu inbox.
Sin spam. Solo senales relevantes.
