Serie PRYMA · Del trabajo real a la IA útil · Artículo 5 de 5 · Caso de estudio anonimizado
El resultado más interesante del proyecto no apareció durante una demostración.
Apareció después, cuando los profesionales comenzaron a incorporar los agentes a su jornada y pudimos observar esa utilización durante tres meses.
Más del 80 % de los colaboradores considerados en la medición interna utiliza los agentes desarrollados, con registros de entre 3 y 4 horas diarias de uso efectivo. Hablamos de actividad con los agentes, no de sesiones dejadas abiertas. No convertimos esa cifra en «horas ahorradas»: mide participación e intensidad de uso, dos señales distintas de la productividad.
La adopción llegó acompañada de experiencias operativas: procesamiento de lotes documentales en horas, testimonios de búsquedas y recopilaciones de antecedentes más rápidas y comentarios positivos de abogados sénior sobre la profundidad de investigación de agentes especializados.
Nada de eso ocurrió simplemente por configurar una interfaz conversacional. Detrás hay trabajo consultivo, arquitectura, fuentes, herramientas, acompañamiento, seguimiento del comportamiento y nuevas iteraciones. También hay una responsabilidad particular: conservar permisos documentales, trazabilidad y control en una actividad profesional sensible.
Durante esta serie contamos el recorrido: entender el trabajo, construir evidencia, ejecutar documentos y conservar el contexto para continuar.
En este último capítulo compartimos la parte que permite sostener esa evolución: cómo relacionamos adopción, entregables, calidad y gobierno para decidir qué mejorar y qué merece ampliarse.
1. La adopción dejó de ser una hipótesis
En una implementación empresarial es fácil confundir tres cosas: habilitar usuarios, poner agentes a su disposición y conseguir que vuelvan a utilizarlos porque les sirven para su trabajo.
En el proyecto se configuraron 11 agentes especializados, siete de ellos dirigidos a materias jurídicas, junto con capacidades compartidas para investigar documentación, estructurar evidencia, trabajar sobre archivos y coordinar tareas. Los agentes se integraron con el entorno documental y las herramientas de trabajo que la firma ya utilizaba, respetando la lógica de fuentes autorizadas.
Pero no es el número de agentes lo que mejor describe el resultado. La señal más relevante fue observar que su utilización se sostenía en la jornada cotidiana.
| Indicador | Resultado comunicado por la dirección del proyecto | Qué demuestra |
|---|---|---|
| Adopción | Más del 80 % de los colaboradores considerados en la medición interna utiliza los agentes | Penetración real de uso en la población observada; no equivale a contar licencias emitidas |
| Intensidad | Entre 3 y 4 horas diarias de uso efectivo registrado con agentes | Actividad de trabajo con la solución, no tiempo de una sesión abierta ni horas automáticamente ahorradas |
| Observación | Tres meses de seguimiento de actividad | Existencia de una ventana de uso real; no implica que todos los profesionales registren idéntica actividad cada día |
| Recepción profesional | Abogados sénior destacaron especialización y profundidad de investigación | Valoración cualitativa que ayuda a explicar por qué los agentes encuentran un lugar en el trabajo |
No inferimos cuántos colaboradores forman ese denominador a partir de las licencias técnicas: el indicador procede de las mediciones internas comunicadas por los responsables del proyecto. La ficha de KPI definitiva debe conservar el período exacto, la población elegible y la consulta que produjo el valor.
Es un resultado especialmente relevante por el tipo de trabajo: distintas especialidades jurídicas, información sensible y profesionales que deben poder verificar el contexto de sus decisiones.
¿Qué favoreció ese uso? Nuestra hipótesis, coherente con lo observado en el diagnóstico, es la combinación de especialización por asunto, fuentes pertinentes, capacidades ejecutables y baja fricción en la jornada. No afirmamos que la telemetría permita aislar el efecto causal de cada factor; sí nos permite saber dónde investigar, ajustar y acompañar.
La adopción no fue un indicador decorativo del despliegue: se convirtió en información para seguir diseñando el sistema.
2. Más allá del uso: señales concretas de trabajo ejecutado
La adopción responde una pregunta: ¿los profesionales están usando la capacidad? La siguiente es distinta: ¿qué trabajo les está ayudando a completar?
En este caso disponemos de tres señales complementarias con naturalezas de evidencia diferentes. Presentarlas correctamente permite mostrar valor sin atribuirles un mismo método de medición.
Producción documental: del análisis al archivo
El responsable de implementación reportó un lote de aproximadamente 80–100 documentos procesados en 2–3 horas de ejecución del sistema. Como referencia, la preparación manual de un volumen comparable se estimaba en 1–2 jornadas.
La cifra de procesamiento corresponde a un episodio de operación reportado por el equipo; la referencia manual es una estimación, no un segundo lote sometido a un ensayo cronometrado. Para calcular ahorro neto deberán incorporarse los tiempos humanos de preparación, supervisión, correcciones y aprobación.
Aun con esa distinción, el aprendizaje técnico es concreto: los agentes pueden combinar razonamiento especializado con skills y herramientas que transforman archivos reales, en lugar de limitarse a recomendar cómo prepararlos.
Investigación y recopilación: de días a horas
Integrantes de la firma comentaron que ciertas actividades de búsqueda de antecedentes y preparación de información para onboarding que antes requerían días podían abordarse ahora en horas.
Es una mejora reportada por usuarios para tareas determinadas, no una reducción porcentual medida sobre todos los expedientes ni una afirmación de que el onboarding completo quedó automatizado. La señal es valiosa porque identifica en qué fricciones la investigación documental asistida encuentra utilidad inmediata.
Especialización: utilidad reconocida por profesionales
Abogados sénior destacaron, según la retroalimentación recogida por el equipo, la profundidad de investigación y la especialización de los agentes por materia: due diligence, instrumentos convertibles, rondas de inversión, M&A, reestructuraciones y contratos, entre otras.
Esta valoración importa porque la utilidad de un agente jurídico no se mide solamente por la fluidez del texto. Importan la pertinencia de las fuentes, la estructura del análisis, los límites de una conclusión y la facilidad con que el profesional puede continuar el trabajo.
Estas tres señales no se suman para inventar un único «índice de productividad». Combinamos una experiencia documentada por el equipo implementador, testimonios sobre tiempos de búsqueda y valoraciones cualitativas de profesionales, junto con la medición independiente de adopción. Así obtenemos una lectura más rica de lo que está ocurriendo.
3. Cuatro señales para leer una capacidad de IA en operación
Una implementación de IA empresarial no se comprende mirando únicamente cuántas conversaciones genera. El valor aparece en una composición de capacidades: agentes de dominio, recuperación de fuentes, herramientas documentales, coordinación y revisión profesional.
Pero cuando esas capacidades ya están en uso, el siguiente problema de ingeniería es observar el sistema desde varias perspectivas a la vez.
La primera es la adopción. La segunda, el trabajo producido o mejorado. La tercera, la calidad de los entregables y la percepción del profesional. La cuarta, la posibilidad de gobernar esa ejecución a través de permisos, eventos y consumo.
Estas cuatro miradas no compiten por convertirse en un indicador único; responden preguntas operativas diferentes:
| Señal | Qué necesitamos entender | Qué decisión permite orientar |
|---|---|---|
| Uso y adopción | Quiénes regresan a utilizar una capacidad, con qué recurrencia y para qué encargos | Acompañamiento, simplificación de la experiencia y priorización de mejoras |
| Ejecución y tiempos | Qué trabajo se prepara, procesa o entrega y cuánto dura cada parte del recorrido | Optimizar herramientas, lotes, fuentes y cuellos de botella |
| Calidad y especialidad | Si el resultado responde a criterios profesionales y conserva evidencia y límites | Reforzar rúbricas, casos de prueba y revisión experta |
| Gobierno operativo | Qué fuentes se consultan, qué acciones se autorizan y cómo evoluciona el consumo | Ajustar controles de acceso, presupuesto y seguimiento |
Figura 1 · Cuatro dimensiones de una operación observable
flowchart TB
A["SISTEMA DE AGENTES EN USO<br/>Profesionales, fuentes y trabajo real"] --> B["LECTURA CONJUNTA<br/>Cuatro señales complementarias"]
B --> C["01 · ADOPCIÓN<br/>Más del 80 % de colaboradores observados<br/>3–4 horas diarias de uso efectivo<br/>Medición interna durante 3 meses"]
C -.-> D["02 · EJECUCIÓN<br/>Lote de 80–100 documentos en 2–3 horas<br/>Búsquedas y recopilación: de días a horas<br/>Resultados reportados por el equipo"]
D -.-> E["03 · CALIDAD Y EXPERIENCIA<br/>Valoración de abogados sénior<br/>Pruebas por especialidad y tipo de salida<br/>Aceptación según criterios profesionales"]
E -.-> F["04 · GOBIERNO<br/>Actividad, eventos y consumo<br/>Accesos documentales por usuario<br/>Autorizaciones según la acción"]
F --> G{"¿Qué decisión habilitan<br/>estas señales juntas?"}
G -->|Fricción o excepción| H["MEJORAR LA CAPACIDAD<br/>Fuente, herramienta, criterio o integración"]
G -->|Resultados reproducibles| I["AMPLIAR GRADUALMENTE<br/>Más casos con pruebas y control"]
N1["NOTA DE LECTURA<br/>Los cuatro bloques son dimensiones<br/>complementarias, no pasos cronológicos"] -.-> E
N2["NOTA METODOLÓGICA<br/>Uso, tiempos reportados y aceptación jurídica<br/>no son una misma métrica"] -.-> G
classDef base fill:#F5F4EE,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef focus fill:#F2B7EF,stroke:#242424,color:#242424,stroke-width:2px;
classDef pending fill:#EBDCF8,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef result fill:#EEFF20,stroke:#242424,color:#242424,stroke-width:2px;
classDef note fill:#EBDCF8,stroke:#6B5C7A,color:#242424,stroke-width:1px,stroke-dasharray:4 3;
class A,B,D,E,F base;
class C,I result;
class G focus;
class H pending;
class N1,N2 note;
Figura 1. Lectura vertical de cuatro dimensiones que se estudian conjuntamente. Las conexiones punteadas agrupan indicadores; no significan que un bloque «provoque» el siguiente. Rosa identifica decisiones; lila, necesidades de ajuste; amarillo lima, señales de adopción y oportunidades de ampliación. No se incluyen curvas o porcentajes de calidad no medidos.
La importancia de esta lectura está en que permite tomar decisiones diferentes ante situaciones diferentes. Un agente muy utilizado puede necesitar mejores fuentes o controles. Uno técnicamente correcto pero poco utilizado puede necesitar menos pasos y mejor integración en la jornada. Una herramienta que funciona bien en un lote representativo puede requerir más pruebas antes de aumentar el volumen.
La observabilidad no reemplaza la evaluación de calidad. Hace posible decidir dónde invertir mejor el esfuerzo de evaluación.
4. Gobierno y observabilidad: controlar la ejecución mientras ocurre
El seguimiento operativo es una de las capacidades más importantes del caso. La solución cuenta con registros técnicos de conversaciones, horas de agentes, actividad de índices y eventos de integración. Los responsables reportan además seguimiento por usuario y agente, mecanismos de control presupuestario y acceso documental condicionado a los permisos de cada profesional.
Esto permite observar qué capacidades se utilizan, dónde hay fallas de herramientas o comportamientos que requieren atención y qué componentes tienen costos que deben controlarse.
Hay una precisión de ingeniería relevante: disponer de logs no significa, por sí solo, que todas las respuestas estén validadas ni que exista un límite presupuestario automático. El monitoreo de consumo y las políticas de autorización cumplen responsabilidades distintas.
En una firma legal, la observabilidad debe diseñarse además con minimización de información sensible. Para estudiar adopción pueden bastar métricas agregadas y metadatos con acceso restringido. No es necesario publicar conversaciones, nombres de clientes o contenido jurídico en tableros de marketing.
La frontera de acceso no es la misma que la frontera de ejecución
El equipo reporta que los agentes consultan la documentación según los permisos individuales del usuario. Ese comportamiento es central para una solución que trabaja con expedientes confidenciales. La documentación técnica confirma conectores empresariales y permisos configurados en el entorno documental; la cobertura efectiva por usuario y por origen debe validarse en los recorridos sensibles de cada integración.
Desde la arquitectura debemos distinguir dos preguntas:
¿Puede esta persona consultar esta fuente? La respuesta depende de la identidad efectiva del usuario y de las reglas del repositorio. Una credencial de servicio que conecta sistemas no equivale automáticamente a la autorización documental del profesional.
¿Puede el sistema ejecutar esta acción? Aunque pueda leer una instrucción, todavía puede necesitar aprobación para enviarla a un tercero, alterar un registro, aprobar un documento o producir un efecto externo.
Por eso diseñamos una separación entre consulta, preparación, autorización y ejecución. Cuando una fuente no está permitida, el sistema no debe incorporar su contenido a la respuesta. Y cuando una acción exige aprobación, tener contexto suficiente no sustituye la autorización del responsable.
Figura 2 · Dos fronteras de autorización que no deben confundirse
flowchart TB
A["SOLICITUD DEL PROFESIONAL<br/>Identidad y asunto identificados"] --> B["RECUPERACIÓN DOCUMENTAL<br/>Conector y repositorio gobernados"]
B --> C{"FRONTERA 1<br/>¿Tiene acceso a esta fuente?"}
C -->|No| D["LÍMITE DOCUMENTAL<br/>No revelar ni citar contenido restringido"]
C -->|Sí| E["EVIDENCIA AUTORIZADA<br/>Inspeccionar documento pertinente"]
D --> F["SALIDA ACOTADA<br/>Pendiente o ausencia de evidencia utilizable"]
E --> G["AGENTE Y HERRAMIENTAS<br/>Investigar o preparar un resultado"]
G --> H["PROPUESTA DE SIGUIENTE PASO<br/>Con fuentes, alcance y estado"]
H --> I{"FRONTERA 2<br/>¿La acción requiere autorización?"}
I -->|No| J["RESPUESTA PERMITIDA<br/>Consultar o preparar dentro del alcance"]
I -->|Sí| K{"¿Aprobación válida<br/>del responsable?"}
K -->|No| L["NO EJECUTAR<br/>Solicitar validación o detener el paso"]
K -->|Sí| M["EJECUCIÓN AUTORIZADA<br/>Solo la operación y alcance aprobados"]
F --> N["REGISTRO Y GOBIERNO<br/>Uso, evento, excepción y consumo"]
J --> N
L --> N
M --> N
N --> O["OPERACIÓN OBSERVABLE<br/>Revisión de permisos y presupuesto"]
P["IDENTIDAD<br/>Permiso de usuario ≠ credencial<br/>técnica entre servicios"] -.-> C
Q["RESPONSABILIDAD<br/>Leer una fuente ≠ permiso<br/>para actuar sobre el proceso"] -.-> I
classDef base fill:#F5F4EE,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef decision fill:#F2B7EF,stroke:#242424,color:#242424,stroke-width:2px;
classDef pending fill:#EBDCF8,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef result fill:#EEFF20,stroke:#242424,color:#242424,stroke-width:2px;
classDef note fill:#EBDCF8,stroke:#6B5C7A,color:#242424,stroke-width:1px,stroke-dasharray:4 3;
class A,B,E,G,H,N base;
class C,I,K decision;
class D,F,L pending;
class J,M,O result;
class P,Q note;
Figura 2. Arquitectura de control propuesta a nivel funcional: dos decisiones diferentes, una de acceso a información y otra de autorización de acciones. El equipo reporta permisos documentales por usuario; el esquema describe el comportamiento exigido y no certifica cada ruta de denegación, origen documental o permiso de ejecución existente. No se muestran proveedores ni datos sensibles.
El gobierno operativo tiene una función muy práctica: ayudar a introducir nuevas capacidades sin perder control sobre las fuentes, los responsables y el costo de la operación. No es una capa que se añade después de conseguir adopción. Es una condición para mantenerla con confianza.
5. La calidad tiene una disciplina de pruebas propia
Medir uso es indispensable para comprender la adopción. Pero en una firma de abogados, una tarea utilizada no equivale automáticamente a una tarea aprobada jurídicamente.
El proyecto dispone de rúbricas diferenciadas por especialidad y por componente, con dimensiones como recuperación de evidencia, razonamiento, coordinación, operaciones Word y ciclo documental. También existen validaciones técnicas locales y diagnósticos sobre ejecuciones concretas.
Las pruebas nos permitieron identificar discrepancias entre lo esperado y lo observado y diseñar cambios. Por ejemplo, recuperar una referencia desde un índice no demuestra que se haya leído la fuente original; un archivo Word creado no acredita automáticamente que respete cada formato; y una tarea marcada como terminada no prueba que haya recibido aprobación profesional.
La documentación histórica incluye diagnósticos que exigieron remediación y no deben proyectarse como una puntuación de aceptación de la configuración actual. De forma similar, los recorridos formales previstos para los once agentes no cuentan todavía con una acreditación documental homogénea. Esto es un pendiente de cobertura de pruebas, no una negación del uso real medido ni de los resultados operativos reportados.
Conviene distinguir tres clases de evidencia, que tienen valor por sí mismas:
| Evidencia | Qué podemos comprobar | Qué todavía requiere otra prueba |
|---|---|---|
| Capacidad desarrollada | Un agente, una skill o una integración existe y tiene contrato de trabajo | Que cada recorrido posible cumpla los criterios de aceptación |
| Ejecución observada | Una unidad, un lote o una investigación se ejecutó con cierto resultado | Que el resultado sea repetible para todos los casos equivalentes |
| Aceptación profesional e impacto | La salida cumple criterios y contribuye al trabajo en un contexto definido | Que exista un porcentaje de ahorro global sin línea base comparable |
En la práctica, una rúbrica útil se parece a lo que el profesional realmente necesita recibir:
| Tipo de trabajo | Qué evaluar | Evidencia concreta |
|---|---|---|
| Investigación documental | Pertinencia, originales y contradicciones | Fuentes, versiones, cobertura y pendientes |
| Especialidad jurídica | Calidad del análisis y límites del criterio | Revisión experta sobre un encargo representativo |
| Transformación Word | Fidelidad a plantilla, datos y cambios permitidos | DOCX verificable y estado de revisión |
| Continuidad del encargo | Contexto, estado y responsable del siguiente paso | Traspaso recibido y comprobación de faltantes |
| Gobierno | Acceso y acciones según permisos aplicables | Casos positivos, negativos y eventos auditables |
La observabilidad y las pruebas se refuerzan. Una incidencia detectada en uso genera un nuevo escenario de prueba. Una corrección validada puede incorporarse a la siguiente versión. La evaluación se convierte así en un mecanismo de desarrollo, no solamente en un trámite de cierre.
6. Qué tenemos medido y qué estamos profundizando
No estamos partiendo de cero con los indicadores. Tenemos adopción observada durante tres meses, telemetría de actividad, control presupuestario y resultados operativos compartidos por el equipo. El siguiente nivel consiste en vincular el uso de una capacidad con los resultados aceptados de cada tipo de trabajo.
Para eso diseñamos mediciones en unidades diferentes, cada una con su fuente y su decisión:
| Indicador | Unidad de análisis | Qué ya observamos y qué conviene profundizar |
|---|---|---|
| Adopción | Colaboradores activos sobre población elegible definida para un período | Hay medición interna de adopción sostenida. Conviene mantener denominador, recurrencia y ventana comparables entre cortes. |
| Intensidad de uso | Tiempo de actividad efectiva con agentes, no duración de sesión abierta | Tenemos registros diarios de trabajo con los agentes. Para analizar tendencias conviene distinguir jornadas y tipos de interacción. |
| Procesamiento documental | Documentos únicos y duración del pipeline | Existe una experiencia cuantificada de lote. La siguiente capa une cada documento con revisión, corrección y aceptación. |
| Búsqueda y recopilación | Tiempo humano por pregunta o conjunto documental comparable | Profesionales reportan mejoras en tareas concretas. Esas tareas pueden convertirse en muestras repetibles con inicio y cierre definidos. |
| Aceptación profesional | Salidas aprobadas sobre salidas evaluadas, por especialidad | Existen rúbricas y pruebas de distinto alcance. Conviene consolidar resultados funcionales por agente y caso representativo. |
| Costo del trabajo aceptado | Consumo tecnológico más esfuerzo humano imputado, por salida aprobada | El presupuesto y el uso están bajo seguimiento; el costo unitario integral necesita vincularse a cada proceso y su aceptación. |
Una ficha de medición que permite aprender sin confundir indicadores
Una buena ficha interna de resultados conserva al menos seis elementos: población o universo, ventana de observación, definición exacta del evento, fuente del dato, unidad de trabajo y regla de aceptación. Por ejemplo, para hablar de intensidad de uso necesitamos saber qué registros cuentan como actividad del agente y qué días entran en el cálculo. Para hablar de productividad documental necesitamos distinguir una unidad generada de un documento finalmente aceptado.
También importa la confidencialidad. Una organización puede identificar patrones de adopción por especialidad o rol con datos agregados y acceso limitado a las trazas; estudiar utilidad no exige abrir conversaciones jurídicas sensibles a todos los responsables. La observabilidad puede ser profunda y, a la vez, proporcional.
El uso efectivo no equivale automáticamente a horas ahorradas; una corrida de documentos tampoco incluye por sí sola todo el trabajo de revisión. En lugar de enfrentar esas métricas, las relacionamos: la adopción señala dónde hay utilidad cotidiana, la aceptación confirma calidad y el esfuerzo completo permite cuantificar el impacto por proceso.
Un ejemplo de evaluación posterior sería elegir tipos documentales comparables, registrar duración de preparación, supervisión, retrabajo y revisión, y calcular el esfuerzo por documento aceptado. Para investigación, podemos evaluar fuentes pertinentes, omisiones y tiempo humano hasta una respuesta revisable. Para continuidad, los traspasos que el siguiente responsable recibe sin tener que reconstruir información material.
La medición permite convertir una experiencia prometedora en una capacidad cuya evolución podemos defender con datos, sin reducirla a una métrica aislada.
7. La ejecución observada se convierte en un ciclo de mejora
Una capacidad empresarial realmente útil exige una responsabilidad después de desplegarla: seguir observando cómo se comporta para mejorarla.
El trabajo no termina con la publicación de un agente. Una fuente puede cambiar; una especialidad incorpora nuevos criterios; una plantilla se actualiza; una integración devuelve un error inesperado; los usuarios piden otra forma de organizar el resultado.
La ingeniería necesita un proceso para recibir esas señales, priorizarlas y transformarlas en mejoras verificables.
Figura 3 · El ciclo de mejora continua de una capacidad de IA
flowchart TB
A["USO REAL DE AGENTES<br/>Profesionales ejecutan trabajo"] --> B["OBSERVAR<br/>Adopción, resultados, eventos y gasto"]
B --> C["IDENTIFICAR OPORTUNIDAD<br/>Fricción, error, excepción o nuevo valor"]
C --> D["DEFINIR HIPÓTESIS<br/>Qué cambia y qué resultado esperamos"]
D --> E["AJUSTAR CAPACIDAD<br/>Agente, corpus, skill, regla o integración"]
E --> F["PROBAR CON CRITERIOS<br/>Caso representativo y regresión"]
F --> G{"¿Cumple la calidad<br/>y los límites requeridos?"}
G -->|No| H["CORREGIR Y VOLVER A PROBAR<br/>Conservar evidencia del cambio"]
H -.-> E
G -->|Sí| I["HABILITAR VERSIÓN<br/>Con alcance y responsables definidos"]
I --> J["VOLVER A OBSERVAR<br/>Uso y resultados posteriores al cambio"]
J --> K{"¿El beneficio es<br/>consistente y gobernable?"}
K -->|Ajustar| C
K -->|Sí| L["AMPLIAR GRADUALMENTE<br/>Más casos, equipos o volumen"]
L -.-> A
N1["REGLA DE EVALUACIÓN<br/>La aceptación depende<br/>del tipo de trabajo"] -.-> F
N2["REGLA DE ESCALA<br/>Adopción, calidad y control<br/>se estudian conjuntamente"] -.-> K
classDef base fill:#F5F4EE,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef decision fill:#F2B7EF,stroke:#242424,color:#242424,stroke-width:2px;
classDef pending fill:#EBDCF8,stroke:#242424,color:#242424,stroke-width:1.5px;
classDef result fill:#EEFF20,stroke:#242424,color:#242424,stroke-width:2px;
classDef note fill:#EBDCF8,stroke:#6B5C7A,color:#242424,stroke-width:1px,stroke-dasharray:4 3;
class A,B,C,D,E,F,I,J base;
class G,K decision;
class H pending;
class L result;
class N1,N2 note;
Figura 3. Ciclo metodológico vertical para iteración y escalamiento controlado. Los controles ilustran cómo debe gestionarse la evolución; no constituyen evidencia de que cada escenario o autorización de despliegue esté hoy automatizado.
En este ciclo, la mejora no se reduce a reescribir instrucciones de un modelo. Puede estar en una búsqueda que debe consultar el original, una herramienta Word que necesita conservar mejor un formato, una regla que evita duplicar documentos o una condición de traspaso que hace visible una aprobación pendiente.
La mejor intervención es la que resuelve la fricción observada, aunque no implique crear otro agente.
8. Qué merece escalar: cinco preguntas y cuatro decisiones
La forma más práctica de llevarse el método de PRYMA a otra organización es evaluar cada capacidad con cinco preguntas:
- ¿Se usa de verdad? Usuarios elegibles, actividad efectiva, recurrencia y fricción para incorporarla al trabajo.
- ¿Entrega trabajo útil? Tipo de resultado, calidad aceptada y profesional que determina su conformidad.
- ¿Mejora el recorrido? Preparación, supervisión, revisión, retrabajo y esperas comparables; no solo velocidad de un modelo.
- ¿Puede gobernarse? Permisos, autoridad para ejecutar, eventos, costos y responsable de las excepciones.
- ¿Podemos mantenerla? Pruebas de regresión, versiones, documentación y capacidad de corregir antes de aumentar el alcance.
Las respuestas deben llevar a decisiones operativas, no a una calificación decorativa:
| Qué muestra la evidencia | Decisión de ingeniería |
|---|---|
| Uso alto, calidad consistente y controles comprobados | Ampliar gradualmente el alcance con nuevas pruebas y seguimiento |
| Uso alto, pero errores de fuentes o documentos | Mejorar recuperación, skills o validaciones antes de ampliar autonomía |
| Buena calidad técnica, pero baja utilización | Revisar integración con la jornada, formación, interfaz o fricción de acceso |
| Valor potencial, pero permisos o aprobaciones sin validar | Mantener asistencia bajo supervisión mientras se fortalecen los controles |
A veces escalar será permitir más volumen de un flujo ya comprendido. Otras veces, la mejor decisión será perfeccionar una skill documental, ajustar un corpus o simplificar un traspaso. La ingeniería de IA madura no consiste en multiplicar agentes, sino en ampliar aquello que demuestra utilidad y puede sostenerse con control.
Lo que nos deja esta serie
Durante cinco capítulos compartimos un caso real de transformación en una firma legal. La secuencia importa: empezamos observando cómo trabajan los abogados, convertimos sus necesidades en capacidades de investigación, dimos a los agentes herramientas para ejecutar sobre documentos y estudiamos cómo conservar el contexto entre responsables.
La última pieza es operar esa ingeniería como una capacidad que se puede observar y mejorar.
Los resultados de esta experiencia no caben en una cifra única. Tenemos adopción sostenida medida, un ejemplo concreto de producción documental, testimonios de investigación más rápida, valoración positiva de profesionales sénior y capacidades de seguimiento, permisos y control presupuestario. Juntos muestran que la IA ya participa de la operación cotidiana y que disponemos de información para seguir perfeccionándola.
Lo que sigue tiene objetivos concretos: ampliar la aceptación formal por especialidad, comparar más tipos de encargos, ensayar rutas sensibles de autorización y unir consumo, revisión y costo por entregable aceptado. La dirección del trabajo ya no es averiguar si los profesionales están dispuestos a utilizar agentes, sino identificar qué capacidades generan más valor en qué circunstancias y cómo sostenerlo a medida que aumenta el volumen.
Ese aprendizaje tiene un componente humano que no conviene ocultar detrás de dashboards. La valoración de profesionales sénior muestra que la especialización importa: para quien revisa una operación jurídica, el beneficio no reside en una respuesta llamativa, sino en disponer de mejores antecedentes y salidas con las que pueda ejercer su criterio. La instrumentación ayuda a saber dónde concentrar la siguiente mejora de ingeniería.
Aunque este proyecto nació entre abogados, el método no pertenece a una industria ni a un proveedor. Sirve allí donde personas especializadas deben investigar antecedentes, preparar entregables, coordinar responsables y decidir con evidencia.
En PRYMA sintetizamos ese enfoque en tres disciplinas:
Consultoría para entender profundamente el trabajo.
Ingeniería para construir las capacidades que lo ejecutan.
Evaluación y gobierno para observarlas, mejorarlas y ampliar su alcance.
La ejecución es el producto.
¿Hablamos de tu caso?
Diseñamos, construimos y evaluamos capacidades de IA que se incorporan al trabajo real.
Hablar con un ingeniero
