Pipeline documental resiliente para expedientes complejos
- 8xmás barato en entrada
- 4xmás barato en salida
- 1,18Mcaracteres por carga
- 189PDFs en el expediente mayor
El problema
Un pipeline documental acumulaba en memoria el texto bruto de expedientes con entre 3 y 189 PDFs cada uno, y lo pasaba como payload excesivo a los servicios siguientes.
Frágil, caro y con techo de escala en cuanto un expediente crecía.
La arquitectura
Rediseño desacoplado validado sobre 33 expedientes: consolidación de texto por expediente, artefacto intermedio persistente en Markdown, separación entre extracción y resumido, captura de metadatos estructurados desde el origen y migración a un modelo más eficiente con contexto de hasta 400K tokens.
60 tests cubren el flujo.
Impacto
- Coste de inferencia 8x menor en entrada y 4x menor en salida tras migrar de modelo
- Cargas de hasta 1,18 millones de caracteres, con contexto de hasta 400K tokens
- Validado sobre 33 expedientes de entre 3 y 189 PDFs cada uno
- De un flujo frágil en memoria a artefactos persistentes: cada fase falla y se reintenta sola
Stack
- Python
- Azure
- Blob Storage
- Document Processing
- Architecture Refactor