Consulta de validaciond errores

[germankay]

Cliente: consulto en la reunion Se sube igual el CSV si hay errores?

Podriamos ver la posibilidad de que el validate corra en la carga del documento.csv.

otra posibilidad seria un validador independiente, algo como una seccion donde se pueda verificar sinc argar el archivo, directamente al dataset.

tambien podria ser Que la validación se ejecute automáticamente (cuando cargue o modifique un arhcivo)

[germankay]

Opciones de Implementación

1. Validación Preventiva (Bloqueo en Carga)

Esta opción actúa como un "filtro de entrada". La validación se ejecuta en el momento exacto en que el usuario intenta guardar el recurso.

• Funcionamiento: Se utiliza el punto de extensión IResourceController. En el método before_create o before_update, se dispara la validación. Si el archivo no cumple con el esquema, el sistema arroja una ValidationError y detiene la subida.
• ¿Se sube el CSV si hay errores?: No. El sistema rechaza el archivo hasta que sea corregido.
• Pros: Garantiza que el catálogo de datos esté 100% limpio desde el origen.
• Contras: En archivos muy pesados, el usuario debe esperar a que termine el proceso para saber si su carga fue exitosa.

2. Validador Independiente (Sandbox / Pre-vuelo)

Crear una sección específica en el portal donde los usuarios puedan cargar un archivo para ser analizado sin necesidad de asociarlo a un dataset real.

• Funcionamiento: Una nueva ruta (ej. /dataset/validate) con un formulario de carga simple. El sistema procesa el archivo y devuelve un reporte detallado de errores (filas duplicadas, tipos de datos incorrectos, etc.).
• ¿Se sube el CSV si hay errores?: No. Es solo una herramienta de diagnóstico que no guarda archivos en el almacenamiento permanente.
• Pros: Excelente para la experiencia de usuario; permite corregir errores localmente antes de iniciar el proceso oficial de publicación.
• Contras: Requiere un paso adicional voluntario por parte del usuario.

3. Validación Automática en Segundo Plano (Asíncrona)

El archivo se sube normalmente, pero el sistema inicia un proceso de validación inmediatamente después de la carga.

• Funcionamiento: Al completar la carga, se dispara un background job (usando CKAN Worker / RQ). El recurso puede quedar marcado con un estado "Pendiente de Validación" y, una vez finalizado, se actualizan los metadatos con el resultado.
• ¿Se sube el CSV si hay errores?: Sí. El archivo permanece en el sistema, pero se le adjunta un "Sello de Calidad" o un reporte de errores visible.
• Pros: No interrumpe el flujo de carga; es la opción más escalable para archivos de gran volumen.
• Contras: Permite la existencia temporal de datos con errores en el repositorio.

[avdata99]

I think all these options have something interesting.

I think we need to have issues for these things (then we'll review the priority of each):

• Enable a new endpoint to run validations without datasets or resources. Something isolated like /validate/test-file. Here, users can run their tests if they want before uploading.

• Create a sysadmin configuration that allows validation in before_create and before_update to throw a ValidationError and prevent invalid file uploads. This should be set to fail by default; it's a bit aggressive but potentially valuable for some users of this extension.

• The manual validation button we have now is valuable; it should be kept in any scenario.