Requisiti e controlli
Il convertitore applica le Linee guida AgID recanti regole tecniche per l'apertura dei dati e il riutilizzo dell'informazione del settore pubblico (D.Lgs. 36/2006), il profilo nazionale dei metadati DCAT-AP_IT e i controlli del validatore CSV di dati.gov.it.
Formato e codifica
- CSV conforme all'RFC 4180: separatore virgola, virgolette doppie come delimitatore di testo, fine riga CRLF, una riga di intestazione.
- Codifica UTF-8 senza BOM; i file in Windows-1252, ISO-8859-1 o UTF-16 vengono convertiti.
- Una sola tabella per file: righe di titolo, note e totali vengono individuate e rimosse.
- Ogni riga ha lo stesso numero di campi dell'intestazione.
Contenuto dei dati
| Controllo | Regola | Correzione |
|---|---|---|
| Intestazioni | Nomi univoci, non vuoti, in minuscolo, senza spazi, accenti o simboli | Normalizzazione (es. «% PRESENZA» → perc_presenza) |
| Date | Formato ISO 8601 AAAA-MM-GG, date esistenti | Conversione da gg/mm/aaaa, gg.mm.aa, ecc. |
| Numeri | Punto decimale, nessun separatore delle migliaia, nessun simbolo di unità | «1.234,56 €» → 1234.56 (l'unità va nel dizionario dati) |
| Valori mancanti | Cella vuota, non «n.d.», «-», «N/A» | Sostituzione con cella vuota |
| Codici | Telefoni, CAP, codici ISTAT conservano gli zeri iniziali | Trattati come testo |
| Testo | Niente spazi superflui, accenti con lettere accentate, grafia coerente | Pulizia spazi, «Viabilita'» → «Viabilità», iniziali maiuscole |
| Righe | Niente righe vuote, duplicate o di totale | Eliminazione (le duplicate su conferma) |
| Coordinate | WGS84 (EPSG:4326) in gradi decimali, un valore per cella, nell'intervallo valido | Una riga per punto, scambio lat/lon invertite |
Il punteggio di qualità parte da 100 e sottrae 10 punti per ogni errore e 3 per ogni avviso.
Dati personali
Sono rilevati, dal nome della colonna e dal contenuto: nominativi, codici fiscali, email, telefoni, IBAN, documenti, date di nascita, indirizzi di residenza, targhe, redditi e categorie particolari (salute, dati giudiziari, ecc.). Azioni disponibili:
- mantieni
- Il dato resta invariato. Richiede l'indicazione della base giuridica (es. obbligo di pubblicazione).
- rimuovi
- La colonna non compare nei file esportati.
- maschera
- Rimane visibile solo una parte del valore (es. m***@ente.it, 099****79, M. R.).
- pseudonimizza
- Il valore è sostituito da un codice HMAC-SHA256 con chiave segreta: le righe della stessa persona restano collegabili.
- generalizza
- Il valore è ridotto a un livello meno preciso (es. solo dominio email, solo anno, prefisso telefonico).
Le conversioni sono visibili solo agli utenti dello stesso ente. Il file originale caricato si può eliminare in qualsiasi momento dall'area dell'ente, conservando metadati, report e pacchetto generato; il superamministratore può impostare un periodo massimo di conservazione dei file originali. Il sale della pseudonimizzazione non viene mai esportato.
Metadati DCAT-AP_IT
Obbligatori
- Titolo (dct:title)
- Descrizione (dct:description)
- Identificativo (dct:identifier)
- Tema (dcat:theme)
- Data di ultima modifica (dct:modified)
- Frequenza di aggiornamento (dct:accrualPeriodicity)
- Licenza della distribuzione (dct:license)
- URL di accesso alla distribuzione (dcat:accessURL)
- Titolare (dct:rightsHolder) con codice IPA
Raccomandati
- Parole chiave (dcat:keyword)
- Punto di contatto (dcat:contactPoint)
- Data di rilascio (dct:issued)
- Copertura temporale (dct:temporal)
- Copertura geografica (dct:spatial)
- Lingua (dct:language)
Temi, frequenze, formati e lingue usano i vocabolari dell'Ufficio delle pubblicazioni UE; le licenze il vocabolario controllato OntoPiA. Licenza di riferimento: CC BY 4.0.
Formati e stelle
| Formato | Media type | Livello |
|---|---|---|
| CSV (RFC 4180, UTF-8) | text/csv | 3 stelle su 5 |
| JSON | application/json | 3 stelle su 5 |
| Excel (XLSX – Office Open XML) | application/vnd.openxmlformats-officedocument.spreadsheetml.sheet | 3 stelle su 5 |
| OpenDocument (ODS) | application/vnd.oasis.opendocument.spreadsheet | 3 stelle su 5 |
| GeoJSON (RFC 7946) | application/geo+json | 3 stelle su 5 |
| KML (OGC) | application/vnd.google-earth.kml+xml | 3 stelle su 5 |
| JSON-LD (Linked Data) | application/ld+json | 4 stelle su 5 |
| RDF Turtle (Linked Data) | text/turtle | 4 stelle su 5 |