di Maria Claudia Bodino, Alessandro Ercolani, Simone Piunno, Giovanni Ruggiero

This post is available also in English

Quando si parla di dati aperti non si scherza: il patrimonio informativo di un Paese è un giacimento che, se trattato con cura e attenzione, seguendo una governance condivisa per poter offrire dati di qualità e di impatto, può generare enorme valore per i cittadini e le imprese.

Cosa si intende per “dati aperti” o “open data”? Secondo l’Open Knowledge Foundation, i dati aperti sono:

“Dati che possono essere liberamente utilizzati, riutilizzati e ridistribuibili da chiunque, soggetti eventualmente alla necessità di citarne la fonte e di condividerli con lo stesso tipo di licenza con cui sono stati originariamente rilasciati.”

Le Pubbliche Amministrazioni generano gran parte del patrimonio informativo collettivo di una nazione e il legislatore ha voluto che tale patrimonio fosse aperto e facilmente fruibile per promuovere la trasparenza, facilitare l’accesso alle informazioni, supportare i policy maker nei processi decisionali e generare opportunità di business per imprese e startup.

In questa ottica il Codice dell’Amministrazione Digitale (CAD) disciplina “l’open data by default” (articolo 52 comma 2) e impone la disponibilità di dati tra pubbliche amministrazioni (articolo 50). Il Piano Triennale dedica un intero capitolo ai dati delle amministrazioni, definendo una chiara strategia che supporti con azioni precise l’implementazione di queste disposizioni del CAD.

In questo articolo vogliamo condividere lo stato dell’arte per gli open data della Piattaforma Digitale Nazionale Dati (PDND), che precedentemente era nota come Data Analytics Framework (DAF) e ha assunto il nuovo nome nell’articolo 50-ter del CAD.

Fin dalla sua ideazione, la PDND si è posta gli obiettivi di:

• tracciare una strategia nazionale chiara, al fine di evitare la frammentazione di iniziative locali dedicate alla gestione e alla pubblicazione dei dati;
• supportare la produzione e pubblicazione di open data.

Molte iniziative, infatti, oggi non riescono a decollare o non ricevono la giusta valorizzazione perché restano difficilmente accessibili: in alcuni casi, ad esempio, perché non rispettano gli standard di metadatazione che aiutano a “leggere” meglio i dati raggiungendo un pubblico più vasto; in altri casi perché i dataset non vengono aggiornati con regolarità.

La piattaforma PDND è versatile e disponibile in diverse modalità per rispondere ad esigenze diverse. In particolare è disponibile:

1. come portale open data in modalità SaaS (Software as a Service);
2. come portale open data in modalità on-premise (CKAN via Docker).

PDND come portale SaaS

Si stima che siano circa 14 mila le Pubbliche Amministrazioni presenti nel nostro Paese, di cui poco meno di 8 mila sono rappresentate da Comuni.

Ad oggi, seppure siano già numerose le PA centrali e locali che pubblicano dati aperti (sono circa 400 le organizzazioni presenti sul portale nazionale open data dati.gov.it), molte non possiedono le competenze e le risorse per promuovere attraverso i dati la trasparenza e la partecipazione attiva dei cittadini in modo sistematico.

Il portale open data della PDND distribuito in modalità SaaS (Software as a Service) facilita il compito perché è immediatamente disponibile per tutte le PA che ne fanno richiesta, non richiede costi di installazione né di gestione: dopo aver siglato una convenzione tra il Team per la Trasformazione Digitale e la PA stessa, sarà sufficiente definire i ruoli all’interno della piattaforma.

Grazie ad una procedura di configurazione snella e veloce, la PA può avere a disposizione un portale open data personalizzato con i propri colori e i propri loghi, attraverso il quale raccontare e farsi raccontare, con la garanzia di conformità al profilo nazionale DCAT-AP_IT necessario per descrivere i dati secondo le specifiche definite dal programma ISA della Commissione europea, e con un team di esperti pronti a supportarla. Sgravate dagli oneri di gestione del portale, le PA aderenti si dovranno occupare unicamente di identificare quali dataset pubblicare, eseguire le procedure di caricamento dei dati e mantenerli aggiornati.

Utilizzando la PDND come portale SaaS si hanno a disposizione anche tutti gli altri strumenti offerti dalla piattaforma: ad esempio i cittadini, i giornalisti, le imprese e la PA stessa possono interrogare i dati attraverso le API offerte e creare Data Story e Dashboards attraverso gli strumenti già integrati nella piattaforma.

Su questo fronte abbiamo già raccolto numerose manifestazioni di interesse e ad oggi stiamo sperimentando con alcune pubbliche amministrazioni.

PDND come portale CKAN con Docker

La PDND include al suo interno un catalogo di dati pubblici raccolti dai siti delle PA. Il catalogo è gestito mediante la piattaforma CKAN, un software open source di gestione di dati, molto diffuso in ambito europeo per ricercare dati pubblicati da svariate organizzazioni. CKAN infatti è la piattaforma di catalogazione utilizzata nel Portale europeo dei dati e negli analoghi siti di molti Stati membri.

Per poter documentare nel catalogo il numero sempre crescente di PA italiane che rendono disponibili dati pubblici, due anni fa abbiamo deciso di estendere le funzionalità di base offerte da CKAN, per consentire da un lato di portare a sistema sempre più PA, centrali e locali, e dall’altro di fornire uno strumento per accelerare il recepimento, da parte delle PA stesse, degli standard europei e italiani in ambito di cataloghi dati (ci riferiamo nello specifico a DCAT-AP e alla sua estensione italiana DCAT-AP_IT).

Le province autonome di Trento e di Bolzano avevano già iniziato a lavorare congiuntamente in tal senso e, nello spirito di massimo riutilizzo che ci caratterizza, abbiamo deciso di partire dal loro lavoro per estendere ulteriormente CKAN lungo tre direttrici:

1. creare un harvester, cioè una componente software in grado di raccogliere metadati in maniera automatica e da più sorgenti eterogenee, sempre più robusto e pienamente conforme a tutte le specifiche DCAT-AP_IT, come pubblicate da AgiD;
2. estendere il modulo web di CKAN, utilizzato per il caricamento dei dati, con tutti quei metadati obbligatori, raccomandati e opzionali del profilo DCAT-AP_IT, tenendo anche in considerazione i vocabolari controllati richiesti dalle specifiche europee e quello italiano sulle licenze;
3. estendere le funzionalità di filtraggio per catturare alcuni elementi chiave del profilo (il tema, il sotto tema, il catalogo d’origine), inseriti proprio con l’intento di agevolare la scoperta dei dati disponibili nel catalogo.

Questo ha dato luogo a una revisione significativa dell’estensione DCAT-AP_IT per CKAN già creata dalle province autonome di Trento e di Bolzano, che abbiamo deciso di rendere disponibile in open source, dando così concretezza ad alcune azioni previste dal Piano Triennale.

A tal fine abbiamo inserito la piattaforma CKAN, insieme a tutte le estensioni da noi create e usate, in un contenitore virtuale container docker, cioè un’unità software isolata che impacchetta tutto il codice e tutte le sue dipendenze, così da potersi installare facilmente in diversi ambienti operativi. Il docker CKAN risultante è stato poi pubblicato sulla piattaforma Developers Italia.

Fin da subito la comunità open data e alcune PA si sono dimostrate interessate a questa soluzione. Ad oggi alcune PA hanno deciso di utilizzare:

• la sola estensione DCAT-AP_IT (ad esempio il Comune di Roma Capitale);
• tutto il docker CKAN, per migrare da piattaforme precedentemente proprietarie a soluzioni più aperte e più interoperabili anche con il livello centrale (il caso, per esempio, del Comune di Bologna) o per avviare nuove iniziative di pubblicazione di dati aperti con costi decisamente più contenuti (come il caso, per esempio, di diversi piccoli comuni pugliesi).

[Nota] Il Comprehensive Knowledge Archive Network (CKAN) è un sistema open source per l’immagazzinamento, la catalogazione e la distribuzione di dati. Viene usato da molte pubbliche amministrazioni nel mondo per la gestione dei dati pubblici ed è una componente fondamentale della PDND.

DAF e open data: le Pubbliche Amministrazioni raccontano le loro esperienze

Comune di Torino

La Città di Torino nel 2017 ha riconosciuto l’importanza dei dati e della loro gestione come risorsa principale nell’era dell’informazione attraverso la creazione di uno specifico data team e tramite la razionalizzazione e l’individuazione di differenti piattaforme per la raccolta, l’esposizione e l’analisi dei dati.

I dati raccolti riguardano i servizi che la PA eroga ma anche segnalazioni dei cittadini, dati provenienti da immagini, informazioni che arrivano dall’analisi dei social e di articoli web.

Sono state avviate diverse iniziative che vanno dall’analisi delle heatmap per la definizione del tracciato della metropolitana della linea 2, all’analisi dell’impatto sulla città di eventi come il Salone del Libro , al progetto CityMap per supportare i cittadini nella scelta delle aree dove sia meglio vivere in base alle loro esigenze e alla caratteristica dell’area , ecc.

Il progetto CityMap ha una doppia valenza: strumento di governance per l’Ente e strumento di open data “aggregabili e visualizzabili” per i cittadini e per le imprese. L’obiettivo è creare degli indicatori, per valutare il quartiere sotto vari aspetti tra cui la sua vitalità, la sua attrattività, la sua peculiarità, le sue criticità, etc etc.

Gli indicatori di quartiere possono altresì misurare e restituire il valore dell’impatto delle politiche e delle azioni attuate su specifiche tematiche, in modo che il governo della città possa valutare e modificare le sue politiche ed azioni sul terreno anche sulla scorta dei risultati e degli impatti che le politiche e le azioni hanno generato sugli indicatori.

Il progetto è stato gestito in collaborazione con il Team per la Trasformazione Digitale attraverso la sperimentazione della piattaforma DAF.

Il valore aggiunto offerto dalla piattaforma DAF è la capacità di fornire un repository open data avanzato che contempla la pubblicazione dei dataset in formato Linked Open Data, l’identificazione di modelli, formati dati, metadatazione e classificazione secondo le linee guida nazionali (DCAT-AP_IT) ma allo stesso tempo rendere disponibili strumenti di analisi/data telling e di esposizione dati mediante API.

DAF, quindi oltre a fornire funzionalitá di raccolta di dataset (proprie di ogni contenitore web di dati), affianca strumenti di Data Telling per la creazione di storie, widget e dashboard sui dataset caricati. Gli strumenti di Data Telling sul dato valorizzano il dato stesso e al contempo il fondamentale ruolo che i cittadini hanno per far emergere (tramite i dati) problemi e istanze.

A titolo di esempio, una sperimentazione ha riguardato la creazione di widget per definire una narrazione sul quartiere di San Salvario basata sui dataset delle segnalazioni del Contact Center della Polizia Municipale e della presenza di attività commerciali. Dal punto di vista operativo si è verificato come accedere ai dataset, schedare dataset, creare dashboard e data stories.

Paola Pisano, Anna Gillone – Città di Torino

Comune di Firenze

L’esperienza con il Team per la Trasformazione Digitale sul DAF è stata sicuramente positiva.

Il compito dell’ente locale su questo fronte è quello di rendere il dato pubblico, innanzitutto. Questa operazione, che può apparire semplice, in realtà è molto complessa e va inquadrata in un contesto di “information supply chain” o detto in termini “alimentari” di “filiera” del dato, il cui aspetto finale è la pubblicazione all’esterno. Non dimentichiamo che molte restrizioni, anche recentemente in base al GDPR, fanno si che un dato disponibile all’interno per attività di ufficio, per diventare pubblico debba essere anonimizzato.

Quello che l’ente pubblico può fare secondo noi, è utilizzare gli open data come mezzo attraverso il quale esplicitare il governo del territorio. Alcuni esempi: se la Polizia Municipale istituisce il Vigile di Quartiere, non basta fare una mappa o un comunicato stampa, questi dati devono essere disponibili come open data; se l’assessorato al commercio promuove i negozi aperti d’agosto o le librerie indipendenti, queste devono essere rese disponibili anche come banche dati, quindi come open data. In generale ogni asset della città o parte di questa che ha una corrispondenza nel digitale, come banca dati, deve essere ove possibile reso disponibile come open data.

I cittadini, i giornalisti, gli studenti, le aziende attingono ai “prodotti dato” messi a disposizione dall’ente pubblico per le loro finalità: di conoscenza, di studio, di business.

Quello che manca all’ente pubblico, o che deve fare un altro soggetto, è proprio quello che ha fatto il Team per la Trasformazione Digitale: presentare ai possibili utenti gli open data (raccogliendoli nei repository dei vari enti) come possibilità di utilizzo, sviluppando sistemi che permettono di trattarli e di utilizzarli.

Il DAF quindi in questo caso è il punto di approdo per coloro che vogliono lavorare sugli open data italiani e utilizzarli per fare un prodotto di analytics, di storytelling, app ecc.

Ci siamo trovati quindi subito in sintonia con il Team, entrambe le parti consapevoli dei propri ruoli distinti. Dal canto nostro, abbiamo colto l’occasione per utilizzare il DAF in due importanti attività che stiamo portando avanti nella promozione della cultura dei dati e degli open data.

La prima riguarda l’esperienza con gli studenti delle scuole superiori, che vengono nei nostri uffici a fare i periodi dell’alternanza scuola lavoro: tali studenti apprendono l’importanza del dato, il cosiddetto “petrolio del nuovo millennio”, imparando a capirne il “lineage”, la varietà (apprendendo anche l’importanza dei dati geografici), e ad utilizzarli sfruttando in questo caso una piattaforma della pubblica amministrazione importante come il DAF

La seconda riguarda l’esperienza di engagement coi giornalisti, per l’evento tenutosi a Firenze il 24 settembre 2018. I giornalisti devono essere consapevoli che troveranno in molti casi dei dati disponibili fra gli open data e devono sapere che ci sono degli strumenti (il DAF in questo caso) che permettono di utilizzare questi dati anche in contesti di storytelling. In questo col supporto del Team per la Trasformazione Digitale ci siamo focalizzati su un caso d’uso, che riguardava l’utilizzo dei servizi on line fra i cittadini del Comune di Firenze, costruendo proprio uno storytelling.

Cosa ci piacerebbe fare? Semplicemente potersi preoccupare di pubblicare i nostri dati, migliorando la loro supply chain e che il TEAM renda il DAF un sistema adatto a varie tipologie di interlocutori: proviamo a vedere il DAF come un sito di ecommerce, dove il cittadino, il giornalista, lo studente, il programmatore (l’utente in sostanza) trova i “prodotti dati” organizzati per area tematica o geografica o nel modo più user friendly possibile in base al suo profilo e da quel punto può iniziare ad utilizzarli.

Emanuele Geri, Gianluca Vannuccini – Comune di Firenze

Regione Umbria

Abbiamo conosciuto e sperimentato il DAF nell’ambito di un laboratorio sul tema del data warehousing, teso ad approfondire i nostri fabbisogni in materia e le tecnologie disponibili, con una modalità agile e “toccando con mano” gli strumenti.

A tal scopo è stato importante avere a disposizione un ambiente già configurato e SaaS, con una serie di tecnologie già selezionate ed integrate dal Team per la Trasformazione Digitale.

Grazie al contatto con le persone del Team abbiamo potuto accrescere le nostre competenze interne, e prendere una serie di decisioni sui progetti futuri. Solitamente le organizzazioni più grandi hanno oggi in essere più di un data warehouse, purtroppo costruiti anch’essi per silos (che paradosso!) e manca una strategia complessiva sui dati. Il DAF, una volta a regime, potrà fare molto per arrivare a metodologie ed ontologie condivise tra gli enti, e costituire una base tecnologica comune su cui sviluppare le tante applicazioni specifiche di ogni settore, sia per l’ingestion che per la visualizzazione. In Regione Umbria, utilizzando “metabase” abbiamo messo in linea delle dashboard sull’avanzamento dell’Agenda digitale dell’Umbria che trovate qui ed ora stiamo lavorando ad altri strumenti dedicati agli utenti interni, continuando a sperimentare il DAF.

Speriamo che il DAF fornisca sempre più possibilità per definire un ambiente intranet a disposizione dell’ente. Solo una corretta gestione interna del dato, rende il dato davvero utile ed abilità, di conseguenza, anche la pubblicazione di open data automatizzati e di qualità

Giovanni Gentili – Regione Umbria

Lavora con noi | Seguici su Twitter e LinkedIn | Visita il nostro sito | GitHub