International Roundtable
SSAS Scuola Superiore di Studi Avanzati
Roma, 7 novembre 2024
Organizzata dalla prof. Claudia Cieri Via e dal dr. Francesco Cassini
Intervengono prof. Andrea Pinotti, prof. Maria Giulia Dondero, prof. Leonardo Impett, prof. Federico Mari
Nei prossimi minuti vorrei raccontarvi la mia proposta per coniugare in modo rispettoso e incrementale alcune metodologie scientifiche dell’informatica con le metodologie della storia dell’arte espresse dal progetto ICONOS. Una proposta, la mia, che prevede una comprensione profonda degli oggetti di studio e delle relazioni che intercorrono tra di essi – per evitare di incorrere in quei limiti che l’informatica ha spesso manifestato addentrandosi nei meandri della storia dell’arte in particolare, e delle altre discipline in generale –, comprensione che si può avere solo con una stretta collaborazione tra le due metodologie coinvolte.
Prima di entrare nel merito, però, è necessario che io vi confidi cos’è l’informatica, per me. L’informatica, per me, è la scienza che più si presta ad integrarsi con le altre discipline in quanto fornisce metodi che ben si adattano a risolvere i problemi in modo automatico – si ricordi questo primo elemento, l’automazione –, per ottenere nuove informazioni, per fare previsioni, spesso a partire da dati, che possono essere di ogni tipo, dalle analisi cliniche ai segnali provenienti da sensori, dalle mutazioni genetiche ai post pubblicati sui social, dalla dinamica di un drone ai testi e immagini iconografiche delle metamorfosi di Ovidio. Ma quali sono i fili conduttori dei contesti che ho appena nominato?
I metodi informatici che uniscono questi contesti e che riguardano la mia attuale attività di ricerca, sono tre. In primo luogo, dare una struttura ai dati, metodo che chiamerò modellizzazione. Poi, sfruttare algoritmi noti per imparare automaticamente dai dati, a cui mi riferirò con apprendimento automatico o machine learning. Infine, creare nuovi algoritmi per garantire proprietà di sicurezza su sistemi reali, metodi che chiamerò formali. Modellizzazione. Apprendimento automatico. Metodi formali.
Un’applicazione di modellizzazione e di apprendimento automatico, nella mia ricerca, si colloca nel contesto clinico, in una collaborazione con Villa Stuart. In un periodo di tempo di un paio d’anni, abbiamo digitalizzato un centinaio di cartelle cliniche del dottor Pier Paolo Mariani – chirurgo del ginocchio delle star del calcio e non solo –, da cui abbiamo appreso automaticamente un modello di previsione del ritorno allo sport dopo sessanta giorni dall’operazione, accurato al 70%1. Non è il massimo, ma è sempre un aiuto e un’informazione utile sia per i medici che per i pazienti, i quali già in fase di anamnesi possono conoscere l’esito più probabile del loro intervento (e gioirne o mettersi l’animo in pace).
Un’altra applicazione di modellizzazione e di apprendimento automatico si colloca nel contesto sportivo del canottaggio, dove abbiamo realizzato un modello per distinguere i gesti di vogata buoni da quelli cattivi, a partire dal segnale temporale proveniente da un sensore inerziale posizionato sul busto del vogatore. In questo caso, il modello è accurato al 90%2, numero di cui andar fieri.
Settanta per cento. Novanta per cento. Si poteva ottenere pure novantanove o cento per cento, ma sempre di approccio statistico si sarebbe trattato, ossia sempre con l’incertezza del risultato si avrebbe a che fare – si ricordi questo secondo elemento, l’incertezza, da aggiungere all’automazione. In contesti dove non si può sbagliare, questi modelli lasciano il tempo che trovano e, anzi, possono causare problemi. Si pensi ad esempio alle conseguenze della perdita di quota di un satellite – si perderebbero molti soldi – oppure a cosa accadrebbe se il pilota automatico di un aereo sbagliasse una manovra di atterraggio – si perderebbero vite umane.
Quando l’accuratezza percentuale non basta e si ha bisogno invece di certezze, ci affidiamo ai metodi formali, che possono partire dai dati, come era nei casi precedenti, oppure no. Per essere certi, ad esempio, che un satellite non perda mai quota o che un pilota automatico non sbagli mai, occorre controllare che il programma che governa queste azioni si comporti bene in ogni situazione, e lo si fa attraverso la modellizzazione dell’ambiente in cui il sistema vive – si ricordi questo terzo elemento, l’ambiente, da aggiungere all’automazione e all’incertezza. In questo contesto si colloca la mia ricerca sulla certificazione dei software di controllo3, ad esempio di un aereo o di un satellite, in cui stiamo sviluppando nuovi algoritmi precisi (non statistici) per garantire che il sistema sia corretto nel contesto dell’ambiente che abbiamo modellato, e per farlo in un tempo ragionevole per il ciclo di vita del software di questi dispositivi importanti per la società.
Anche i metodi formali si basano sulla modellizzazione, dell’ambiente e della proprietà da certificare, e il risultato è un avanzamento dello stato dell’arte nel senso che il software certificato dai nostri metodi può essere usato in contesti critici come quelli che ho menzionato. Ma, sfortunatamente, la realtà è più complessa di così. Se si pensa, ad esempio, alle estreme condizioni in cui un aereo o un satellite devono sopravvivere, è facile immaginare come l’attività di modellizzazione dell’ambiente sia intrinsecamente essa stessa aperta alla possibilità di errore umano. Se chi modella l’ambiente commette imprecisioni o esclude possibilità – si pensi ad esempio a condizioni meteorologiche mai registrate, come è il caso di questi ultimi anni –, si ricade nella situazione in cui si ha un sistema certificato che, comunque, può essere danneggiato.
Quanto ho appena descritto rappresenta il nucleo del contrasto esistente tra materie scientifiche e discipline umanistiche, come descritto nel libro di Amanda Wasielewski, Computational Formalism: Art History and Machine Learning, The MIT Press, 2023. Sebbene nate in un’unica versione dalla necessità degli antichi di dare risposte a domande esistenziali, per amore del sapere (filosofia), ai giorni nostri le materie hanno preso strade separate. Da un lato la scienza, che ambisce a spiegare le leggi dell’universo in cui l’umanità vive, e dall’altro le discipline umanistiche che ambiscono a spiegare le opere dell’umanità che vive nell’universo. A mio avviso, siamo di fronte a due versanti della stessa montagna, dove in vetta troviamo l’espressione massima della filosofia, che abbiamo un po’ perso.
Non ambisco certo a risolvere il problema filosofico o metodologico detto Science Wars, né in questo mio brevissimo intervento né mai. Quello che posso fare, invece, è cooperare in modo che le divisioni tra le discipline si possano assottigliare, almeno per quanto mi è possibile fare con la mia scienza, e in questo specifico ambito di ICONOS.
Il problema principale evidenziato da Wasielewski nella sua introduzione del formalismo computazionale4 è che l’informatica può produrre risultati che non danno alcun contributo alla ricerca nella storia dell’arte. Il motivo per cui ciò accade è da ricercare negli elementi che vi ho fatto memorizzare: uno, automazione; due, incertezza; tre, ambiente. Ossia, gli approcci informatici esistenti forniscono strumenti automatici (uno) che a partire dai dati danno una soluzione incerta (due) e limitata all’ambiente modellizzato (tre). Detto altrimenti, l’informatica – così come l’intera scienza, secondo la critica umanistica – è più soggettiva che oggettiva, perché le osservazioni sono fatte da soggetti che possono sbagliare e i risultati che si ottengono dai dati sono soggettivi per definizione, perché i dati stessi portano con sé gli errori di misurazione e i difetti dell’ambiente in cui sono stati raccolti. Come se non bastasse, i metodi informatici si applicano a versioni digitali di opere d’arte, che possono avere colori e saturazioni diverse dagli originali, e ci si chiede se sia lecito generalizzare i risultati alle opere d’arte vere e proprie. Insomma, secondo queste critiche, l’informatica fornisce strumenti non oggettivi, e in questo senso si deve fare attenzione.
D’altra parte – sempre secondo Wasielewski –, e qui arrivano le buone notizie, lo stato dell’arte della ricerca informatica, soprattutto nell’ambito dell’apprendimento automatico e del trattamento del linguaggio naturale, può aiutare la ricerca storico artistica nell’analisi automatica di grandi quantità di dati, siano essi visuali o testuali, che sarebbe altrimenti impossibile da fare per un essere umano.
Così come non voglio (e non posso) risolvere il problema filosofico della Science Wars, allo stesso modo non posso (e non voglio) elencare tutti i modi in cui l’informatica ha provato a dare un supporto alla storia dell’arte. Ciononostante, non fosse altro per permettervi di apprezzare la mia proposta di collaborazione per ICONOS, devo comunque descrivere il panorama che ho davanti agli occhi. Panorama che non è in alcun modo completo, ma che rappresenta comunque una buona parte dello stato dell’arte. Panorama che descriverò in modo positivo, tralasciando le critiche summenzionate, che esorto comunque a non scordare mai.
L’apprendimento automatico è quella parte dell’Intelligenza Artificiale che si occupa di generare in modo automatico modelli di previsione a partire dai dati. Ho resistito nel pronunciare queste parole finora – Intelligenza Artificiale – perché immagino di non essere l’unico ad aver superato la soglia di tolleranza nell’ascolto della stessa parola durante una vita intera. Sono poche le parole che vorrei sempre ascoltare, anche più volte nello stesso giorno, ma certamente Intelligenza e Artificiale non sono tra queste, soprattutto considerando gli effetti tragici che queste parole hanno sul volgo: l’IA – acronimo di Intelligenza Artificiale, altra parola che ha superato la soglia di tolleranza – a lungo andare sarà dannosa per l'umanità? L’IA ci soggiogherà tutti un giorno? Le risposte che mi sento di dare nel mio piccolo sono: no e no, assolutamente no! Non lo dico io, lo sosteneva colui che ha concepito l’IA, ossia Alan M. Turing, Computing Machinery and Intelligence, Mind, 59 (1950). Il padre pioniere dell’informatica comincia il suo articolo più memorabile con
«I propose to consider the question, "Can machines think?”»5
La risposta che fornisce, e lo dico anche rischiando di banalizzare, è un categorico “no.” L’autore, però, ci arriva fornendo le basi delle discipline che saranno poi etichettate “IA” e “machine learning,” stabilendo quali debbano essere le capacità che deve avere una macchina (computer) per ambire a pensare, e definendo così l’agenda di ricerca di quasi un secolo della computer science. Poste queste inderogabili basi, l’autore conclude con diverse critiche, tra cui l’argomentazione della consapevolezza, espressa da questo estratto attribuito a Jefferson (1949), che quoto come fece Turing6:
«”Fino a quando una macchina non potrà scrivere un sonetto o comporre un concerto in base a pensieri ed emozioni provate, e non per la giustapposizione casuale di simboli, non potremo essere d’accordo sul fatto che una macchina eguagli il cervello – cioè, che non solo scriva ma sappia di aver scritto.
Nessun meccanismo potrebbe sentire (e non semplicemente segnalare artificialmente, ché sarebbe un facile trucco) piacere per i suoi successi, dolore quando una sua valvola fonde, arrossire per l’adulazione, sentirsi depresso per i propri errori, essere attratto dal sesso, arrabbiarsi o abbattersi quando non può ottenere quel che desidera.”»7
Compreso che l’IA non è un pericolo per la sopravvivenza della specie umana – tralasciando in questo contesto importanti rischi di carattere sociologico e comportamentale, che devono essere comunque trattati e indirizzati in modo etico, evidenziati dagli studiosi di Berkeley A. Critch e S. Russel8, come ad esempio il disimpegno dalle responsabilità, l’indifferenza intenzionale, o la predisposizione alla militarizzazione – torniamo all’apprendimento automatico, ossia a quella parte dell’IA, e quindi dell’informatica, che si occupa di generare in modo automatico modelli di previsione a partire dai dati. Ci sono diverse varianti di machine learning, che chiamerò supervisionato e non supervisionato.
Nell’apprendimento automatico supervisionato, i dati sono corredati da etichette, che sono invece assenti nel caso non supervisionato. Un esempio di dati etichettati è costituito da opere d’arte insieme ai loro stili, agli autori, al contesto storico in cui sono state create. A partire da questo tipo di dati è possibile istruire modelli di previsione che osservino – per così dire – una nuova opera d’arte, e che riescano a identificarne l’autore oppure lo stile oppure il contesto storico, senza però saperlo con certezza, ma solo sfruttando le caratteristiche delle opere usate per istruire i modelli di previsione. È quello che chiamerei identificazione dell’autore, o dello stile, o del contesto. L’identificazione può realizzarsi anche nel riconoscere oggetti all’interno di un’opera d’arte, come ad esempio una figura umana, maschile o femminile, oppure un vaso, o una montagna. L’attività di etichettatura tipica di questi approcci è dispendiosa e non scevra dagli errori e dai pregiudizi dei soggetti che etichettano, ma può essere considerata affidabile nell’ambiente in cui è definita. L’attività di etichettatura è così dispendiosa che i colleghi che si occupano di metodi di apprendimento automatico supervisionato fanno spesso ricorso a crowd di etichettatura – come Mechanical Turk e Clickworker –, ossia a portali web in cui si trovano moltissime persone disposte a compiere questo lavoro certosino al posto loro, con tutti i benefici e i rischi che ne conseguono.
Il lavoro di etichettatura è così dispendioso che, per accorciare i tempi e per confrontare tra loro metodi diversi, esistono molte sorgenti di immagini già etichettate a cui tutti si riferiscono. È questo il caso di ImageNet ma anche di ContextNet9 che oltre alle immagini contiene dati sui contesti, spesso sottovalutati (da noi informatici).
Se invece si vogliono scovare relazioni tra i dati che non siano indotte da etichette prefabbricate o da preconcetti, si deve far ricorso all’apprendimento automatico non supervisionato. Un esempio tipico è la categorizzazione, detta clustering, in cui si vuole capire quali siano le macro categorie in cui si dividono e si raggruppano i dati. Usando questi metodi, sarebbe possibile categorizzare una grande mole di opere d’arte, e sarebbe poi compito di chi ne analizza i risultati capire il significato di tali categorie, rappresentino esse gli stili, gli autori, o siano esse una semplice espressione del contesto storico in cui tali opere sono state realizzate.
Quanto raccontato finora sull’apprendimento automatico è utilizzato dalla computer vision ed è alla base di approcci più recenti che, come abbiamo già avuto modo di apprezzare oggi, hanno come obiettivo la generazione di nuovi contenuti, ad esempio in un dato stile. Mi riferisco al deep learning, il quale sfrutta molti dei modelli informatici più evoluti (come le reti neurali, sulle quali non mi soffermerò) per fabbricare un esempio di nuova opera d’arte secondo delle caratteristiche desiderate. Una applicazione in questo senso è DALL-E10, a cui si può chiedere in linguaggio naturale di produrre una nuova opera visiva con determinate caratteristiche, anche a partire da una propria foto, come ad esempio un ritratto di sé nello stile dell’Urlo di Munch.
Quando si parla di trattamento di linguaggio naturale (NLP, natural language processing), in informatica ci si riferisce a tutti quei metodi che riescono a organizzare il testo, a crearne una tassonomia, una divisione in significati, detti ontologie, simulando una vera e propria comprensione del testo. Una delle applicazioni più riuscite in tal senso è DocuScope11, prodotto dal Department of English del Dietrich College of Humanities and Social Sciences della Carnegie Mellon University: non solo analisi testuale (occorrenza delle parole, collegamento tra ontologie, etc) ma anche analisi retorica (il contesto) basata su grandi corpora di dati. Un’altra applicazione riuscita di NLP è BabelNet12, prodotto dal gruppo di Roberto Navigli del Dipartimento di Ingegneria Informatica della Sapienza Università di Roma, che è un vero e proprio dizionario enciclopedico multilingue, ottenuto organizzando e categorizzando un grande corpus proveniente da Wikipedia, Wiktionary, Wikidata e altre sorgenti testuali disponibili in rete.
Oltre alla comprensione e all’organizzazione del testo, i metodi NLP sono anche alla base della generazione automatica di testo, come accade per il famigerato ChatGPT, sul quale non mi soffermerò perché non basterebbero due mesi per parlarne, ma di cui mi limiterò a dire che anche solo scrivere le domande in linguaggio naturale è diventato un mestiere, denominato prompter o prompt engineer in quanto ChatGPT chiama prompt il testo della richiesta13.
Fatte tutte queste premesse sul fatto che bisogna prendere con le pinze i metodi informatici che ottengono informazione dai dati, come possiamo comunque sfruttarne le potenzialità nel contesto di ICONOS? La risposta, come accennavo all’inizio, sta in una stretta collaborazione tra informatici e storici dell’arte per la comprensione reciproca, non solo in termini di risultati ma anche, e soprattutto, in relazione alla metodologia.
La mia prima proposta, che dovrebbe essere scevra dai pregiudizi che i dati portano con sé, è la modellizzazione della struttura dei dati con un approccio tipico (antico ma mai obsoleto) dei metodi formali per i sistemi informativi, ossia sfruttare la conoscenza del dominio storico artistico per capire quali siano gli oggetti dello studio, le entità (opere d’arte, autori, attributi, sorgenti, contesto, etc) e quali invece siano le relazioni tra questi oggetti (un autore che ha prodotto un’opera d’arte, un attributo rilevato in un’opera, una sorgente che parla di un autore o di un’opera, etc). Questa attività richiede una stretta collaborazione tra discipline, in quanto un informatico da solo non conosce la struttura che i dati dovrebbero avere, mentre uno storico dell’arte sì. Viceversa, uno storico dell’arte non sa come organizzare questi dati in modo strutturato ed efficiente, mentre un informatico sì. Il risultato di questa attività di modellizzazione sarà un database relazionale – modellato secondo il paradigma entità-relazione, come spiegato prima – che conterrà il materiale disponibile nel pregiato ICONOS.
Grazie a questo nuovo database relazionale, sarà possibile realizzare la mia seconda proposta, che consiste nell’integrare in ICONOS semplici ricerche per parole chiave. Se uno storico dell’arte – o anche solo un appassionato d’arte come me – lo desidera, potrà cercare tutte le opere d’arte in ICONOS che si riferiscono all’attributo «barba» o «bastone», oppure avere la lista delle opere che hanno come contesto un «paesaggio boschivo». La tecnologia alla base di questa attività di ricerca è il semplice linguaggio di interrogazione delle basi di dati chiamato SQL, anch’esso antico ma mai obsoleto.
Grazie alla prima fase di modellizzazione della struttura dei dati nel paradigma entità-relazione e alla seconda fase di realizzazione delle ricerche attraverso SQL, sarà possibile integrare le metodologie informatiche del panorama che ho raccontato in questo mio intervento, con la speranza di non cadere nei pregiudizi dei dati. Mi riferisco a due attività in particolare, che integrano e completano la mia proposta per ICONOS: la ricerca per immagini e la ricerca basata su linguaggio naturale.
Relativamente alla ricerca per immagini, la mia proposta è realizzare con l’apprendimento automatico supervisionato un semplice identificatore. Nel caso in cui volesse capire se una nuova opera d’arte contenga elementi di riconoscimento delle metamorfosi di Ovidio, uno storico dell’arte potrebbe caricare l’immagine di tale opera in ICONOS e ottenere un’immagine che ne mostra gli elementi noti scovati – come ad esempio il bastone o la barba – e avere anche altre informazioni relative ai contenuti che vi siano associati nel contesto delle metamorfosi di Ovidio.
Infine, relativamente alla ricerca basata su linguaggio naturale, se uno storico dell’arte volesse scrivere un prompt che spiegasse a ICONOS i suoi desideri, potrebbe farlo e ICONOS sfrutterebbe le tecnologie NLP per capire la domanda e fornire le risposte più adatte al contesto.
In conclusione, ritengo che una stretta collaborazione tra storici dell’arte e informatici possa portare beneficio a entrambe le discipline, perché non solo dal lato umanistico si avrebbe uno strumento di consultazione moderno, di facile accesso, e libero dai preconcetti dei dati, ma anche, dal lato informatico, si imparerebbe a integrare negli approcci di modellizzazione e di apprendimento automatico la metodologia critica e oggettiva tipica delle discipline umanistiche, portando così un concreto contributo alla disciplina delle Digital Humanities.