Servizi IA di I.PaC | Audio e i video
Dai contenuti audiovisivi a nuove informazioni accessibili, ricercabili e collegate al patrimonio digitale di I.PaC.
Contesto
I.PaC mette l’intelligenza artificiale al servizio del patrimonio culturale digitale italiano. I servizi di arricchimento IA analizzano automaticamente le risorse digitali, ne estraggono informazioni nascoste o non ancora catalogate e le mettono in relazione con gli altri contenuti presenti nell’Ecosistema.
Intervento
Realizzazione di un servizio di arricchimento dedicato alle risorse audio e video, basato su un approccio avanzato dell’intelligenza artificiale che consente di integrare e analizzare informazioni provenienti da diverse modalità, come testo, immagini, audio e video, la cosiddetta pipeline di elaborazione multimodale.
Rendere accessibili le informazioni custodite nei contenuti audiovisivi
Interviste, registrazioni sonore, documentari e altri contenuti audiovisivi custodiscono una parte significativa del patrimonio culturale. Si tratta tuttavia di risorse che restano spesso sommerse, accessibili solo attraverso l’ascolto o la visione integrale, rendendo difficile individuare, isolare e riutilizzare le informazioni in esse contenute.
I.PaC offre un servizio di arricchimento automatico dedicato alle risorse audio e video che trasforma questi contenuti in risorse strutturate, consultabili e interconnesse con l’intero patrimonio digitale.
Il servizio si basa su una pipeline di elaborazione multimodale che integra modelli di Intelligenza Artificiale per l’analisi automatica di contenuti sonori, visivi e testuali.
In una prima fase, tecnologie di Speech-to-Text trascrivono l’audio in testo, rendendo i contenuti fruibili anche in forma scritta. Le trascrizioni vengono poi elaborate da modelli linguistici di grandi dimensioni (LLM), che riconoscono ed estraggono entità rilevanti – persone, enti, luoghi e beni culturali – e classificano semanticamente i contenuti attraverso vocabolari controllati come il Nuovo soggettario, realizzato a cura della Biblioteca nazionale centrale di Firenze e Iconclass.
A partire da questa analisi, il servizio genera abstract descrittivi che sintetizzano il contenuto della risorsa originale. Questi abstract possono infine essere convertiti in tracce vocali tramite tecnologie Text-to-Speech, offrendo ulteriori modalità di accesso e fruizione.
Il risultato è un patrimonio audiovisivo prima difficilmente esplorabile che diventa ricercabile, navigabile e collegabile agli altri beni digitali ospitati da I.PaC, aprendo nuove possibilità di ricerca, analisi e riuso.
È uno dei modi in cui I.PaC permette l’arricchimento dei beni digitali, portando alla luce nuove informazioni e aprendo ulteriori possibilità di ricerca, analisi e riuso.
L’accesso al servizio attraverso l’ecosistema digitale per la cultura
Il progetto è nato dalla collaborazione tra Digital Library e i principali Istituti Centrali del Ministero della Cultura – ICCD, ICCU, ICBSA e ICAR – che insieme hanno definito gli obiettivi, selezionato i materiali per l’addestramento dei modelli e validato i risultati.
Tutti i servizi sono sviluppati nel rispetto dei più elevati standard di sicurezza e della normativa europea sull’intelligenza artificiale. Basati su modelli a codice aperto e ospitati su infrastrutture nazionali, garantiscono che i dati non siano trasferiti o condivisi verso soggetti esteri.
Il servizio fa parte dell’offerta di Ecomic, l’ecosistema digitale per la cultura promosso dall’Istituto Centrale per la Digitalizzazione del Patrimonio Culturale – Digital Library e dalla Direzione Generale Digitalizzazione e Comunicazione del Ministero della Cultura.
Disponibile per tutti gli enti che cooperano con I.PaC tramite sistemi integrati, federati o versanti.
Istituto Centrale per il Catalogo e la Documentazione (ICCD)
Istituto Centrale per il Catalogo Unico delle Biblioteche Italiane e per le Informazioni Bibliografiche (ICCU)
Istituto Centrale per i Beni Sonori ed Audiovisivi (ICBSA)
Servizi Ecomic utilizzati
Gestire e arricchire il patrimonio digitale
