Il significato di un'espressione complessa è l'unione dei significati delle sue parti. I termini lessicali ricevono la loro interpretazione prima di essere composti, i significati non sono modificati dall'operazione di composizione, il significato è context independent
Assegnazione di argomenti a delle funzioni, saturandole. Gli elementi di questa operazione sono i tipi semantici divisi in due categorie, i tipi di dato primitivo (saturi) e tipo di dato funzionale (insaturi). Il dato primitivo, che può essere una frase completa (a cui si assegna il tipo t, valore di verità), o un nome proprio (e, come entità individuali appartenenti a un dominio)
Il concetto principale è quello per cui le parole che sono simili, hanno anche distribuzioni simili. Si formalizza attraverso la distribuzione statistica delle parole nei contesti con i vettori distribuzionali. La similarità tra le parole viene poi misurata attraverso la similarità tra i vettori
1. Dalla linguistica strutturale, linguistica dei corpora e psicologia cognitiva
2. La linguistica strutturale implicitamente nomina la DH affermando che la semantica può essere spiegata solo scientificamente, attraverso la distribuzione delle parole nei contesti
3. La linguistica in quel periodo stava facendo esperimenti nei corpora, Wittgenstein e Firth arrivano alla stessa conclusione, che il significato delle parole dipende dall'uso, quindi dalle parole che sono collocate insieme
4. Miller, psicologo, è interessato ai processi cognitivi e applica la DH nascente alla dimensione psicologica. Crede che lo studio scientifico del significato dovrebbe essere svolto tramite lo studio degli osservabili, ovvero ciò che si può osservare come conseguenza dell'esistenza del significato come entità mentale
I modelli count hanno come caratteristica principale quella di creare le matrici di co-occorrenza tra parole target e contesto, per poi arrivare a formare i vettori impliciti. I modelli predict, utilizzati dagli anni 2013-2019, iniziano già a usare reti neurali artificiali che creano direttamente vettori embedding tramite l'apprendimento automatico
Vettori impliciti densi, a bassa dimensionalità, che rappresentano i pesi che una rete si è costruita imparando a fare un task. Codificano proprietà distribuzionali
Principio che va oltre la composizionalità classica, affermando che la composizionalità non assembla semplicemente argomenti a funzioni, ma questa applicazione modifica essa stessa i significati dell'espressione
Modello proposto da Jackendoff, che crede che il significato sia un evento cognitivo che coinvolge le nostre strutture mentali. Trattandosi di un modello simbolista, la forma di queste rappresentazioni mentali è simbolica. Il livello simbolico-formale usato si chiama Conceptual Structure. Pur essendo simbolico e categoriale, tiene conto della concettualizzazione di aspetti spaziali e sensoriali. La Conceptual Structure ha un approccio decomposizionale, a differenza della visione di Montague
I modelli Distribuzionali fanno fatica a tenere traccia dei sensi delle parole, a ogni parola tipo viene assegnato un unico vettore che codifica tutta la storia distribuzionale di questa parola. Erk e Padò propongono di modificare il vettore della parola target attraverso la combinazione con il suo contesto e con un vettore prototipo. Le DSM Contestualizzate di terza generazione assegnano un vettore distribuzionale per ogni SENSO di parola, permettendo di discriminare i vari sensi racchiusi in un'unica forma superficiale
Il metro più usato per trovare il grado di similarità tra due parole. Si normalizzano i vettori facendoli diventare di lunghezza 1 e li si inserisce in una circonferenza con r=1. Il coseno come similarità semantica tra i due vettori è il coseno dell'angolo che formano i vettori stessi e viene calcolato come il rapporto tra il dot product dei vettori e il prodotto delle loro norme
Trattamento del quantificatore universale in Montague
Montague spiega il trattamento del quantificatore come una relazione tra insiemi di individui piuttosto che una relazione tra individui come nel caso di una frase che ha come soggetto un individuo con nome proprio. Questo viene risolto con l'introduzione delle variabili P e Q che denotano insiemi di individui ed accettano funzioni di tipo <e,t>
Teoria dei prototipi nella rappresentazione dei concetti
Il vettore centroide che rappresenta una classe di elementi, è detto anche vettore prototipo. I tratti che alcuni elementi hanno in comune li rappresento come vettori che rappresentano una sorta di prototipo di una classe. Nel thematic fit, avremo come argomento di un verbo quell'oggetto che è più prototipico rispetto agli argomenti che sono visti spesso insieme a quel verbo
Differenza tra embedding e altri tipi di rappresentazioni vettoriali
Gli embedding sono vettori impliciti densi a bassa dimensionalità, manipolati attraverso la compressione e l'accorpamento delle dimensioni latenti e l'eliminazione degli zeri. Un vettore esplicito invece è il vettore che viene direttamente dalla matrice di co-occorrenza, contenente frequenze (assolute o ponderate) e numerosi zeri che significano l'assenza di co-occorrenza target-contesto
Conseguenza della legge di Zipf, per cui avremo moltissime parole a bassa frequenza. Questo emerge nei vettori attraverso gli spazi "a 0" nella matrice di co-occorrenza, che vengono poi compressi insieme alla matrice in una più piccola, eliminando gli zeri
Problema della composizionalità nei modelli distribuzionali
Le rappresentazioni in SD sono vettori distribuzionali. Ci sono due approcci: un solo vettore (vettore type) che rappresenta una parola come forma superficiale, contenente informazioni su tutta la sua storia contestuale; o un vettore per ogni senso di parola, a seconda del contesto in cui occorre (approccio in-context). Il problema è che la SD non ha una nozione simile a quella funzione argomento della semantica simbolista
Boleda parla del cambiamento semantico e di come la DS può essere utile a questo campo di ricerca per mappare, analizzare e trovare il cambio di "senso" di una parola nel tempo