SETTIMANA 11

• Proprietà dei test IRT

  1. le statistiche degli item non dipendono dalle caratteristiche di uno specifico campione
  2. le stime del livello di abilità dei soggetti non dipendono dalla difficoltà del test
  3. gli item possono essere scelti in modo da essere maggiormente consistenti con l'abilità dei soggetti
  4. i modelli matematici alla base del test sono basati su assunzioni dimostrabili
• i modelli IRT sono rappresentati da funzioni matematiche NON lineari, utilizzate per descrivere la relazione tra le risposte ad un item di un test e il livello di abilità dell'individuo
• come la TCT, l'IRT si fonda sull'idea che la risposta di un individuo ad uno specifico item di un test o ad una domanda sia determinata da un costrutto latente
• l'IRT assume che ogni costrutto sottostante, definito tratto latente o abilità, vari lungo un continuum (solitamente unidimensionale), definito theta.
• nella IRT, sia gli item dei test che le risposte dell'individuo agli item sono allineate su theta, ovvero vengono espresse su una stessa scala. item e individui sono rappresentati sullo stesso continuum definito dal tratto latente theta.
• i modelli IRT esprimono la probabilità di una risposta corretta ad un item di un test come una funzione del livello di abilità del soggetto, e di uno o più parametri dell'item.
• la relazione tra abilità del soggetto e probabilità di risposta all'item è rappresentata dalla curva caratteristica dell'item (ICC), o anche traccia dell'item
• la curva caratteristica dell'item è

  una funzione logistica che descrive come la probabilità di rispondere correttamente all'item vari in funzione del livello di abilità del rispondente.
• all'estremità della curva ICC...

  grandi cambiamenti nel livello del tratto (abilità) implicano piccoli cambiamenti nella probabilità di rispondere correttamente (risolvere) all'item
• nella parte centrale della curva ICC...

  piccoli cambiamenti nel livello del tratto (abilità) corrispondono a grandi cambiamenti nella probabilità di rispondere correttamente (risolvere) all'item
• il tipo di parametri che definiscono la curva sono diversi in funzione del tipo di modello IRT che utilizziamo:

  • 1PL - modello logistico ad un parametro (modello di Rasch)
  • 2PL - modello logistico a due parametri (modello di Lord-Birnbaum)
  • 3PL - modello logistico a tre parametri (modello di Lord-Birnbaum)
• equazione del modello ad 1 parametro (modello di Rasch)

  Pi = probabilità condizionale che un soggetto con un livello di abilità theta risponda correttamente all'item i

  theta = livello di abilità del soggetto

  bi = parametro che rappresenta la difficoltà dell'item (livello di abilità per cui il soggetto ha la stessa probabilità di fornire una risposta corretta o errata)

  
• nel modello 1PL $Pi (theta)$ può essere interpretato come


  la proporzione di item con la stessa difficoltà (bi) cui una persona con un certo livello di abilità (theta) risponde correttamente

  oppure

  la proporzione di individui con un certo livello di abilità (theta) che rispondono correttamente all'item i
• nel modello 1PL, la difficoltà dell'item (parametro bi) può essere interpretata come:

  la posizione dell'item sul continuum theta, espressa nella stessa unità di misura in cui è espresso il livello del tratto latente

  oppure

  il livello di abilità corrispondente alla stessa probabilità di rispondere in modo corretto o non corretto all'item, ovvero uguale a .50.
• equazione del modello a 2 parametri (modello di Rasch)

  ai = capacità di discriminazione dell'item, ovvero di distinguere tra soggetti con abilità elevata da soggetti con bassa abilità, ed è proporzionale all'inclinazione (slope) della ICC

  
• Tanto più forte è l'inclinazione, tanto più rapidamente cambia la probabilità di rispondere correttamente all'item in funzione del livello di abilità, tanto maggiore è la capacità dell'item di discriminare tra soggetti che presentano un diverso livello di abilità.
• in generale, la capacità discriminativa di un item è maggiore nei valori centrali della curva e minore nei valori più estremi
• equazione del modello a 3 parametri

  ci = è un parametro introdotto per rendere conto dell'incidenza del caso; è chiamato guessing o pseudo-guessing: la probabilità di fornire una risposta corretta anche per i soggetti con livelli più bassi di abilità, può essere maggiore di zero.

  
• nel caso del modello 3PL la difficoltà rappresenta il punto sulla scala del tratto latente in cui la probabilità di una risposta corretta è uguale a (1+c)/2, ovvero a 0.5+(c/2).
• l'equazione che definisce la curva caratteristica dell'item (ICC) ha l'aspetto di una S avente Pi(theta)=ci (0 nei modelli a 1 e a 2 parametri) e Pi(theta)=1 come asintoti orizzontali
• per valori più bassi di theta, Pi(theta) aumenta lentamente
• quando theta si avvicina a bi, Pi(theta) aumenta più rapidamente: la proporzione di incremento raggiunge il massimo quando il livello di abilità del soggetto è uguale al livello di difficoltà dell'item (theta=bi)
• quanto theta diventa più grande di bi, tanto più Pi(theta) cresce lentamente fino a smettere di crescere mano a mano che il suo valore si approssima ad 1
• il livello di difficoltà dell'item (espresso con il parametro bi) coincide con il punto di flesso della curva relativo alla probabilità di risposta corretta per un dato livello di abilità, ovvero il punto in cui la curva cambia convessità
• il modello logistico a tre parametri è spesso il più realistico nel caso di item a scelta multipla, poiché ammette la possibilità che la risposta all'item sia determinata anche dal tirare ad indovinare (parametro ci o gi)
• assunzioni dei modelli IRT

  1. indipendenza locale e monodimensionalità
  2. monotonicità
  3. assenza del fattore velocità
• assunzione di indipendenza locale e monodimensionalità

  se un test composto da n item è monodimensionale, la risposta agli item è determinata da un unico tratto latente o abilità.

  se si mantiene costante il livello del tratto latente (per tutti i soggetti che hanno uno stesso livello di abilità theta), le risposte agli item sono indipendenti.

  in altre parole, la dipendenza tra gli item è determinata solo dal tratto latente.
• se l'assunzione di indipendenza locale non è tenibile...

  probabilmente il test non è unidimensionale, quindi sarà necessario introdurre altri tratti latenti, finché la proprietà della indipendenza locale non sia verificata.
• i modelli IRT più diffusi sono

  i modelli monodimensionali, ovvero quelli per cui il principio di indipendenza locale viene confermato quando il numero di tratti latenti presi in considerazione è uguale ad 1
• l'utilità di un modello IRT è condizionata dalla misura in cui le assunzioni del modello sono verificate.
• per la verifica dell'assunzione di monodimensionalità e indipendenza locale si possono utilizzare diverse tecniche;

  a seconda del livello di misurazione delle variabili analizzate, un'analisi fattoriale esplorativa consentirà di esaminare se un modello fattoriale monodimensionale è consistente con i dati empirici.
• assunzione di monotonicità


  la probabilità di rispondere correttamente ad un item aumenta monotonicamente all'aumentare del livello di abilità;

  la funzione di probabilità può solo crescere al crescere del punteggio nel tratto latente. Le curve caratteristiche degli item (tracce degli item) devono essere sempre crescenti.
• verifica dell'assunzione di monotonicità


  attraverso la rappresentazione grafica della proporzione di risposte corrette ad ogni item rispetto ai diversi livelli di punteggio grezzo nel test (che può essere considerato una stima del punteggio nel tratto latente)
• assunzione di assenza del fattore velocità

  è necessario che il test somministrato non sia di velocità. Solo in questo caso gli errori commessi dai soggetti nel rispondere agli item possono essere ricondotti alla mancanza di conoscenza dell'argomento, ad un basso livello di abilita, etc., ma non alla mancanza di tempo per fornire la risposta.

  se il test è influenzato dal fattore velocità, è possibile che l'assunzione di monodimensionalità risulti violata.
• verifica dell'assunzione di assenza del fattore velocità

  viene eseguito un esame dell'influenza della velocità: il fattore tempo dato per rispondere al test incide sul punteggio?

  Recentemente sono stati proposti modelli IRT che possono essere utilizzati anche quando l'assunzione sulla velocità è violata.
• esame dell'influenza della velocità

  si confrontano i punteggi di un soggetto a due test, uno somministrato con limite di tempo e l'altro senza limitazione;

  se i due punteggi sono simili, allora nel caso specifico la variabile tempo non influenza la performance.
• proprietà dei modelli IRT

  1. scala omogenea per items e soggetti
  2. invarianza dei parametri
• proprietà di scala omogenea per items e soggetti

  nei modelli IRT la difficoltà degli item e il livello di abilità dei soggetti sono definiti sulla stessa scala;

  questo consente di selezionare gli item in modo tale che ciascuno di essi consenta di misurare al meglio l'abilità in questione (ovvero, presenti il minor errore di misurazione) per differenti livelli di abilità dei soggetti.
• Proprietà dei modelli IRT di invarianza dei parametri

  le stime del livello di abilità dei soggetti sono indipendenti dalle caratteristiche degli item;

  esse vengono definite in relazione al pool di item dal quale sono estratti gli item che compongono il test, ma non dipendono dal particolare campione di item selezionato per quel test;
• per la proprietà di invarianza dei parametri dei modelli IRT...


  i soggetti possono essere confrontati anche se ad essi non sono stati somministrati gli stessi item o item paralleli;

  i parametri delle curve caratteristiche dell'item sono indipendenti dal particolare campione di soggetti che vengono utilizzati per stimarle.