VALUTAZIONE

Livelli di valutazione nel sistema ECM

La valutazione operaall'interno di un sistema ECM di qualità deve articolarsi su quattro livelli, secondo il modello di Kirkpatrick adattato al contesto italiano:

Livello 1: Reazione (Customer Satisfaction)

Valuta il giudizio immediato dei partecipanti sull'evento: "Ti è piaciuto il corso?", "I docenti erano preparati?", "La piattaforma è stata facile da usare?". Nel sistema ECM, il questionario di soddisfazione (Customer Satisfaction) è obbligatorio per tutti gli eventi accreditati e deve essere compilato al termine. Consente al provider di raccogliere feedback su aspetti organizzativi e didattici per miglioramenti successivi.

Livello 2: Apprendimento (Knowledge Assessment)

Verifica che i partecipanti abbiano effettivamente acquisito le conoscenze e abilità target. Si realizza attraverso il test di valutazione: domande a scelta multipla, casi clinici, esercitazioni pratiche. Nel sistema ECM obbligatorio per la FAD, con soglia di superamento del 75%. Essenziale per garantire che i crediti attribuiti corrispondano a effettivo apprendimento.

Livello 3: Comportamento (Behavior Change)

Misura se il professionista applica effettivamente le competenze acquisite nella pratica clinica quotidiana. Valutazione più complessa, che richiede follow-up a distanza (3-6 mesi post-evento). Metodologie: questionari di autoriflessione, osservazione diretta da colleghi, analisi di cartelle cliniche, indicatori di qualità. Nel sistema ECM italiano ancora poco sistematizzato, ma il Dossier Formativo 2026-2028 incoraggia l'autoriflessione su cambiamenti pratica.

Livello 4: Risultati (Outcomes)

Misura l'impatto finale sulla qualità dell'assistenza e sui pazienti: tassi di complicanze ridotti, patient satisfaction aumentata, esiti clinici migliorati. Valutazione sofisticata che richiede raccolta dati longitudinale, studi di follow-up. Praticata prevalentemente in ambito accademico e research, meno negli eventi ECM routinari.

Valutazione dell'apprendimento: tipologie e metodologie

Valutazione formativa (durante il corso)

Test intermedi, quiz, esercitazioni durante il percorso formativo. Fornisce feedback al discente sul suo progresso e consente al docente di adattare la didattica. Non genera voto finale, ma aiuta l'apprendimento ad essere più efficace. Particolarmente importante nell'e-learning: quiz ogni 15-20 minuti mantengono l'attenzione e la interattività.

Valutazione sommativa (al termine)

Test finale che assegna un voto o giudizio pass/fail. Nel sistema ECM, determina se il professionista ha superato la soglia (75%) e ha diritto ai crediti. È la forma più strutturata e ufficiale. Richiede qualità psicometrica elevata: validità, fedeltà, discriminatività.

Valutazione autentica (competenze applicate)

Usa compiti realistici e complessi: analizzare un caso clinico, risolvere un dilemma diagnostico, eseguire una procedura sotto osservazione, condurre un audit clinico. Più validante della teoria pura perché misura cosa il professionista effettivamente sa fare. Richiede tempo e personale qualificato per la valutazione.

Valutazione della qualità della formazione

Parallela alla valutazione dell'apprendimento, il provider ECM deve valutare la qualità della propria offerta:

• Congruenza tra obiettivi e contenuti: il corso ha effettivamente insegnato quello che prometteva?
• Qualità didattica: metodi insegnamento efficaci? Docenti preparati? Materiali chiari?
• Qualità organizzativa: piattaforma funzionante, supporto ai discenti adeguato, timeline rispettati?
• Appropriatezza dei crediti: i crediti attribuiti sono commisurati al carico di lavoro reale?
• Equità e accessibilità: il corso è davvero accessibile a tutti i professionisti, inclusi quelli con disabilità?

Strumenti per la valutazione nel sistema ECM

Questionari di soddisfazione (Customer Satisfaction)

Compilazione obbligatoria al termine di ogni evento ECM accreditato. Domande su: contenuti, docenti, struttura organizzativa, strumenti tecnologici (per FAD), pertinenza clinica. Nel triennio 2026-2028, i dati aggregati devono essere disponibili all'Agenas per monitoraggio di qualità.

Test a scelta multipla e casi clinici

Forma dominante di valutazione dell'apprendimento nel sistema ECM italiano. Scelti per scalabilità (valutazione automatica) e oggettività. Rischio: se mal disegnati, possono valutare memorizzazione anziché comprensione clinica profonda.

Portfolio e Dossier Formativo

Nel triennio 2026-2028, il Dossier Formativo Individuale (DFI) è uno strumento di autovalutazione: il professionista documenta i propri bisogni formativi, progetta il percorso, registra le attività svolte e le competenze acquisite. Valutazione intrinsecamente riflessiva: il professionista giudica il proprio apprendimento. Generacrediti bonus (40 crediti se costruito entro 2027).

Osservazione strutturata e feedback diretto

Nei contesti di formazione clinica in ospedale (FSC), il tutor osserva il professionista durante l'esecuzione di una procedura o l'interazione con il paziente. Fornisce feedback immediato e costruttivo. Gold standard per valutare competenze procedurali e relazionali, ma richiede tempo.

OSCE (Objective Structured Clinical Examination)

Stazioni multiple con scenari clinici. Il candidato dimostra competenze pratiche osservabili da valutatori formati. Elevata validità per competenze procedurali. Usato in contesti di formazione post-universitaria, meno negli eventi ECM di massa.

Valutazione e conflitti di interesse

Aspetto delicato nel sistema ECM: chi valuta l'apprendimento deve essere indipendente da chi eroga la formazione. La Carta Etica della Formazione Continua raccomanda:

• Il docente non dovrebbe valutare i propri corsisti (bias di favore)
• I test dovrebbero essere disegnati da specialisti di valutazione, non dal docente
• Nella FAD, il sistema automatizzato garantisce una certa oggettività
• In formazione in presenza, è preferibile una figura di valutatore neutro

Valutazione nel contesto del triennio 2026-2028

Le novità normative enfatizzano una valutazione più sofisticata:

• Dossier Formativo: incentiva l'autovalutazione e la riflessione sul proprio sviluppo
• Compensazione automatica: il CoGeAPS valuta automaticamente crediti eccedenti per compensare debiti passati
• Legge Gelli-Bianco: il raggiungimento del 70% dell'obbligo è valutato rispetto alla copertura assicurativa
• Professionisti virtuosi: bonus 20 crediti per chi ha mantenuto obbligo formativo regolare (valutazione storica)

Limiti e criticità della valutazione nel sistema ECM

• Oversemplificazione: il test a scelta multipla non cattura la complessità del ragionamento clinico reale
• Valutazione sommativa vs formativa: il focus su crediti finali (sommativa) lascia poco spazio al feedback iterativo (formativa)
• Gap tra valutazione e comportamento: un test superato non garantisce che il professionista cambierà effettivamente pratica (manca valutazione Livello 3)
• Variabilità tra provider: la qualità della valutazione (e quindi dei crediti) varia significativamente tra provider accreditati
• Burden amministrativo: la documentazione di valutazione richiede tempo e risorse ai provider piccoli

Evoluzione futura della valutazione ECM

Tendenze emergenti che plasmeranno il prossimo decennio:

• Valutazione continua vs episodica: anziché test al termine, tracciamento continuo del progresso durante il corso
• AI-assisted assessment: intelligenza artificiale per analizzare risposte aperte, personalizzare difficoltà dei test, identificare aree di miglioramento
• Micro-credentials: piccoli badge che certificano competenze specifiche, alternativi al credito ECM monolitico
• Peer evaluation: professionisti che valutano reciprocamente il lavoro clinico in comunità di pratica

Riferimenti normativi

• Manuale nazionale di accreditamento Agenas - Sezione Valutazione
• Accordo Stato-Regioni 2 febbraio 2017
• Delibera CNFC n. 3/2025 - Valutazione nel Dossier Formativo
• Carta Etica della Formazione Continua - principi di equità e trasparenza
• Kirkpatrick, D.L. & Kirkpatrick, J.D. (2016) - Evaluating Training Programs (The Four Levels)