Formativa och summativa utvärderingar

Formativ och Summativ utvärdering är Krav vid arbete med NMI och MDR

Vid utveckling av produkter som klassas som Medicinteknisk Produkt (MTP) enligt MDR (EU 2017/745) eller Nationellt Medicinskt Informationssystem (NMI) måste Inera följa strikta processer för att säkerställa hög patientsäkerhet. Allt arbete med användbarhet måste utföras i enlighet med standarden IEC 62366-1. Syftet med detta strukturerade användbarhetsarbete är att minimera risken för onormal eller felaktig användning (användningsfel) och därmed öka patientsäkerheten.

Ineras arbete med användbarhet är en iterativ process som pågår över tid med allt högre precision och detaljering. De två huvudtyperna av utvärderingar, formativ och summativ, spelar olika roller i produktens livscykel:

Formativ Utvärdering (Fokus på Verifiering)

Den formativa utvärderingen är en process som sker tidigt och kontinuerligt i både krav och utvecklingsfasen.

Vad det är och varför det utförs

Den formativa utvärderingen syftar till att bekräfta att de framtagna koncepten verkligen möter de ursprungliga behoven hos de avsedda användargrupperna. Det är en viktig del i att verifiera att vi "bygger produkten rätt" utifrån de antagna kraven.

Formativ utvärdering innebär att koncepten utvärderas tillsammans med användare, ofta genom tester på prototyper, skisser eller liknande. Genom detta arbete kan UX-teamet löpande identifiera möjliga förbättringsåtgärder som omgående kan införlivas för att förbättra produkten och justera koncepten. Resultaten från den formativa utvärderingen används för att komplettera systemkrav med koncept och UI-design.

Krav på utförande och dokumentation

• Planering: Arbetet med formativ utvärdering ska planeras i en Formativ utvärderingsplan. Planen hjälper till att tydliggöra när och hur utvärderingar ska ske.

• Process: Utvärderingarna utförs kontinuerligt under Inera SAFe:s preplaneringsfas.

• Resultat: Resultatet, inklusive sammanfattning av observationer, problem och förbättringsförslag, ska dokumenteras i en Formativ utvärderingsrapport.

• Ansvar: Produktteamets UX-lead ansvarar för att planera och utföra testerna.

Summativ Utvärdering (Fokus på Validering)

Den summativa utvärderingen är den formella, slutgiltiga kontrollen av produktens användbarhet.

Vad det är och varför det utförs

Den summativa utvärderingen beskriver hur användbarheten hos produkten ska utvärderas och valideras när utvecklingen är klar. Detta utgör ett obligatoriskt steg i fasen Utveckla och bygga.

Syftet är att:

1. Säkerställa att användargränssnittet kan användas av den avsedda användaren på ett säkert sätt.

2. Visa att det finns en strukturerad plan för att slutgiltigt säkerställa produktens användbarhet och patientsäkerhet innan den tas i bruk.

3. Uppfylla regulatoriska krav på att användbarheten är testad och validerad i enlighet med användningskraven innan produkten godkänns för användning.

Krav på utförande och dokumentation

• Miljö: Till skillnad från formativ utvärdering, som kan använda prototyper, ska summativ utvärdering ske på slutlig produkt i korrekt miljö för användning, eller så nära detta det går. Detta kräver tillgång till verkliga eller verklighetstrogna data och korrekt inloggning.

• Innehåll: Utvärderingen måste specifikt inkludera utvärdering av de riskrelaterade användningsscenarier som valts ut i riskanalysen (som är framtagen enligt ISO 14971). Detta säkerställer att de mest kritiska uppgifterna för patientsäkerheten hanteras.

• Resultat: Resultaten sammanställs och analyseras för att jämföras mot de ursprungliga behoven och kraven.

• Dokumentation: Utvärderingen planeras i en Summativ utvärderingsplan och dokumenteras i en Summativ utvärderingsrapport.

• Hantering av risker: Om nya risker (t.ex. användningsfel) identifieras under valideringen måste dessa omedelbart meddelas till tjänsteansvarig för dokumentation i Riskhanteringsrapporten.

Krav på Dokumentation och Spårbarhet

För NMI och MTP måste samtliga utvärderingsaktiviteter och deras resultat dokumenteras för att visa regulatorisk överensstämmelse.

1. Användbarhetsfilen: Alla planer, rapporter och dokument som rör användbarhetsarbetet (både formativt och summativt) samlas i Användbarhetsfilen, i den Tekniska dokumentationen (MDR Bilaga II).

2. Valideringsrapporter: Den summativa utvärderingen ligger till grund för Valideringsrapporten, som bekräftar att användningskraven är uppfyllda. Resultaten från summativ utvärdering ligger också till grund för Användargränssnittets utvärderingsrapport.

3. Spårbarhet: Det är obligatoriskt att upprätta spårbarhet mellan användningskrav/systemkrav, riskåtgärder och de utförda testfallen/testresultaten. Denna spårbarhet visas i en matris och är avgörande för MDR-efterlevnad.

För vidare läsning och mallar i Ineras Ledningssystem:

• Instruktion God användbarhet hos medicintekniska produkter (Detta dokument ger detaljerad vägledning om hur IEC 62366-1 ska implementeras).

• Anvisning Användbarhet (Beskriver det övergripande UX-arbetet).

• Anvisning Test (Anger krav på testning och spårbarhet).

• Anvisning Riskhantering och Instruktion Riskhantering av medicinteknisk produkt (Anger hur riskrelaterade användningsscenarier ska identifieras).

• Mallar för Formativ utvärderingsplan/-rapport och Summativ utvärderingsplan/-rapport.