Innehåll:
...
Win10
22H2 (Martin, NMT083)
Win11
22H2 (Matilda)
eKlient (TO DO 20240228: ta reda på av Tobbe W vilka versioner vi har virtuellt!)
Win10
21H2 (MG: kolla upp igen exakt vilken version det var på Katarinas lånade eKlient..)
22H2
Win11
21H2
22H2
...
(lista enbart de modeller som vi använder i aktuellt test, dvs rensa de telefonmodeller som vi inte kör med!)
iOS:
iPhone 12 mini 16.1.1
iPhone 12 mini 15.4.1
iPhone 11 Pro Max, iOS 15.3
iPhone 13, iOS 15.3
iPhone 7, 14.4 + 15.5
iPhone SE gen2 15.3
iPhone XR iOS 14.8
iPad mini 2, 15.6 samt 15.6.1
iPad 5, 15.3.1
iPad Pro, iOS 15.1
...
Jiror/buggar : Testfall hotfix 2.2
Acceptanstest/Regressionstest, grov testplanfokus på :
Kap 2 Mina Sidor
Kap 3 Installera/uppgradera/avinstallera
Kap 6 Inloggning inkl citrix + happy flows, användning, olika korttyper
Kap 7 Legitimering, kanske inte alla varianter dock..
Kap 8 Underskrift, även här ett urval (TO DO, speca vilka)
portalen, normal användning
PrioriteringSymboler= Prio1= Prio2= Prio3
💚💛
Status
- Test OK (godkänt, ingen utestående felrapport)
- Test NOK (ej godkänt, utestående felrapport)
- Test OK (godkänt med utestående felrapport)
- Övrig information
ℹ⚠❌✅
(I samtliga kapitel nedan, ta bort/markera de testfall som vi inte kommer att köra)
Obs: kom ihåg att uppdatera mallen för regressionstest (ta med installationstestfallen. Lägg till de regr tester vi vill lägga till för portalen.
2. Mina Sidor och SITHS Admin
...
Testfall | Krav | Testinstruktioner | Testdata/testmiljö | Testare/Datum/Resultat (NN/YYMMDD///) | Kommentar |
---|---|---|---|---|---|
7.1 Legitimering mot en e-tjänst (PNR), tillräcklig tillitsnivå, samma enhet (desktop) | 5.5.1 Legitimeringskod ska anges vid autentisering och underskrift 5.5.2 Förstärkta autentiseringsmetoder 5.5.6 Krav på URL för appväxlingslogik 9.1.2 Format för namn på e-tjänsten där användaren loggar in eller undertecknar 9.1.7 Autentiseringstjänsten ska leverera användarens certifikat till IdP Autentisering 2.0: | Starta Utfärdandeportalen/Legitimeringsmock (SP) Scenarios:
Verifiera:
| Desktop klient (ej eKlient / eKlient)
| SAML-mockarna behöver uppdateras 01-04 pekar fel + att samtliga verkar behöva fixa meta-data iom IdP-ändringen:Se:Nya certifikat i IdP 2022 ⚠ Nytt (aug-22): Nu behöver man BF VPN för att kunna köra dessa! MG sept-22: Glöm inte "tomma" reservkort med enbart funktionscert | |
7.2 Legitimering (PNR) mot två e-tjänster (samma IDP), tillräcklig tillitsnivå, samma enhet (desktop) | Scenarios:
Verifiera:
| ||||
7.3 Legitimering (PNR) mot två e-tjänster (olika IDP:er), tillräcklig tillitsnivå, samma enhet (desktop) | Scenarios:
Verifiera:
| ||||
|
|
|
| ||
|
|
|
| ||
7.6 Legitimering mot e-tjänst (PNR), tillräcklig tillitsnivå, olika konfigurationer i SP | Starta Legitimeringsmock (SP) Scenarios:
| SP Webbläsare (Mobil) - Auth Mobil klienter:
| |||
7.7 Legitimering mot e-tjänst (HSA-ID), tillräcklig tillitsnivå, samma enhet | 5.5.1 Legitimeringskod ska anges vid autentisering och underskrift 5.5.2 Förstärkta autentiseringsmetoder 5.5.6 Krav på URL för appväxlingslogik 9.1.2 Format för namn på e-tjänsten där användaren loggar in eller undertecknar 9.1.7 Autentiseringstjänsten ska leverera användarens certifikat till IdP | Starta Legitimeringsmock (SP) Scenarios:
Verifiera:
| Desktop klient (ej eKlient / eKlient)
| ℹ | Ej möjligt att testa! |
7.8 Legitimering mot e-tjänst, för låg/hög tillitsnivå | 5.4 Alternativflöde: För låg tillitsnivå 5.5.1 Legitimeringskod ska anges vid autentisering och underskrift | Starta Legitimeringsmock (SP) | Desktop klient Mobila klienter (Android & iOS enheter)
|
⚠ | |
|
|
|
| ||
|
|
|
| ||
7.11 Legitimering mot e-tjänst med Windows klient, SITHS kort ej registrerat | Kortet är skapat i SITHS Admin, med rootcert till Inera. | Desktop klient
| |||
|
| ||||
7.13 Legitimering mot e-tjänst ansluten till lokal IdP och mot e-tjänst ansluten till nationell IdP från samma klient | Desktop klient Mobila klienter (Android & iOS enheter) | ℹ | Ej möjligt att testa! | ||
7.14 Samtidig legitimering i två e-tjänster | Scenarios:
Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | ℹ | Ej möjligt att testa! | |
7.15 Samtidig legitimering från två enheter | Scenarios:
Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | |||
7.16 Legitimering mot e-tjänst, ej giltigt | Scenarios:
| Desktop klient Mobila klienter (Android & iOS enheter) NetiD installerat: NetiD ej installerat: | Desktop - Utgångna certifikat: | ||
7.17 Legitimering efter autostartoken har gått ut |
| Desktop klient Mobila klienter (Android & iOS enheter)
| |||
7.18 Legitimering, spärrkontroll ej tillgänglig | Fallback till CRL:
Verifiera:
Ingen fallback (OCSP och CRL är inaktiverat):
Verifiera:
|
| |||
7.19 Misslyckad legitimering | 8.1.7 För många misslyckade försök att ange legitimeringskod | Desktop klient
Mobil klient
Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | NetiD installerat: NetiD ej installerat: | Desktop klient Mobil klient: |
|
|
|
| ||
7.21 Kontakten med autentiseringstjänsten tappas före start av klienten vid legitimering | Verifiera:
|
| Desktop klient: Mobil klient: | ||
7.22 Kontakten med konfigurationstjänsten tappas före start av klienten vid legitimering | Autentisering 2.0 11.9.7 Hantering av Autentiseringsklientens konfiguration vid avbrott | Desktop klient Mobila klienter (Android & iOS enheter) | Konfigurera felaktig URL | ||
7.23 Kontakten med utfärdandeportalen tappas före start av klienten vid legitimering |
| Desktop klient: Mobil klient: CJ kan testa (lokal DNS server) | |||
7.24 Kontakten med autentiseringstjänsten tappas vid legitimering | 8.1.8 Avsaknad till åtkomst till centrala komponenter APPROVED - RFC 30 - Centralisera kontroll av antalet försök att ange legitimeringskoden | Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | ||
7.25 Kontakten med konfigurationstjänsten tappas vid legitimering | Autentisering 2.0 11.9.7 Hantering av Autentiseringsklientens konfiguration vid avbrott | Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | Konfigurera felaktig URL | |
| Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | |||
| Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | |||
7.28 Legitimering, oväntade händelser |
| Desktop klient Mobila klienter (Android & iOS enheter) | NetiD installerat: NetiD ej installerat: | Internet saknas: |
✅
8. Underskrift
20240228: behöver bättre instruktioner, kring hur man får igång Underskriftsmocken bl a.
Testfall | Krav | Testinstruktioner | Testdata/testmiljö | Testare/Datum/Resultat (NN/YYMMDD///) | Kommentar |
---|---|---|---|---|---|
8.1 Underskrift i e-tjänst (PNR), tillräcklig tillitsnivå, samma enhet (desktop) | 5.5.1 Legitimeringskod ska anges vid autentisering och underskrift 5.5.2 Förstärkta autentiseringsmetoder 5.5.6 Krav på URL för appväxlingslogik 9.1.2 Format för namn på e-tjänsten där användaren loggar in eller undertecknar 9.1.7 Autentiseringstjänsten ska leverera användarens certifikat till IdP 6.4.1 Samtliga specifika krav under autentisering ska tillämpas för underskrift Autentisering 2.0: | Starta Underskriftsmock (SP) Scenarios:
Verifiera:
| Desktop klient (ej eKlient / eKlient)
| NetiD installerat: NetiD ej installerat: | |
|
|
|
| ||
|
|
|
| ||
8.4 Underskrift i e-tjänst (HSA-ID), tillräcklig tillitsnivå, samma enhet | 5.5.1 Legitimeringskod ska anges vid autentisering och underskrift 5.5.2 Förstärkta autentiseringsmetoder 5.5.6 Krav på URL för appväxlingslogik 9.1.2 Format för namn på e-tjänsten där användaren loggar in eller undertecknar 9.1.7 Autentiseringstjänsten ska leverera användarens certifikat till IdP 6.4.1 Samtliga specifika krav under autentisering ska tillämpas för underskrift | Starta Underskriftsmock (SP) Scenarios:
Verifiera:
| Desktop klient (ej eKlient / eKlient)
| NetiD installerat: NetiD ej installerat: | |
8.5 Underskrift i e-tjänst, för låg/hög tillitsnivå | 5.4 Alternativflöde: För låg tillitsnivå 5.5.1 Legitimeringskod ska anges vid autentisering och underskrift | Starta Underskriftsmock (SP) | Desktop klient Mobila klienter (Android & iOS enheter) | NetiD installerat: NetiD ej installerat: | |
|
|
|
| ||
|
|
|
| ||
8.8 Underskrift i e-tjänst ansluten till lokal IdP och i e-tjänst ansluten till nationell IdP från samma klient | Desktop klient Mobila klienter (Android & iOS enheter) | ℹ | Ej möjligt att testa! | ||
8.9 Samtidig underskrift i två e-tjänster | Scenarios:
Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | ℹ | Ej möjligt att testa! | |
8.10 Samtidig underskrift från två enheter | Scenarios:
Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | ℹ | Ej möjligt att testa! | |
8.11 Underskrift i e-tjänst, ej giltigt | Scenarios:
| Desktop klient Mobila klienter (Android & iOS enheter) | NetiD installerat: NetiD ej installerat: | Desktop - Utgångna certifikat: | |
8.12 Misslyckad underskrift | 8.1.7 För många misslyckade försök att ange legitimeringskod | Desktop klient
Mobil klient
Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | NetiD installerat: NetiD ej installerat: | Desktop klient Mobil klient: |
|
|
|
|
8.14 Kontakten med autentiseringstjänsten tappas före start av klienten vid underskrift | Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | Desktop klient: Mobil klient: | ||
8.15 Kontakten med autentiseringstjänsten tappas före start av klienten vid underskrift | Autentisering 2.0 11.9.7 Hantering av Autentiseringsklientens konfiguration vid avbrott | Desktop klient Mobila klienter (Android & iOS enheter) | Konfigurera felaktig URL | ||
8.16 Kontakten med utfärdandeportalen tappas före start av klienten vid underskrift | Desktop klient Mobila klienter (Android & iOS enheter) | Desktop klient: Mobil klient: CJ kan testa (lokal DNS server) | |||
8.17 Kontakten med autentiseringstjänsten tappas vid underskrift | 8.1.8 Avsaknad till åtkomst till centrala komponenter APPROVED - RFC 30 - Centralisera kontroll av antalet försök att ange legitimeringskoden | Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | ||
8.18 Kontakten med konfigurationstjänsten tappas vid underskrift | Autentisering 2.0 11.9.7 Hantering av Autentiseringsklientens konfiguration vid avbrott | Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | Konfigurera felaktig URL | |
| Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | |||
| Verifiera:
| Desktop klient Mobila klienter (Android & iOS enheter) | |||
8.21 Underskrift, oväntade händelser |
| Desktop klient Mobila klienter (Android & iOS enheter) | NetiD installerat: NetiD ej installerat: | Internet saknas: | |
8.22 Underskrift, flera kort/kortläsare |
✅
Underskriftstjänsten
...
9. Utfärdandeportalen/Autentiseringstjänsten Administration
Testfall | Krav | Testinstruktioner | Testdata/testmiljö | Testare/Datum/Resultat (NN/YYMMDD///) | Kommentar |
---|---|---|---|---|---|
9.1 Inloggning (Atj Adm) | Scenarios:
Verifiera:
|
|
|
| |||
9.2 Utloggning | Scenarios:
|
|
| ||
9.3 Distribuera meddelanden från Autentiseringstjänstens Admin |
|
Scenarios:
Verifiera:
| Android klienter Apple iOS klienter Desktop klienter | Scenarios Android
iOS
Windows
✅ iOS + Android
Alla
| |||
|
|
|
| ||
9.5 Konfiguration av klienter |
Verifiera:
| Android klienter Apple iOS klienter Desktop klienter |
...
10. System Konfiguration
20240228: Gå igenom nedanstående! (luddiga instruktioner) Sannolikt inget för regression av 2.2, men absolut för Maui
Testfall | Krav | Testinstruktioner | Testdata/testmiljö | Testare/Datum/Resultat (NN/YYMMDD///) | Kommentar |
---|---|---|---|---|---|
10.1 Konfiguration av time-out värden | Scenarios:
| ||||
10.2 Konfiguration av giltiga eID och certifikat | |||||
10.3 Konfiguration av anropsbehöriga system | Kräver en egen Idp som ska konfigureras för att prata med Autentiseringsservern |
✅
11. Icke-funktionella krav (stickprov)
Testfall | Testinstruktioner | Testdata/testmiljö | Testare/Datum/Resultat (NN/YYMMDD///) | Kommentar | |
---|---|---|---|---|---|
11.1 Layout - Desktop klient vs Mobil klient | Verifiera:
| ||||
11.2 Layout - Android klient vs iOS klient | Verifiera:
| ||||
11.3 Färger - Desktop klient vs Mobil klient | Verifiera:
| ||||
11.4 Färger - Android klient vs iOS klient | Verifiera:
| ||||
11.5 Knappar - Desktop klient vs Mobil klient | Verifiera:
| ||||
11.6 Knappar - Android klient vs iOS klient | Verifiera:
| ||||
11.7 Länkar - Desktop klient vs Mobil klient | Verifiera:
| ||||
11.8 Länkar - Android klient vs iOS klient | Verifiera:
| ||||
11.9 Texter - Desktop klient vs Mobil klient | Verifiera:
| ||||
11.10 Texter - Android klient vs iOS klient |
Verifiera:
| ||||
Användbarhet | |||||
Tillgänglighet | |||||
Långtidstest (ex: kör Windowsklienten under lång tid. Det ska gå att logga in med kort /olika kort/ byta kort även efter lång tids användande (flera dagar) ) |
✅
Automatiserade testfall - Android klienter
Android enhet
Resultat