Avlevering – testside – testing av arkivuttrekk

Nasjonalarkivet utfører en rekke tester og kontroller på arkivuttrekkene før de godkjennes. Dette inkluderer virus- og sjekksumkontroll, kompletthetstester og tekniske tester. Vi tar også hensyn til arkivfaglige prinsipper og tester arkivpakkens pålitelighet, autentisitet, integritet og anvendelighet.

Godkjenning og avvisning av arkivuttrekk

Når et arkivuttrekk er godkjent, får arkivskaperen et godkjenningsbrev. Selve arkivuttrekket blir overført til Nasjonalarkivets langtidsbevaringsløsning. Tidligere i avleveringsprosessen har Nasjonalarkivet og arkivskaper avtalt en dato for overtakelse av den hele råderetten [lenke til side om avtale]. Til den datoen er nådd, har arkivskaper selv ansvaret for bruken av materialet og å betjene innsyn.

Vi undersøker blant annet at det fortsatt går an å finne igjen informasjon i arkivuttrekk. Når dataene er i et uttrekksformat, har man ofte ikke den samme muligheten til å navigere ved hjelp av brukergrensesnittet til systemet der dataene til nå har bodd. Systemets iboende logikk vil ikke lenger presentere informasjonen på en den samme måten som tidligere. Systemets brukergrensesnitt er byttet til tekstfiler som peker på hverandre og diverse vedlegg.

Hvilke tester som gjennomføres og hvorfor de er viktige avhenger av hvordan dataene er skapt og i hvilket format de skal bevares for ettertiden. Nedenfor går vi igjennom hvilke tester som gjennomføres for de vanligste uttrekksformatene vi mottar.

Hvis det er for mange avvik som ikke kan forklares, manglende data, eller andre avvik som påvirker arkivmaterialets autentisitet, pålitelighet og anvendelighet, får arkivskaper et avisningsbrev. I dette tilfellet må arkivskaper produser et nytt og korrigert arkivuttrekk.

Noen av kontrollene vi gjør

Sjekksumkontroll

For å være sikre på at dataene er overført trygt, kontrolleres arkivpakkens sjekksum mot en sjekksummer som genereres automatisk under pakking. Sjekksummen for alle filene i arkivuttrekket blir også kontrollert mot fillisten som blir automatisk generert før overføring. Standarden som brukes er SHA-256.

Viruskontroll

Filene i arkivpakken kontrolleres for virus.

Lesbarhet

Kompletthet er viktig – at vi sjekker at vi har fått alle dataene vi skal ha. Det naturligste sjekkpunktet er å kryssjekke med skjema for arkivbeskrivelse. Derfor ber vi om en telling av antall registreringer – for å ha et konkret tall å kontrollere mot.

Integritet

Vi leser av dataene, og ser for eksempel etter spor av korrupte datasett eller filer med uvanlige tegnsett.

Forståelsen av dataene

I tillegg til at dataene er lesbare, må de også være forståelige for en sluttbruker og for ettertiden. Dette innebærer ofte en gjennomgang av tilhørende systemdokumentasjon for å behjelpe tolkningen av datasettene.

Filformater

Nasjonalarkivet sjekker om filformatene i arkivuttrekket stemmer overens med de avtalte filformatene eller de aksepterte filformatene for avlevering til Nasjonalarkivet [lenke til side for aksepterte filformater].

Statistisk kontroll

Kryssjekk mot publisert statistikk for å få en ekstra kontroll på at vi har fått alle dataene. Dette gir også en god indikasjon på om dataene er tolket riktig av oss.

Tidsperiode

En annen kontroll vi gjøre på samtlige uttrekk, er å undersøke tidsperioden, ofte ved å telle antall forekomster av hvert årstall for en tidsserie. Dette gir primært innsikt i om datasettet er komplett. For komplekse datasett gir dette også og en indirekte kontroll på hvorvidt Nasjonalarkivet har tilstrekkelig dokumentasjon, ved at vi har funnet riktig sett med datoer i arkivpakken.

Testing av Noark-uttrekk

For testing av arkivuttrekk fra Noark-systemer brukes det i utgangspunkt pakke- og testverktøyet Arkade 5 som lager en detaljert testrapport. I tillegg til testrapporten, kjører Nasjonalarkivet en del standardiserte tester på arkivstrukturen, offentlig journal, løpende journal og endringsloggen. Resultatene fra både Arkade 5 og testene som Nasjonalarkivet kjører i tillegg, blir sammenlignet med opplysninger fra arkivskaper i skjema for arkivbeskrivelse og sjekkliste ved overføring av elektroniske arkiver.

Under testing tar Nasjonalarkivet kontakt med arkivskaper. Ofte vil det være behov for dialog rundt avvik som testene ikke kan avgjøre bakgrunnen for. Autentiske avvik skal beholdes siden informasjonen i uttrekket skal langtidslagres i den stand den har vært brukt i saksbehandlingen. Feil som skyldes uttrekksprosessen må rettes opp.

Her finner dere eksempler på test og de mest vanlige avvik som oppdages under test:

Kompletthet

Under testing finner Nasjonalarkivet av og til flere eller færre arkivdeler, saksmapper, registreringer eller dokumenter enn oppgitt i skjema for arkivbeskrivelse. Det kan for eksempel skyldes at utgåtte saker er tatt med i søk da arkivskaper fylte ut skjema for arkivbeskrivelse, eller at den som lager arkivuttrekket har glemt å ta med en arkivdel. I tillegg ser vi også at brukerfeil og manglende rutine hos arkivskaper kan føre til mangel eller feil på obligatoriske verdier, som for eksempel arkivnøkkel og journalposttype som kan påvirke kompletthet til arkivuttrekket.

Periode

Nasjonalarkivet lager en oversikt over antall registreringer per journalår. I denne oversikten er det av og til registreringer som faller utenfor oppgitt periode i skjema for arkivbeskrivelse. Det skyldes oftest brukerfeil, etterregistreringer, migrerings- eller uttrekksarbeid.

Sak- og journalstatus

Saker og registreringer som ikke er avsluttet, og for eksempel har status reservert, dukker opp i mange arkivuttrekk. Dette skyldes ofte brukerfeil eller manglende rutiner hos arkivskaper. Dermed trenger Nasjonalarkivet opplysninger om sak- og journalstatus i skjema for arkivbeskrivelse.

Manipulering av Noark-uttrekk

Manipulering av Noark 5-uttrekket, for eksempel ved å kjøre skript for å gjennomføre kassasjon, eller endre verdier i arkivuttrekket i stor skala, påvirker arkivmaterialets autentisitet og pålitelighet og kan føre til avvisning av arkivuttrekket.

NULL-verdier og dummy-verdier

Nasjonalarkivet sjekker antall forekomster av NULL-verdier som “NULL”, “Ikke angitt,” “Ikke definert” eller lignende. Både bruk NULL-verdier og dummy-verdier bør forklares i skjema for arkivbeskrivelse.

Kassasjon

Når arkivskaper oppgir i skjema for arkivbeskrivelse at det er gjennomført kassasjon, men vi ikke finner igjen obligatoriske metadatafelt for bevaring og kassasjon (M450-M499 i metadatakatalog til Noark 5 6.0) i arkivuttrekket, kan det peke på at kassasjon ikke er gjennomført, eller at det er uttrekket er manipulert slik at kassasjonsmetadata ikke kan gjenfinnes.

Testing av Noark 4-uttrekk

For testing av arkivuttrekk fra Noark 4-systemer brukes det egenutviklede testverktøyet ArkN4. For testing av arkivuttrekk fra Noark 3- og Noark 5-systemer brukes testverktøyet Arkade 5.