En natt på Ibas

Kl 19:10 igår kväll ringde vår jourtelefon och jourhavande tekniker, Gine Smerud, svarade direkt. Ett större företag i Oslo har en RAID där data har försvunnit. Det finns hundratals av systemanvändare. Det är brådskande att få tillbaka den data som gått förlorad, systemet är i bruk och ett driftstopp är en kritisk faktor.

Vilken typ av uppgift står vi inför?

RAID-system är i grunden konstruerade för att hantera fel. Hårdvarufel är dock en vanlig orsak till att vissa RAID-system kraschar, men det kan också vara andra fel som gör att data går förlorad.

Gine- och teknikerna hos kunden diskuterar de viktiga första åtgärderna och det handlar om 4 diskar i RAID 5, NTFS filsystem. Det är mappar och filer som är borta, inget virtuellt. Teknikerna är osäkra på vad som hänt och varför. Systemet är i full drift under samtalet men Gine instruerar dem att stoppa det omedelbart för att förhindra ytterligare överskrivningar och att viktig data skadas. Systemet stängs av under samtalet.

RAID recovery

Våra metoder för att rädda data från RAID-system är beprövade, men våra tekniker är överens om att RAID-system ofta är de mest tekniskt krävande. Den process som vi använder för att återställa RAID är i praktiken att sätta ihop datablocken igen för hand. Allt efter en omfattande analys av hur data skrivs till samtliga diskar, ordningen på diskarna och vad som har skett rent mjukvarumässigt i samband med skadan.

Gine och den nu förtvivlade teknikern diskuterar potentiell dataförlust och var felen kan ligga. Det är vanliga användarfiler som t.ex. dokument som är borta och Gine får exempel på vilka mappar och filer som saknas.

Vad hände innan teknikern ringde?

Ibas måste veta vilka åtgärder som gjorts innan de kan sätta igång. Teknikern har försökt med en återställning av backup i systemet och på en gång blev det mer komplicerat för Ibas då viktig data kan vara överskriven. Slutsatsen är att en Remote Data Recovery inte är möjlig då systemet kommer vara ockuperat av Ibas längre än vad det tar att skicka det till Kongsvinger. Normalt="" sett är Remote Data Recovery det snabbaste sättet för Ibas att rekonstruera data på. Det används ofta när tiden är mycket kritisk och man har kunnat konstatera att det inte rör sig om några fysiska skador.

Kl. 19.25 tar Gine och teknikern hos kunden beslut om att RAID-en måste packas och transporteras till vårt labb i Kongsvinger.

Kl. 19:30 är bilen som ska hämta diskarna på väg.

Precis när nyheterna på TV2 börjar vid 21.00 kör två ingenjörer tillbaka till jobbet och står redo vid 21.15 när budbilen anländer till laboratoriet. Nu väntar en lång natt av intensivt arbete för att säkerställa fysisk rådata från de fyra diskarna.

 Hur går en RAID recovery till?

En RAID recovery är egentligen en kombination av två mycket viktiga steg. Först måste vi förstå och återskapa RAID konfigurationen vilket tar upp det mesta av tiden. Det är väldigt viktigt att detektera den ursprungliga konfigurationen för att uppnå en god kvalitet på det fortsatta arbetet med rekonstruktionen av data. Vi kontrollerar även om RAID-en har varit i bruk med en eller flera diskar offline. Våra tekniker verifierar och bekräftar att konfigurationen är så lik ursprunget som möjligt. Därefter kopieras rådata till arbetsdiskar och resterande arbete med analys av innehållet vidtar. Detta extrasteg säkerställer god kvalitet på de filer som skall levereras.

Kl. 06:00 kommer en tredje tekniker för att arbeta med den logiska delen av analysen. Han analyserar datastrukturer och innehåll som kan rekonstrueras. Detta arbete kommer att ta ett par timmar och resultatet visar hur mycket av den förlorade informationen som kommer att kunna räddas.

Kl. 06:45 En budbil hämtar originaldiskarna och returnerar dem till kunden. De måste så snabbt som möjligt få igång systemet med de data som inte gått förlorad.

Kl. 08:00 Övriga anställda på Ibas kommer till jobbet och i kön till kaffemaskinen förstår de snabbt att vissa flitiga själar har arbetat hela natten för att göra en stor skillnad åt ett nödstält företag.

Kl. 09:00 fann äntligen den tredje teknikern en lösning för att kunna rekonstruera viktiga filer ur filsystemet. Tillsammans med en kollega arbetade han ytterligare 2 -3 timmar för att analysera de stickprov som gjordes för att säkerställa att resultatet skulle bli så bra som möjligt efter en fullt genomförd rekonstruktion. De fann slutligen pekare till mer än 90 % av kundens viktiga filer. Slutligen konstaterade de också att så gott som alla filer kunde rekonstrueras med mycket god kvalité.

Detta är en verklig berättelse om en natt på Ibas. Vi har ett antal liknande nätter som denna under loppet av ett år. Rekonstruktion av data är vår passion. Vi gör det yttersta för att våra kunder ska få ta del av den när data levereras.