Hur man pajar en server

… eller hur Phoo gick sönder.

Lite bakgrundsfakta: Phoo är Starkast-föreningens stolthet, en 1U-server med dubbla processorer, en del minne och disk. En riktigt tjusig maskin, som står i en av Sveriges tjusigaste datorhallar (Telefortress). Det är en maskin som skänkt mycket glädje under åren, tror den funnits i 3 år.

Idag, torsdag, hade vi planerat ett besök hos Phoo. Vi skulle byta ut ett gäng diskar och stoppa i ett nytt IPMI-kort (Fjärrstyrningskort), hyfsat avancerat ingrepp då det skulle flyttas runt data mellan en massa diskar och en ny disk skulle bli boot-disk, men det kändes inte sådär jätteklurigt.

Gick upp ganska tidigt, över en timme innan bussen från Norrtälje gick, käkade lite mat och stressade runt för att hitta alla sladdar och mojänger jag skulle ta med mig. En notis är att datorhallen ligger mitt ute i ingenstans, man är helt fucked om man glömt något hemma. Iaf, ja sprang runt och stressade hemma, sprang ut och slängde mig på cykeln… märker att den har punktering, springer runt och letar som en tok efter en nyckel till en backup-cykel. Efter ett tag har jag iaf tagit mig ner till busstationen, kutar till bussen och hinner precis med. I Danderyd hämtar Henrik upp mig, Henrik är min “assistent” för dagen, och vi far iväg genom Stockholm ner mot datorhallen.

Nåja, Phoo skulle uppgraderas, vi sätter igång och skickar en sista backup till våran extra-server som står i Linköping, tar några minuter, sedan stänger vi av Phoo och börjar direkt mecka. Vi fipplar en stund för att få igång console-redirection (så man kan arbeta med maskinen via en seriell com-kabel). När detta fungerar försöker vi få IPMI-kortet att fungera, det tar en stund att få fart på det, men efter ett tag funkade det faktist hyfsat. Dock lite problem när operativsystemet skulle boota och tyckte att nätverksinterfacen skulle vara avstängda.

Hela IPMI-arbetet skedde i en dånande datorhalls golv, rätt jobbigt. Så inför diskarbetet bestämde vi oss för att sno med oss lite prylar från hallen och sätta oss i deras topp-moderna kök och mumsa mat samtidigt som vi pillar. Efter lite konkande och pustande har vi burit ner allt. För att kunna synca alla diskar och få hyfsat prestanda hade jag bestämt att vi skulle stoppa i ett extra kontrollerkort för att ha alla diskar i samtidigt, alltså både dom gamla och nya. Nu börjar alltså det fruktansvärda!

Jag sätter mig och läser nått på min laptop, Henrik står på andra sidan bordet och är effektiv, kopplar i alla kablar och det extra kontrollerkortet… men det händer något konstigt med kontrollerkortet! Det hamnar inte i sin 33 MHz / 32-bitars PCI-slot som den skall vara i, nej den hamna i en av Phoos stora fina 66 MHz / 64-bitars bronto-PCI-X-slottar… på fel håll. Kortets undersida är alltså upp, mot CPU:erna, så skall det inte vara. Utan att registrera något fel fortsätter vi med arbetet, men när vi trycker på ström-knappen hör vi inget dån från fläktarna utan ett svagt pip följt av tystnad. Jag noterar kontroller-kortet, vi sliter ur det och testar utan, igen och igen… samma sak. Vi sliter ur alla diskar, olika minnen, vi testar att starta från IPMI-kortet, via knappen. Ja alla kombinationer, något är galet!

Henrik blir märkbart upprörd, han skall ju lansera nya tjänster på sin filmsida (Cinemaone) inom kort, det känns inget bra. Efter en timmes suckande och testande, ger vi upp. Vi försökte ringa runt och hitta ett nytt nätagg, även om vi inte är helt säkra på att det är nätagget, inget napp.

Det slutar med att jag, en 1U-rackserver och ett gäng andra människor åker med SL:s 676-linje hem till Norrtälje. Phoo has left the building…

Alla ni som använder Phoo eller maskinens tjänster behöver dock inte vara så ledsna, som tur är, är jag en riktig datamaskin-junkie. Direkt när jag kom hem rev jag fram en 4U-server (2×1,9 GHz Athlon MP, 2 GiB RAM) från hyllan, flyttade över Phoos diskar i den och körde igång allt i min källare. I princip alla tjänster fungerar som vanligt, om än lite segare då 100 Mbit helt plötsligt blivit 2,5 Mbit. Total nedtid för Phoo var cirka 11 timmar, rätt ok iaf.

Upppdatering

Moderkortet verkar helt, har dock inte hunnit boota något OS med det än. Men BIOS, POST osv fungerar fint. Tur att det bara var nätaggregatet. Att hitta ett moderkort som passar chassit, IPMI-kortet, CPUerna och minnet hade tagit väldigt lång tid. Tills vidare snurrar Phoo på i min källare.