Failed drive: controller 1, port 3

Történt ez már vagy három hete egy szerdai napon, már éppen indulni készültem melóból haza amikor a mobilomra néztem: 14 olvasatlan mail. Mindig szokott lenni néhány, de azért nem ennyi. Meglestem őket, féltucat egy allspark.info című domainről jött amely nagyon ismerősen hangzott számomra és hamar rájöttem, hogy honnan. Én birtokolom és ez a SZMAZE szerver amolyan default címe. A mailt olvasva látom, hogy nem valamiféle a szerverünkről küldött kéretlen levél ez, hanem 5 darab figyelmeztetés és 1 hibajelentés sorban. Az egyik lemezen hibás szektorok keletkeztek ami diszfunkcióhoz vezetett és ezért megbomlott a RAID5 mező. Na, már csak ez hiányzott! Mindenesetre nem nagy a baj, a lemez valószínűleg működik, csak le fog kelleni formázni low level formattal. Természetesen ezt a lehető leghamarabb el kell végezni, mert ha most ledöglene valamiképp még egy lemez elég kellemetlen szitu volna (a RIAD 5 mező csak egy merevlemez meghibásodása ellen nyőjt védelmet). Azonnal hívtam Kešůt, ő is éppen most vette észre, hogy gond van. Mivel még munkában voltam gyorsan tolmácsolta nekem a szerverre bejelentkezve látottakat, gyakorlatilag ugyanazt, amit a mailekből kikövetkeztettem. Na most mi legyen?

A: Kiveszem a szerverből a lemezt és hazaviszem leformázni, vagy rosszabb esetben reklamálni? ha formázok mindenképp rizikó, hogy megint előfordulhat a hiba, ráadásul nem tudom, hogy miként fog viselkedni a RAID mező ha egy lemez teljesen hiányzik és nem „csak” meg van hibásodva. Lehet, hogy nem is lesz hajlandó elindulni, az esetleges reklamáció időtartamáról pedig nem is beszéljünk.
B: Beszerzek egy új lemezt (természetesen azonos típust) és bemegyek, kicserélem és reménykedem, hogy a RAID 5 mező helyreáll.

A B megoldás mellet döntöttem, rendeltem egy új merevlemezt. Csütörtök reggel hívtam Samunak (ő az amolyan HW beszállítóm), hogy szükségem van lemezre, lehetőleg gyorsan. Előtte már csekkoltam van a nagyraktáron raktáron is. Azt mondja, hogy kb. délben behozza nekem melóba, ami ideális is volna, mert akkor ebédszünet alatt el is tudok menni kicserélni. Sajnos nem így lett, a raktáron levő lemezek le voltak foglalva valakinek rendelés nélkül! 🙁 Köcsögök, félrevezetik az embereket. Ez van, más megoldás kell. Samu leghamarabb péntek délre tudna pontosan ilyen lemezt szerezni, ez hosszú idő és nem is biztos, ráadásul előttünk a hétvége. Körbenéztem internetes üzleteknél. A eredetileg cseh Alza internetes üzletnek volt raktáron. Pozsonyban van a lemez másnap délelőttre. Azaz megint pénteken, de van egy nagy előnye, nem kell a lemezért külön elmennem valahova, mert a pozsonyi székhelyük 300 méterre van az egyetemi épülettől, ahol a szerverünk el van helyezve, ráadásul munkából pont útba esik, csak éppen gyalog kell majd mennem, nem villamossal. Telefonon megerősítették, hogy másnap délelőtt ott a cucc, szóval délben mehetek érte.
Eljött a péntek, nem tudtam, hogy hol áll a fejem a sok melótól, már majdnem igent mondtam kollégának egy ebédidős Kofolázgatásra a Stormban (ez amolyan idegességlevezető), amikor kapcsoltam, hogy hoppá, a szerver! Ebéd volt Mekiből, délben irány az Alza. Kivettem előtte pénzt, mert „kártyás fizetés esetén nem érvényes az internetes kedvezmény”, magyarul felárat kell fizetni amiért a bank levesz egy bizonyos százalékot a kártyás fizetésért az üzlet hasznából. A bankok szerződései az üzletekkel úgy vannak megírva, hogy kártyás fizetés esetén nem szabad a vevőnek semmiféle költséget sem felszámítani, és ők ezzel így babráltak ki. Kártyás felár helyett van nem kártyás kedvezmény. Nézőpont kérdése, de ugyanaz. Ennek részletes elemzésébe most nem megyek bele, a lényeg, hogy a készpénzben fizettem, ezzel is csökkentve az esélyét valamiféle váratlan szitunak („éppen nem működik a terminál”, stb.). Az Alza jelenlegi székhelye kb. egy hónapja van ott, ahol van és láthatóan még nincsenek berendezkedve. Amikor odaértem, egy ember volt az ügyintézőnél és még egy várt előttem. Mondom szuper, 5 perc és mehetek is. Francokat! Ott vártam kb. fél óráig, majdnem megszültem. Közben persze következő tucat ember gyülemlett ott össze és úgy látszott már, hogy mindenki beszólna már valamit. A hab a tortán az volt, hogy az ott levő fizetőautomata sem működött (lefagyott), pedig azzal simán elintéztem volna amit kell. Végre sorra kerültem, kifizettem a merevlemezt (meglepő, de olcsóbb volt, mint nagyraktárban) és még egy SanDisk Extreme kártyaolvasót, amit egy héttel korábban rendeltem. Ehhez képest már a nagyraktárakban is gyorsabban megy az ügyintézés. Szerencsére a cuccok kiadására nem vártam 5-10 percnél többet. Ekkor már több mint 45 perce nem voltam munkában. Ha a lemezeket ki is cserélem 10 perc alatt, akkor sem érek vissza időbe munkába, de le van szarva. Útközben eszembe jutott, hogy elfelejtettem magammal csavarhúzót hozni, de remélhetőleg lesz majd egy ártatlan darab több tucat szerver közelében. Beértem az egyetemre, a folyosón levő automatában vettem egy csomag „pézsét”, majd irány a szerverszoba. Meglepetésemre már egy széket is tettek a terminálhoz. Sokáig tartott, de rájöttek, hogy így talán kényelmesebb. Kértem egy csavarhúzót, majd bejelentkeztem, beütöttem a shutdown -h now parancsot és vártam mi fog történni. A képernyőn végigfutottak a szokásos parancsok, leálltak a szolgáltatások és megjelent a lemez unmountolása előtti ellenőrzés, ami kb. 1-2 percet szokott igénybevenni. Sajnos most már 5 perce ott ültem, nem történik semmi és kezdek ideges lenni. Balról fújja rám a bazierős klíma tizenvalahányfokos hideget, jobbra tőlem polcokon más szerverek hátuljából ömlik a langyos levegő, egyszóval náthás egészségemnek ideális körülmények. Még szerencse, hogy vettem azt az egy csomag papírzsebkendőt, bár az sem sokat segít az eldugult orromon, fülemen. Közben persze ott a bazinagy zaj a gépektől, és a személyzetből is valaki állandóan ott lábatlankodik körülöttem, ami szintén nem nyugtat meg. Szimuláltam egy váratlan áramkiesést, szerver kikapcsolva. Szedem szét, leellenőrzöm mégegyszer, hogy melyik a hármas porton levő lemez, hogy véletlenül se rosszat cseréljek ki. Még szerencse, hogy két hónappal ezelőtt amikor a gép otthon volt, akkor nem voltam lusta rendet rakni bent a kábelek között és mindent elrendeztem, majd a lemezeket is sorban helyeztem el, portok szerint. Veszem ki a merevlemezt. Ahogy az vártam, az 5,25″-ös pozícióba beszerelt lemezről van, azaz a sínek leszerelésén kívül meg kell birkóznom a toldalékvasakkal is. Nem lenne ez gond, de ez a rohadt csavarhúzó 2x vastagabb mint az amit otthon használtam, így nem fér be rendesen a toldalékvas oldalán levő nyílásokba, ráadásul még a mágneses fej polaritása is valamiért fordított így a csavarokat lelöki magáról. Kb. 15 perc szenvedés árán sikerült kicsavarnom 8 csavart, majd az egész toldalék, vagy redukciós cuccot sínestül sikerült rászerelnem az új merevlemezre. Mondhatni ideális idő egy tip-top cserére, amit normálisan szerverknél 2 mozdulattal kéne tudni elvégezni, de ez van, ha nincs költségvetés nagyobb ládára, amelyben esetleg lenne előkészített hely és sínpár több merevlemezre. Csere sikerült, gépet teszem vissza a helyére, indítom és várom mit ír ki az Adaptec kártya BIOS-a. A gyártó oldala szerint ilyenkor az új merevlemezt inicializálni kell, majd Hot-Spare lemezként kell hozzákapcsolnom a RAID mezőhöz. Nem sokkal ezután el kellene kezdődnie a mező újraépülésének. Lemezt látja, nem strájkol, de amint manipulálni akarok a merevlemezzel, közli velem szép piros kiugró ablakban, hogy ebben az esetben megszűnik az a létező mező amelynek már része a merevlemez. Hoppá, nem szüntet meg semmit! Leellenőrzöm és a lemez már tényleg része, pedig csak előbb tettem be. Úgy néz ki, hogy az Adaptec oldalán levő információk nem a legfrissebbek, illetve az utolsó BIOS-ok okosabbak már és a kicserélt új lemezt azonnal hozzáadják a degradált mezőhöz. Restart és hagyom bootolni a gépet. Rendszer indul, minden okésan néz ki, még a filerendszer mountolása is gyorsan végigment, pedig a nem korrekt kikapcsolás után nem lepett meg volna ha megint nagyon hosszú ideig kell várnom (normális körülmények között általában 1-2 perc szokott lenni).

Hívom Kešůt, dél óta legalább 3x felébresztettem őt (IT-s ember nappal alszik). Leellenőrizte, hogy minden megy, majd csekkolja az Adaptec Storage Managert is. Látja az új lemezt, „Status: Rebuilding”, és szép lassan futnak a százalékok is. Zseniális, mégis tud valamit ez az Adaptec kártya és program amit Kešů nem igen akart telepíteni, mert kellett hozzá a Java is. Szerencsére idegesítettem Őt kicsit ezért telepítette. Ha nem lett volna telepítve, akkor most nem tudunk a hibáról és a masina ott sípolgatna magának a csukott szerverszobában, aztán ki tudja mikor tűnne az fel valakinek. Így a program fut a háttérben, figyeli az Adaptec 2420SA meghajtóra bekötött lemezek és RAID mezők állapotát és ha gond van azonnal jelez. Ezért érdemes rendes merevlemez RAID megjatót (kártyát) venni. Drága, de végzi a dolgát és most már nem sajnálom, hogy pár éve 14 lilát invesztáltam bele saját zsebből.
Egyetlen egy dolog cseszi csak a csőröm. Az új lemezek egyikével történt ez, nem a régiekkel. Ha 2 hónappal korábban történik a dolog, akkor hívok a Dellbe és jön a technikus az új lemezzel, és nem kellett volna a cserelemezt hajszolni. Murphy törvényei mindig működnek.

A bejegyzés hétfő, június 2nd, 2008 - 18:11-kor történt. Kategória: Beszámoló, Szerver. Valamennyi hozzászólás követhető az RSS 2.0 hírforráson keresztül. Hozzászólás,vagy visszajelzés a honlapról