Analiza przyczyn powtarzających się awarii infrastruktury IT

Analizujemy oba przypadki. Pojedynczy, poważny incydent też zasługuje na analizę źródłowej przyczyny, żeby się nie powtórzył. Najczęściej trafiają do nas jednak sytuacje, w których problem wraca cyklicznie mimo napraw - tam analiza historyczna i korelacja zdarzeń przynoszą najwięcej wartości, bo pojedyncza naprawa nie pokazuje wzorca, a wzorzec jest kluczem do przyczyny.

Nie jest to warunek konieczny, choć istniejący monitoring ułatwia i przyspiesza analizę. Jeśli monitoringu brakuje, opieramy się na logach, konfiguracji, historii zmian oraz wywiadach z osobami reagującymi na incydenty. Sam brak monitoringu bywa jednym z czynników utrudniających wcześniejsze wykrycie przyczyny, co odnotowujemy w raporcie.

Tak, analiza historycznych logów jest podstawowym narzędziem RCA. Jeśli logi z wcześniejszych incydentów zostały zachowane, wykorzystujemy je do zbudowania osi czasu i znalezienia wzorca poprzedzającego awarię. Jeśli logi zostały nadpisane, analiza opiera się w większym stopniu na obecnym stanie systemu i relacjach osób zaangażowanych w poprzednie interwencje.

Tak, większość analizy RCA da się przeprowadzić zdalnie, na podstawie dostępu do logów, konfiguracji, monitoringu oraz rozmów z administratorami. Wizyta na miejscu bywa potrzebna, gdy podejrzewamy przyczynę fizyczną - problem z zasilaniem, chłodzeniem czy okablowaniem - której nie da się w pełni zweryfikować zdalnie.

Tak, każda analiza kończy się raportem opisującym przyczynę źródłową, oś czasu zdarzeń, analizę wpływu na działanie firmy oraz rekomendacje uszeregowane według priorytetu. Raport piszemy w sposób zrozumiały zarówno dla administratora, jak i dla osoby zarządzającej firmą bez technicznego zaplecza.

Tak, choć nie jest to obowiązkowe - raport może wdrożyć Twój zespół lub inny wykonawca. Wielu klientów decyduje się na wdrożenie przez nas, bo znamy już szczegóły zidentyfikowanej przyczyny, co skraca czas realizacji. Wdrożenie wyceniamy zawsze osobno, po akceptacji raportu.

Tak, wirtualizacja Proxmox jest jedną z naszych głównych specjalizacji. Sprawdzamy stan klastra i quorum, konfigurację storage backendu, overcommitment zasobów i logi migracji maszyn wirtualnych - problemy w tych obszarach bywają rzeczywistą przyczyną pozornie niezwiązanych awarii poszczególnych VM.

Tak, obsługujemy analizę środowisk VMware, w tym vSphere i ESXi - logi hosta, zdarzenia klastra HA i DRS, konfigurację storage współdzielonego oraz historię migracji vMotion. Awaria pojedynczej VM bywa jedynie objawem problemu na poziomie hosta lub storage.

Tak, analizujemy również Hyper-V, w tym klastry failover, konfigurację storage (w tym Storage Spaces Direct) oraz logi zdarzeń klastra Windows. Powtarzające się problemy w maszynach wirtualnych na Hyper-V często mają źródło na poziomie hosta, sieci klastra lub warstwy storage.

Tak, problemy z Active Directory bywają źródłem pozornie niezwiązanych awarii w innych systemach. Sprawdzamy replikację między kontrolerami domeny, konflikty obiektów, synchronizację czasu (kluczową dla Kerberos), role FSMO oraz historię zmian w zasadach grupowych.

Tak, analiza RCA jest z założenia pasywna - opiera się na logach, danych historycznych i rozmowach, nie na eksperymentach na produkcji. Jedynym elementem wymagającym czasem krótkiego okna serwisowego jest kontrolowane odtworzenie scenariusza awarii na środowisku testowym, zawsze uzgodnione wcześniej.

Tak, to główny cel usługi - raport RCA zawiera rekomendacje strukturalne ograniczające ryzyko podobnych awarii w innych częściach infrastruktury, nie tylko rozwiązanie bieżącego problemu. Jeśli przyczyną był brak monitoringu lub procedur, proponujemy konkretny, proporcjonalny do skali firmy sposób ich wdrożenia.

Analiza pojedynczego, dobrze udokumentowanego incydentu trwa zwykle 2 do 5 dni roboczych. Analiza powtarzających się awarii trwa zwykle 1 do 3 tygodni, zależnie od dostępności danych historycznych. Kompleksowa analiza całej infrastruktury wymaga więcej czasu - harmonogram ustalamy po pierwszej rozmowie.

Cena zależy od zakresu i złożoności problemu. Analiza pojedynczego incydentu jest tańsza niż analiza powtarzających się awarii obejmująca wiele systemów. Kompleksowa analiza całej infrastruktury wyceniana jest indywidualnie. Dokładną wycenę przygotowujemy po bezpłatnej rozmowie wstępnej.

Standardowa naprawa koncentruje się na jak najszybszym przywróceniu działania systemu. RCA to osobny proces, wykonywany zwykle po ustabilizowaniu sytuacji, którego celem jest znalezienie przyczyny źródłowej, nie samego objawu. Naprawa przywraca działanie na dziś. RCA odpowiada, dlaczego problem w ogóle wystąpił i jak sprawić, żeby nie wrócił.

To częsta sytuacja, która nie wyklucza analizy, choć ją utrudnia. Opieramy się wtedy na konfiguracji systemów, historii zmian widocznej w innych miejscach, danych z monitoringu, jeśli jest dostępny, oraz szczegółowych wywiadach z administratorami. Część wniosków ma wtedy charakter prawdopodobieństwa, o czym zawsze jasno informujemy w raporcie.

Tak, to sytuacja, w której niezależna analiza RCA przynosi największą wartość. Gdy zespół ma sprzeczne teorie, każda kolejna naprawa opiera się na innym założeniu i żadna nie usuwa problemu trwale. Nasza analiza opiera się na danych - logach, konfiguracji, osi czasu - a wynik jest uzasadniony konkretnymi dowodami, co pozwala zakończyć spór.