Co znaleźliśmy podczas audytu
IT w firmie produkcyjnej?

Na pierwszy rzut oka wszystko wyglądało poprawnie. Produkcja działała, pracownicy wykonywali swoje obowiązki, a kierownictwo nie zgłaszało poważniejszych problemów związanych z infrastrukturą IT.

To właśnie takie środowiska są często najbardziej zdradliwe.

Brak widocznych awarii nie oznacza, że infrastruktura jest bezpieczna i przygotowana na przyszłość. W wielu firmach problemy narastają przez lata. Kolejne systemy są dokładane, sieć rozbudowywana, a dokumentacja pozostaje nieaktualna lub nie istnieje wcale. Dopiero audyt pokazuje rzeczywisty obraz sytuacji.

Co zastaliśmy podczas audytu?

Firma zatrudniała około 120 pracowników i korzystała z kilku systemów wspierających produkcję, magazyn oraz administrację. Na pierwszy rzut oka infrastruktura wyglądała całkiem nowocześnie - w części środowiska działały nowe serwery, wykorzystywano maszyny wirtualne, a użytkownicy nie zgłaszali większych problemów.

Dopiero szczegółowa analiza pokazała szereg ryzyk.

Brak spójności środowiska

Pierwszym problemem była mieszanka bardzo starych i stosunkowo nowych systemów. W środowisku znaleźliśmy między innymi:

• › serwery Windows Server 2012 R2 bez wsparcia producenta
• › komputery z Windows 7 obsługujące aplikacje produkcyjne
• › stare sterowniki PLC i systemy SCADA
• › nowoczesne maszyny wirtualne działające obok systemów mających ponad 10 lat

Samo współistnienie takich systemów nie jest niczym niezwykłym w produkcji. Problem pojawia się wtedy, gdy nikt nie posiada planu ich modernizacji i nie rozumie zależności pomiędzy poszczególnymi elementami.

Sieć IT i OT działały praktycznie jako jedna całość

Jednym z najpoważniejszych problemów był brak skutecznej segmentacji pomiędzy siecią biurową a siecią produkcyjną. W praktyce oznaczało to, że:

• › komputery użytkowników znajdowały się w tej samej przestrzeni adresowej co część urządzeń produkcyjnych
• › ruch pomiędzy systemami był słabo kontrolowany
• › awaria lub infekcja jednego segmentu mogła rozprzestrzenić się na pozostałe obszary firmy

W przypadku ataku ransomware skutki mogłyby objąć zarówno systemy administracyjne, jak i produkcję.

Niebezpieczne sposoby zdalnego dostępu

Podczas analizy odkryliśmy kilka rozwiązań wdrażanych przez lata przez różnych dostawców. Wśród nich znajdowały się:

• › przekierowane porty do urządzeń przemysłowych
• › stare usługi zdalnego dostępu dostępne z Internetu
• › konta współdzielone przez kilka osób
• › hasła, które nie były zmieniane od wielu lat

Żaden z tych problemów osobno nie oznacza katastrofy. Razem tworzą jednak środowisko o podwyższonym ryzyku bezpieczeństwa.

Backup istniał tylko teoretycznie

Jednym z najczęściej spotykanych problemów podczas audytów IT jest przekonanie, że skoro backup się wykonuje, to wszystko jest w porządku. W tym przypadku sytuacja wyglądała podobnie.

Kopie znajdowały się w tej samej lokalizacji

Backup był wykonywany regularnie, jednak trafiał na urządzenie znajdujące się w tej samej serwerowni. Oznaczało to, że pożar, zalanie, przepięcie lub atak ransomware mogły jednocześnie uszkodzić zarówno produkcję, jak i kopie zapasowe. To klasyczny scenariusz opisany w artykule o tym, czy Twoje backupy przetrwają ransomware.

Nikt nie testował odtwarzania

Jeszcze większym problemem był brak testów przywracania danych. Firma nie była w stanie odpowiedzieć na podstawowe pytania:

• › ile trwa odtworzenie serwera
• › czy wszystkie dane można odzyskać
• › jaki jest rzeczywisty czas powrotu do pracy

Dopiero test restore pozwala zweryfikować, czy backup faktycznie działa. Więcej o tym, dlaczego samo tworzenie kopii nie wystarczy, opisujemy w artykule o tym, dlaczego backup nie gwarantuje odzyskania danych.

Największy problem? Brak dokumentacji

Największym zaskoczeniem nie były stare systemy ani backup. Największym problemem okazał się niemal całkowity brak aktualnej dokumentacji.

Wiedza znajdowała się w głowie jednej osoby

Schemat sieci był nieaktualny od kilku lat. Lista serwerów nie obejmowała wszystkich systemów. Część zależności pomiędzy aplikacjami była znana wyłącznie jednemu administratorowi.

W praktyce oznaczało to, że odejście tej osoby mogłoby sparaliżować wiele procesów technicznych - dokładnie ten scenariusz opisujemy w artykule o tym, co zrobić, gdy odchodzi administrator IT. To sytuacja znacznie częstsza, niż mogłoby się wydawać.

Monitoring nie ostrzegał przed problemami

Firma nie posiadała centralnego systemu monitoringu. O problemach dowiadywano się głównie od użytkowników. Podczas audytu wykryliśmy:

• › przeciążone przełączniki sieciowe
• › okresowe spadki wydajności
• › brak monitoringu pojemności dysków
• › brak monitoringu backupów
• › brak monitoringu certyfikatów SSL

W praktyce oznaczało to działanie w trybie reaktywnym. Problemy były rozwiązywane dopiero wtedy, gdy ktoś je zauważył.

Jakie ryzyka wykryliśmy?

Po zakończeniu audytu oceniliśmy, że największe zagrożenia obejmowały:

• › ryzyko zatrzymania produkcji wskutek awarii pojedynczego elementu infrastruktury
• › możliwość rozprzestrzenienia się ransomware pomiędzy środowiskiem IT i OT
• › utratę danych wskutek nieskutecznego backupu
• › problemy podczas kontroli i audytów zgodności
• › trudności przy dalszej rozbudowie środowiska

Dla wielu zakładów produkcyjnych godzina przestoju oznacza straty liczone w dziesiątkach tysięcy złotych. W takich warunkach nawet pozornie niewielkie problemy mogą mieć bardzo poważne konsekwencje biznesowe.

Co zaleciliśmy?

Rekomendacje zostały podzielone na kilka etapów.

Priorytetowe działania (pierwsze 30 dni)

• › segmentacja sieci IT i OT
• › zabezpieczenie zdalnego dostępu
• › weryfikacja wszystkich kont administracyjnych
• › test odtwarzania backupu
• › wdrożenie podstawowego monitoringu

Działania średnioterminowe (3-6 miesięcy)

• › aktualizacja systemów niewspieranych przez producentów
• › uporządkowanie dokumentacji
• › wdrożenie centralnego monitoringu
• › uporządkowanie polityki haseł i dostępów

Działania długoterminowe

• › budowa redundancji kluczowych elementów
• › wdrożenie rozwiązań wspierających ciągłość działania
• › przygotowanie planu BCP
• › rozwój środowiska zgodnie z wymaganiami Industry 4.0

Wnioski dla innych firm produkcyjnych

Największym problemem rzadko jest pojedynczy serwer czy urządzenie sieciowe. Najczęściej zagrożeniem jest wieloletnie odkładanie porządków w infrastrukturze.

Przez lata wszystko działa poprawnie, aż pojawia się awaria, cyberatak lub konieczność szybkiej rozbudowy środowiska. Wtedy okazuje się, że brak dokumentacji, monitoringu i procedur staje się realnym zagrożeniem dla biznesu.

Podsumowanie

Audyt infrastruktury IT w firmie produkcyjnej bardzo często pokazuje coś więcej niż tylko problemy techniczne. Pokazuje, które elementy rzeczywiście wpływają na ciągłość produkcji, bezpieczeństwo danych i zdolność firmy do dalszego rozwoju.

W opisywanym przypadku największym zagrożeniem nie były stare serwery czy brak aktualizacji. Największym problemem był brak kontroli nad środowiskiem i zależność od wiedzy pojedynczych osób.

Dlatego audyt infrastruktury IT warto traktować nie jako koszt, ale jako inwestycję w bezpieczeństwo i stabilność firmy. Im wcześniej problemy zostaną wykryte, tym taniej i łatwiej można je usunąć.