Monitoring Prometheus Infrastruktura IT

Capacity planning w IT:
skąd wiedzieć, że serwer za pół roku przestanie wystarczać?

· 18 min czytania · PRO-Admin

Większość problemów z pojemnością infrastruktury nie pojawia się nagle.

Dysk nie przechodzi w sekundę z 40% do 100%.

Baza danych zazwyczaj nie rośnie z 200 GB do 2 TB w jeden dzień.

Backup nie zaczyna nagle trwać dziewięciu godzin, jeżeli miesiąc temu kończył się po dwóch.

Problemy narastają. Tyle że administrator często widzi je dopiero wtedy, kiedy monitoring pokazuje:

DISK USAGE: 95%

"System od kilku tygodni działa coraz wolniej."

To za późno na capacity planning. Capacity planning nie odpowiada na pytanie:

NIE

Ile zasobów wykorzystujemy dzisiaj?

ZNACZNIE WAŻNIEJSZE

Kiedy wykorzystamy tyle zasobów, że będziemy musieli coś zmienić?

I czy zostanie wystarczająco dużo czasu na:

zakup sprzętu zwiększenie storage zmianę klasy usługi migrację test okno serwisowe

60% wykorzystania nie oznacza, że wszystko jest dobrze

Załóżmy, że storage ma obecnie 60% zajętości. Na pierwszy rzut oka wygląda świetnie. Ale historia wygląda tak:

3 miesiące temu
42%
2 miesiące temu
48%
1 miesiąc temu
54%
dzisiaj
60%

Najważniejszą informacją nie jest "mamy jeszcze 40%". Najważniejsza informacja brzmi:

Zużycie rośnie o około 6 punktów procentowych miesięcznie.

Przy podobnym tempie problem może pojawić się znacznie szybciej, niż sugeruje zielony dashboard. Capacity planning zaczyna się więc od trendu, a nie od pojedynczego pomiaru.

Serwer nie kończy się tylko na CPU

To jeden z najczęstszych błędów. Administrator widzi CPU 35% i RAM 58%, więc stwierdza, że jest spory zapas. Tymczasem ograniczeniem może być zupełnie inny element.

Zasób Co może stać się ograniczeniem
CPU saturacja rdzeni, run queue, throttling, steal
RAM memory pressure, swap, limity cgroup, OOM
Dysk wolne GB, inody, thin pool
Storage IOPS, throughput, latency
Sieć przepustowość, packet loss, kolejki
Baza danych connections, locki, temp, rozmiar danych
Aplikacja workerzy, queue depth, heap
Backup czas wykonania i wielkość okna
Chmura quotas, IOPS, credits, limity regionalne
Licencje CAL, liczba użytkowników, rdzenie

Serwer przestaje wystarczać wtedy, gdy trafimy w pierwsze istotne ograniczenie. Nie wtedy, gdy CPU osiągnie 100%.

Capacity sprzętowe i capacity biznesowe to nie to samo

TECHNICZNIE

CPU średnio: 50%

procesor ma jeszcze zapas

BIZNESOWO

API p95 latency: 4,5 s

użytkownicy czekają na każdą operację

Dlatego capacity planning powinien patrzeć również na:

latency throughput liczbę obsłużonych requestów kolejki SLO czas wykonania procesów biznesowych

Pojemność systemu nie zawsze kończy się wtedy, gdy hardware osiąga 100%. Może skończyć się wcześniej, gdy system przestaje spełniać wymagania. Klasyczny przykład to baza danych, która zwalnia, choć serwer "ma zapas", co opisujemy w artykule dlaczego SQL Server zwalnia.

Headroom to nie procent, który został do 100%

Załóżmy średnie wykorzystanie 55% i szczyt dzienny 75%. Na papierze zostało 45%. W praktyce znacznie mniej, jeżeli dochodzi:

nocny backup miesięczne zamknięcie księgowe import danych kampania sprzedażowa patching

HEADROOM UWZGLĘDNIA

normalny szczyt + przewidywany wzrost + awaryjny zapas + czas potrzebny na zmianę

NIE

100% - aktualna średnia

Nie istnieje uniwersalne "alarmuj przy 80%"

Próg procentowy jest przydatny. Nie powinien jednak być jedynym mechanizmem.

WOLUMEN A

200 GB · 85% used

30 GB free

WOLUMEN B

100 TB · 85% used

15 TB free

Ten sam procent. Zupełnie inne ryzyko. Dochodzi również charakter aplikacji: baza danych może nagle potrzebować miejsca na WAL, temp, indeks, maintenance czy lokalny backup. Dlatego warto łączyć:

procent + wartość bezwzględną + tempo wzrostu + wymagany zapas operacyjny

Zasób po zasobie: na co patrzeć

Nie tylko GB. Inody też potrafią skończyć system

df -h

/dev/sda1  1.0T  500G  500G  50%

df -i

IUse%: 100%

Przy milionach małych plików można skończyć inody znacznie wcześniej niż przestrzeń. Typowe przykłady:

Maildir cache małe artefakty katalogi tymczasowe niekontrolowane generowanie plików

Dlatego dla filesystemów obserwujemy co najmniej bytes + inodes.

RAM: nie patrz wyłącznie na "used"

Linux aktywnie wykorzystuje wolną pamięć jako cache. Dlatego wykres "RAM used: 92%" sam w sobie nie musi oznaczać problemu. Znacznie bardziej użyteczne mogą być:

MemAvailable
Aktywność swap
Swap-in / swap-out
OOM events
Limity cgroup
Memory pressure

Linux udostępnia Pressure Stall Information w /proc/pressure/, dzięki czemu można zobaczyć, jak dużo czasu procesy faktycznie tracą przez niedostępność pamięci, CPU lub I/O. Dokumentacja kernela wskazuje PSI właśnie jako mechanizm pozwalający oceniać wpływ niedoboru zasobów na workload.

PRAWDZIWE PYTANIE CAPACITY

Czy brak pamięci zaczyna już ograniczać pracę systemu?

ZAMIAST

Ile procent RAM pokazuje dashboard?

CPU również nie mówi całej prawdy

Średnie CPU 40% może wyglądać świetnie. Ale warto sprawdzić również:

peak run queue load steal w VM throttling iowait latency aplikacji

Szczególnie steal w maszynie wirtualnej może sugerować, że VM chciałaby pracować, ale hypervisor nie przydziela jej wystarczającej ilości czasu CPU. iowait z kolei może być sygnałem problemu z warstwą I/O. Nie należy jednak traktować pojedynczej wartości jako diagnozy. Capacity planning działa najlepiej, kiedy łączymy kilka sygnałów. Jak to wygląda w praktycznej diagnostyce, pokazujemy przy okazji usługi analizy wydajności serwera Linux.

Storage: GB to tylko jedna warstwa

Dla bazy danych albo hosta wirtualizacji warto analizować:

wolne GB IOPS throughput latency queue depth

Można mieć 3 TB wolnego i jednocześnie storage tak przeciążony, że baza nie jest w stanie wykonywać operacji w wymaganym czasie. Capacity to również wydajność, nie tylko pojemność.

Backup ma własne capacity

Załóżmy backup 4 TB wykonywany w 5 godzin. Dane rosną 8% miesięcznie. Za pół roku backup może nie zmieścić się już w nocnym oknie.

PROBLEMEM NIE BĘDZIE

brak miejsca

PROBLEMEM BĘDZIE

backup kończy się po rozpoczęciu pracy użytkowników

Dlatego warto obserwować wielkość backupu, czas wykonania, throughput, wzrost repozytorium i czas potrzebny na restore. Backup window jest normalnym elementem capacity planningu. Jak zbierać te dane, opisujemy w artykule monitorowanie backupów, a jak mierzyć czas odtworzenia, w artykule test odtwarzania backupu.

Najważniejszy wzór: czas do progu

Cały proces można sprowadzić do jednej ścieżki:

metryka › trend › próg operacyjny › czas do progu › decyzja

Przykład:

OBECNE WOLNE MIEJSCE

400 GB

ŚREDNI PRZYROST

5 GB / dzień

BEZPIECZNY ZAPAS

100 GB

400 GB - 100 GB = 300 GB do wykorzystania
300 GB / 5 GB dziennie = 60 dni

I właśnie 60 dni jest informacją biznesową. Nie 80% wykorzystania.

Lead time jest częścią capacity planningu

21 dni zamówienie storage
14 dni dostawa
7 dni migracja
30 dni bufor
72 dni łącznie, przy 70 dniach do progu

Mamy problem już dzisiaj. Mimo że sam storage może przez kolejne dwa miesiące wyglądać "zielono". Ta sama logika dotyczy wymiany sprzętu kończącego wsparcie, o czym piszemy w artykule koniec wsparcia systemu lub urządzenia. Dobra reguła organizacyjna może więc brzmieć:

TIME_TO_THRESHOLD < LEAD_TIME + MIGRATION_TIME + SAFETY_BUFFER

Jeżeli warunek jest spełniony, powstaje ticket.

Jak długi trend analizować?

Nie istnieje jedna poprawna wartość. Dobrym punktem startowym może być 30, 90 lub 180 dni. Ale należy patrzeć na charakter danych.

Wzrost liniowy

Baza rośnie średnio 2 GB dziennie. Prosta regresja może być bardzo użyteczna.

Sezonowość

Handel: grudzień to nie lipiec. Księgowość: koniec miesiąca to nie środek. Trend z 30 dni może mocno wprowadzać w błąd.

Zmiana skokowa

Nowy klient plus 2 TB danych. Żadna regresja z poprzednich 90 dni tego nie przewidzi.

Dlatego capacity planning wymaga również danych z roadmapy, sprzedaży, projektów i changelogów.

Dashboard nie wie, że za miesiąc przychodzi 80 nowych pracowników.

Prometheus: predict_linear

Prometheus posiada funkcję predict_linear(v, t), która wykorzystuje prostą regresję liniową do przewidywania wartości gauge'a t sekund w przyszłości. To bardzo dobrze pasuje na przykład do node_filesystem_avail_bytes, którą Node Exporter definiuje jako przestrzeń filesystemu dostępną dla użytkowników innych niż root. Więcej o samym stacku Prometheus i Grafana piszemy w artykule monitoring infrastruktury IT.

Czy za 60 dni zostanie mniej niż 50 GB?

predict_linear(
  node_filesystem_avail_bytes{
    fstype!~"tmpfs|overlay"
  }[30d],
  60 * 24 * 3600
) < 50 * 1024 * 1024 * 1024

To pytanie brzmi:

Jeżeli trend z ostatnich 30 dni będzie kontynuowany, czy za 60 dni zostanie mniej niż 50 GB?

I to jest bardzo użyteczny alert capacity. Zamiast "czy dzisiaj mamy ponad 90%?".

Można prognozować również procent

predict_linear(
  node_filesystem_avail_bytes{
    fstype!~"tmpfs|overlay"
  }[30d],
  60 * 24 * 3600
)
/
node_filesystem_size_bytes{
  fstype!~"tmpfs|overlay"
}
< 0.15

Czyli: czy za 60 dni przewidywane wolne miejsce spadnie poniżej 15%? Takie progi nadal trzeba dostosować do środowiska.

predict_linear nie jest wyrocznią

REGRESJA MA SENS

codziennie +5 GB

LINIA MAŁO UŻYTECZNA

dzień 1: +2 GB
dzień 2: +1 GB
dzień 3: +500 GB dump
dzień 4: -500 GB

Jednorazowe dumpy, migracje, cleanup czy duże backupy lokalne mogą mocno zmieniać nachylenie. Dlatego prognozy trzeba obserwować i w razie potrzeby bazować na dłuższym oknie, zagregowanym wzroście dziennym, medianie zmian albo danych oczyszczonych o znane zdarzenia.

Nie chodzi o manipulowanie wykresem tak, żeby wyglądał dobrze. Chodzi o model odpowiadający faktycznemu sposobowi wzrostu danych.

A jeśli chcemy policzyć ETA?

Prometheus posiada również deriv(), które dla gauge'a wylicza nachylenie szeregu w jednostkach na sekundę przy użyciu regresji liniowej. Koncepcyjnie możemy więc policzyć: wolne miejsce podzielone przez tempo ubywania miejsca daje sekundy do zera. Ale w praktyce do alertingu często prostsze i stabilniejsze jest pytanie "czy za 60 albo 90 dni znajdziemy się poniżej określonego progu?", czyli użycie predict_linear.

Prosty estimator bez Prometheusa

Jeżeli nie mamy jeszcze pełnego monitoringu, nawet bardzo prosty pomiar jest lepszy niż zgadywanie. Możemy codziennie zapisywać timestamp,used_bytes:

1727308800,541000000000
1727395200,546200000000
1727481600,551500000000

Najprostszy estimator bierze pierwszy i ostatni punkt: przyrost podzielony przez czas. Nie jest to regresja. Nie uwzględnia sezonowości. Nie odrzuca anomalii. Ale dla prostego, stabilnie rosnącego wolumenu daje pierwszą odpowiedź na pytanie: "Czy mówimy o tygodniach, miesiącach czy latach?". Dopiero później warto przenieść to do Prometheusa lub innego systemu metryk.

Minimalny zestaw capacity dla małej firmy

Jeżeli miałbym zacząć od kilku rzeczy, wybrałbym:

FILESYSTEM

wolne GB, procent, inody

STORAGE

latency, IOPS, throughput

RAM

MemAvailable, swap, pressure

CPU

wykorzystanie, steal, iowait, saturacja

BACKUP

rozmiar i czas wykonania

BAZA

rozmiar, connections, wzrost

SIEĆ

wykorzystanie uplinków

To daje już bardzo dużo informacji.

Hypervisor i klaster: capacity to również scenariusz awarii

Capacity planning hosta wirtualizacyjnego jest jeszcze ciekawszy. Nie wystarczy "RAM hosta: 60%". Trzeba również sprawdzić:

  • › ile RAM przydzielono VM i jakie jest realne wykorzystanie,
  • › overcommit,
  • › storage latency,
  • › możliwości klastra po awarii jednego hosta.

To ostatnie jest szczególnie ważne. Przykład:

NORMALNIE

host1
256 GB
host2
256 GB
host3
256 GB

wykorzystanie 60%, wygląda bezpiecznie

PO AWARII JEDNEGO HOSTA

host1
256 GB
host2
256 GB
host3
✗

60% z 768 GB to ok. 460 GB, a zostało 512 GB, czyli około 90%

Dlatego realnym wymaganiem jest często N+1: capacity oceniamy przy jednym hoście niedostępnym, a nie tylko przy idealnym stanie. Jeżeli odpowiedź na pytanie "czy wystarczy po awarii?" brzmi "nie", capacity skończyło się wcześniej, niż wskazuje dashboard.

Baza danych i chmura

Baza danych

Nie tylko rozmiar. Równie ważne są: tempo przyrostu, WAL / transaction log, temp, liczba connections, maintenance, czas backupu, czas restore, bloat.

Dysk może wystarczyć jeszcze rok, ale maintenance window przestanie wystarczać za trzy miesiące. To nadal capacity problem.

Chmura

Tu również można "skończyć zasoby", tylko zamiast fizycznego dysku mogą to być: quota, liczba IP, liczba dysków, IOPS, burst credits, limity API, maksymalny rozmiar zasobu.

Problem nie wygląda wtedy jak "brak miejsca", tylko jak QuotaExceeded.

Prognoza to nie automatycznie zakup

RIGHTSIZING

Czy obecny serwer jest niepotrzebnie za duży?

CAPACITY PLANNING

Kiedy obecny zasób przestanie wystarczać?

To dwa różne procesy. Można zmniejszyć VM z 16 do 8 vCPU i zaoszczędzić pieniądze. Ale trend wzrostu nadal istnieje. Podobnie prognoza "dysk skończy się za 60 dni" nie oznacza automatycznie "kupujemy dysk". Rozsądna kolejność wygląda tak:

  1. 1 Najpierw usuń śmieci. Stare snapshoty, niepotrzebne logi, cache, artefakty CI, stare backupy, orphaned volumes, temp, niepotrzebne VM. Czasem zamiast +4 TB storage wystarczy -2 TB śmieci. Ale cleanup musi być świadomy, a nie find / -type f -mtime +30 -delete, bo AI albo administrator stwierdzili, że "stare pliki są niepotrzebne".
  2. 2 Potem retencja. Jeżeli logi rosną 200 GB miesięcznie, pytanie brzmi: czy rzeczywiście potrzebujemy 365 dni? Może produkcja potrzebuje 180, dev 30, a debug 7. Retencja jest elementem capacity planningu, nie tylko compliance. Więcej o tym w artykule centralizacja logów w firmie.
  3. 3 Dopiero później skalowanie. Większy wolumen, większa VM, więcej RAM, szybszy storage, większy limit IOPS, kolejny node albo archiwum.

Capacity review raz w miesiącu

Nie chodzi o comiesięczne analizowanie setek wykresów. Raport może zawierać na przykład (to rozwinięcie punktu o capacity z naszej comiesięcznej checklisty utrzymania IT):

Zasób Stan Trend ETA Decyzja
PBS storage 71% +4%/mies. 4 mies. rozbudowa
SQL data 62% +18 GB/mies. 14 mies. obserwacja
/var/log 48% stabilnie brak OK
WAN p95 82% wzrost 5 mies. analiza
backup window 6h/8h +20 min/mies. 6 mies. optymalizacja

Administrator ma wtedy odpowiedzieć na pytanie "czy musimy coś zrobić?", a nie "czy wykres wygląda ładnie?".

Progi powinny prowadzić do działania

Alert Disk predicted < 15% in 60 days powinien otwierać ticket. Nie trafiać do skrzynki capacity-alerts@, której nikt nie czyta. Ticket powinien mieć asset, metrykę, trend, przewidywaną datę, ownera, lead time i rekomendację. Na przykład:

Storage PBS01

Obecne wykorzystanie: 72%
Prognoza 90 dni:      88%
Próg operacyjny:      85%
ETA:                  74 dni

Lead time rozbudowy:  30 dni
Migracja/test:         7 dni
Bufor:                30 dni

Decyzja potrzebna teraz.

To jest capacity planning.

Najczęstsze błędy

1

Patrzenie na średnią

Średni CPU 40% nie mówi, że codziennie między 9:00 a 10:00 system osiąga limit.

2

Pojedynczy snapshot

"Disk 63%" nie mówi nic o tempie wzrostu.

3

Prognozowanie jednorazowego skoku

Migracja 400 GB nie oznacza, że co miesiąc przybędzie 400 GB.

4

Pomijanie inodów

Filesystem może być pełny logicznie, mimo dużej liczby wolnych GB.

5

Ignorowanie storage latency

Miejsce jest. Wydajności już nie.

6

Brak informacji od biznesu

Grafana nie wie, że firma otwiera nowy magazyn.

7

Alert dopiero przy 95%

Jeżeli dostawa i migracja wymagają dwóch miesięcy, jest zdecydowanie za późno.

8

Zbyt krótka historia

Siedem dni danych nie wystarczy do prognozowania zachowania całego roku.

Kiedy capacity planning nie działa?

Nie każdą zmianę można przewidzieć z trendu. Capacity planning nie przewidzi:

Nagłego dużego klienta
Zmiany polityki retencji
Migracji danych
Awarii sprzętu
Błędu aplikacji produkującego miliony logów

Dlatego nie zastępuje monitoringu. Potrzebujemy obu:

MONITORING

"Co dzieje się teraz?"

CAPACITY PLANNING

"Co prawdopodobnie wydarzy się później?"

A gdzie AI?

Tutaj również warto zachować rozsądek. Do przewidzenia zapełnienia liniowo rosnącego dysku nie potrzebujemy LLM. Prosta regresja jest tańsza, przewidywalna i audytowalna. AI może natomiast pomóc przy opisaniu raportu, analizie wielu wskaźników, przygotowaniu rekomendacji i korelacji capacity z planowanymi zmianami.

Liczby powinny powstawać z metryk. Nie z modelu językowego.

To ta sama zasada, którą opisujemy w artykule AI w analizie logów Linux. A dlaczego ostateczna decyzja o rozbudowie nadal należy do człowieka, piszemy w artykule czy AI zastąpi administratora systemów.

Jak podchodzimy do capacity planningu w PRO-Admin?

Capacity planning powinien być częścią zwykłego utrzymania infrastruktury. Nie osobnym projektem wykonywanym raz na trzy lata. Dla serwerów i usług regularnie sprawdzamy:

trendy 30/90/180 dni przestrzeń i inody storage latency RAM i pressure CPU i steal wzrost baz okna backupowe sieć quotas

A dla elementów zbliżających się do granicy liczymy ETA, lead time, czas migracji i bufor, a potem podejmujemy decyzję.

NAJLEPSZY ALERT NIE BRZMI

"Zostało 8%."

BRZMI

"Jeżeli trend się utrzyma, za 74 dni przekroczymy bezpieczny próg. Realizacja rozbudowy zajmuje około 60 dni. Trzeba rozpocząć proces teraz."

FAQ - capacity planning w IT

Co to jest capacity planning w IT?

To proces przewidywania, kiedy obecne zasoby infrastruktury przestaną wystarczać, oraz planowania zmian odpowiednio wcześniej.

Czy 80% wykorzystania serwera jest już problemem?

Nie istnieje uniwersalny próg. Znaczenie ma rodzaj zasobu, wartość bezwzględna, tempo wzrostu, szczyty i czas potrzebny na zwiększenie pojemności.

Jak przewidzieć zapełnienie dysku?

Najprościej zebrać historię dostępnego miejsca i analizować trend. Prometheus posiada predict_linear(), które wykorzystuje prostą regresję liniową do przewidywania przyszłej wartości gauge'a.

Czy predict_linear pokazuje czas do zapełnienia?

Nie bezpośrednio. Funkcja przewiduje wartość szeregu za podaną liczbę sekund. Można jej użyć np. do sprawdzenia, czy za 60 dni wolne miejsce znajdzie się poniżej określonego progu.

Co oznacza node_filesystem_avail_bytes?

Node Exporter opisuje tę metrykę jako przestrzeń filesystemu dostępną dla użytkowników innych niż root.

Jak długiej historii używać?

Zależy od charakteru danych. 30-90 dni może być dobrym początkiem dla stabilnego wzrostu, ale przy sezonowości warto analizować dłuższy okres.

Czy warto monitorować inody?

Tak. Przy dużej liczbie małych plików mogą skończyć się wcześniej niż miejsce na dysku.

Jak oceniać pamięć RAM w Linuksie?

Nie tylko przez procent used. Warto analizować między innymi MemAvailable, swap, OOM events oraz memory pressure. Linux PSI służy właśnie do pomiaru wpływu niedoboru zasobów na workload.

Czy capacity planning dotyczy chmury?

Tak. Obejmuje również limity usług, quotas, IOPS, credits i koszty związane ze wzrostem zasobów.

Jak często robić capacity review?

W wielu środowiskach miesięczny przegląd jest sensownym punktem startowym. Krytyczne progi i nagłe zmiany powinny być oczywiście monitorowane ciągle.

Podsumowanie

NIE ZACZYNA SIĘ OD

Ile mamy teraz CPU?

ZACZYNA SIĘ OD

Który zasób skończy się pierwszy i kiedy?

Dobry proces wygląda tak:

METRYKI

↓

HISTORIA

↓

TREND

↓

PRÓG OPERACYJNY

↓

ETA

↓

LEAD TIME + MIGRACJA + BUFOR

↓

DECYZJA

Największym błędem jest czekanie, aż wskaźnik stanie się czerwony. Jeżeli storage skończy się za trzy miesiące, a jego rozbudowa wraz z migracją zajmie dwa, problem nie pojawi się za trzy miesiące. Problem istnieje dzisiaj. I właśnie to powinien pokazywać dobrze zrobiony monitoring. Nie tylko "72% used", ale "przy obecnym tempie bezpieczny próg zostanie przekroczony za 74 dni".

Bo pojemność infrastruktury kończy się najpierw w kalendarzu. Dopiero później na dysku.

Chcesz wiedzieć o braku zasobów kilka miesięcy wcześniej, a nie po pierwszym "No space left on device"?

W PRO-Admin możemy pomóc wdrożyć:

› monitoring capacity
› Prometheus i Grafanę
› monitoring Windows i Linux
› prognozowanie przestrzeni
› monitoring storage i backupu
› miesięczne health checki
› alerty oparte o trend i ETA
› planowanie rozbudowy infrastruktury

Celem nie jest kolejny dashboard. Celem jest mieć wystarczająco dużo czasu, żeby podjąć decyzję, zanim infrastruktura podejmie ją za nas. Jeśli nie masz własnego administratora, możemy prowadzić capacity review jako zewnętrzny dział IT.

Kontakt

Porozmawiajmy o Twoim IT

Odpiszemy najszybciej jak to możliwe. Bezpłatna konsultacja i wycena.

Obsługujemy firmy w Szczecinie, Stargardzie i okolicach oraz realizujemy usługi zdalnie na terenie całej Polski.

Dane kontaktowe

+48 91 885 43 40
biuro@pro-admin.pl
ul. Lutniana 39/3, 71-425 Szczecin

Godziny kontaktu

Pn–Pt 8:00–17:00
Sob–Ndz Zamknięte
Monitoring & alerty 24/7

Dziękujemy za kontakt!

Wiadomość została wysłana. Odpiszemy najszybciej jak to możliwe.

Ta strona używa narzędzi Microsoft Clarity (mapy cieplne, nagrania sesji) oraz Google Analytics (statystyki ruchu) do anonimowej analizy odwiedzin. Nie korzystamy z reklam ani profilowania.