Flaem

Statystyki i monitoring serwerów: co sekundę, z prawdziwymi szczytami

Flaem mierzy każdą usługę i każdy węzeł co sekundę i w każdym okresie trzyma średnią, minimum, maksimum i percentyle, więc krótki skok nie znika w uśrednieniu. Klient widzi wykresy swojej usługi, a Ty do tego węzły, sprzęt, sieć i to, kto komu zabiera zasoby.

  • Pomiar co sekundę
  • Średnia minutowa
  • Najwyższy szczyt w oknie

Ta sama minuta pracy procesora: z pomiarem co sekundę skok jest widoczny, a w średniej minutowej prawie znika.

01Zasoby usługi

Pełny obraz zasobów każdej usługi

Gry, strony, VPS-y i kontenery LXC mają jedną siatkę wykresów do 30 dni wstecz. Procesor jest rozbity na użytkownika, system, oczekiwanie na dysk i steal, więc niska średnia nie ukryje dławienia, które robi lagi.

Procesor

Użytkownik, system, oczekiwanie na dysk i steal, a do tego nacisk procesora.

Pamięć

Skład pamięci, nacisk pamięci i licznik zabić przez brak pamięci.

Dysk

Odczyt i zapis w B/s, IOPS i opóźnienie.

Sieć

Wejście i wyjście w b/s i w pakietach.

Limit pakietu

Dla kontenerów czas dławienia przez limit pakietu.

Wnętrze VPS-a

Kto zjada zasoby: usługi systemu i kontenery Dockera w środku maszyny, z historią.

Dokładność co sekundę

Agent mierzy co sekundę i co 5 sekund wysyła średnią i maksimum, więc krótkie zrywy procesora, sieci i dysku nie znikają. Otwarty wykres VPS-a, kontenera LXC albo serwera dedykowanego odświeża się co sekundę, tylko na czas oglądania.

Monitoring VPS-a w panelu klienta: procesor, pamięć, dysk i sieć co sekundę, percentyle, zdarzenia na wykresie i aktywny alert
02Percentyle

Percentyle i prawdziwe szczyty zamiast gładkiej średniej

Każdy wykres i podsumowanie pokazuje p50, p90, p95 i p99 dla dowolnego okna, z pasmem od p5 do p95 pod średnią. Liczniki sieci i dysku pamiętają w każdym okresie najwyższą prędkość z 5 sekund, więc wykres z miesiąca pokazuje realny szczyt, a nie wygładzoną średnią.

p50
połowa pomiarów jest niższa
p90
9 na 10 pomiarów jest niższych
p95
19 na 20 pomiarów jest niższych
p99
tylko 1 pomiar na 100 jest wyższy
Pytanie klienta
Klient pyta, dlaczego wczoraj wieczorem lagowało, a nie o średnią. Czas ticku p99 z wczoraj odpowiada na to jedną liczbą.
Przerwa to przerwa
Brak danych jest na wykresie przerwą, a nie płaską linią na zerze. Maszyna, która raportowała przez 20 minut z 6 godzin, nie była przez resztę czasu bezczynna.
Uczciwe zagęszczanie
Każdy przedział trzyma liczbę pomiarów, sumę, minimum, maksimum i ostatnią wartość. Godzina ze średnią 12% procesora i maksimum 100% wciąż pokazuje incydent.
03Typowy tydzień

Co jest normalne: typowy tydzień i porównanie okresów

Każda metryka ma profil 168 godzin tygodnia i mapę ciepła dzień na godzinę: gracze, procesor, ruch. Na wykresie widać nakładkę "ten sam okres tydzień albo miesiąc temu" i szare pasmo "zwykle o tej porze".

Tylko do oglądania
Profil tygodnia nie wysyła powiadomień. Odpowiada na jedno pytanie: czy ten skok to norma.
Godziny szczytu
Właściciel serwera gry widzi, kiedy jego gracze naprawdę grają, a Ty widzisz to samo dla całego węzła.
Porównanie okresów
Bieżący tydzień albo miesiąc na tle poprzedniego, na tej samej osi.
04Czarna skrzynka

Zdarzenia na wykresach i czarna skrzynka z dokładnymi danymi

Restart, awaria z diagnozą, kopia, zmiana pakietu, aktualizacja, atak i przerwa serwisowa są znacznikami na wykresie. Przy zdarzeniu, zgłoszeniu albo przycisku "zachowaj" Flaem zamraża dane co 10 sekund od 30 minut przed do 10 minut po.

  • Restart
  • Awaria z diagnozą
  • Kopia
  • Zmiana pakietu
  • Aktualizacja
  • Atak
  • Przerwa serwisowa

Zgłoszenie przychodzi często następnego dnia, gdy zostały już tylko średnie minutowe. Zamrożone okno zostaje tak długo, jak ustawisz, na przykład 30 dni, i pokazuje "przed i po" w pełnej dokładności.

05Metryki gry

Metryki gry obok zasobów: TPS, MSPT, gracze i encje

Przy serwerze gry wykresy gry leżą na tej samej osi czasu co procesor, pamięć, dysk i sieć. Spadek TPS i skok liczby encji widać w tej samej minucie, więc "laguje wieczorami" zamienia się w konkretną przyczynę.

Panel serwera Minecraft: zużycie na żywo, wykres graczy i konsola
TPSticki na sekundę, czyli jak płynnie toczy się świat
MSPTmilisekundy na tick, czyli ile serwer liczy jeden krok gry
Graczeliczba połączonych graczy
Encjemoby, przedmioty i inne obiekty w świecie, np. w Minecrafcie
Procesorzużycie procesora przez serwer gry
Dysk i siećodczyt i zapis na dysku, wejście i wyjście sieci

ta sama minuta na każdym wykresie

Każda gra ma własne reguły, co da się z niej odczytać, a ogólne zużycie procesora, RAM-u, dysku i sieci jest przy każdej.

06Węzeł i sprzęt

Węzeł w pełnej rozdzielczości i zdrowie sprzętu

Ty widzisz węzeł, a nie tylko listę usług na nim. Host raportuje co 10 sekund każdy rdzeń, każdy dysk i każdą kartę sieciową, a czujniki sprzętu ostrzegają, zanim coś padnie.

Rdzenie węzła na mapie ciepła

Zdrowie sprzętu

  • Stan dysków (SMART)
  • Temperatury
  • Błędy pamięci
  • Wentylatory
  • Zasilacze

Alarm trafia do Ciebie, zanim coś padnie, a nie po fakcie.

Rdzenie
Każdy rdzeń osobno, na mapie ciepła.
Dyski
Każdy dysk: IOPS, B/s i opóźnienie.
Karty sieciowe
b/s, pakiety, odrzucone pakiety i błędy na każdej karcie.
Połączenia
Tablica połączeń węzła.
Pule dysków
Zapełnienie pul LVM-thin razem z metadanymi, bo pełne metadane potrafią zatrzymać wszystkie VPS-y naraz.
Pamięć
Pamięć ZFS i łączenie identycznych stron pamięci, z tym, ile gigabajtów realnie oszczędza.
07Kto komu przeszkadza

Kto komu przeszkadza na węźle

W minutach, w których na węźle rośnie steal, nacisk albo opóźnienie dysku, panel pokazuje usługi, które wtedy brały najwięcej, z udziałem w procentach. Z 30 dni widać dla każdej usługi minuty, które spowodowała, i minuty, które odczuła.

Minuty spowodowaneMinuty odczute

Przykładowy węzeł, bez liczb

Widzi to tylko operator. Klient nie dostaje wglądu w obciążenie węzła, a decyzja, co zrobić z hałaśliwym sąsiadem, zostaje przy Tobie.

08Strony, bazy i sieć

Strony WWW, bazy danych, serwery dedykowane i sieć

Te same zasady obejmują resztę oferty. Każdy rodzaj usługi ma metryki, o które pytają jego właściciele.

Strony WWW

  • Żądania na sekundę
  • Czasy odpowiedzi p50, p95 i p99
  • Odsetek błędów 5xx
  • Stan puli PHP: aktywne procesy, kolejka i wolne żądania
  • Aplikacje w JavaScripcie, np. Next.js, obok PHP
  • Procesor i RAM strony

"Strona wolna" dostaje odpowiedź: kolejka PHP, wolny kod albo ruch.

09Planowanie przerwy

Planowanie przerwy z podglądem skutków

Przy zakładaniu prac na węźle panel pokazuje mapę tygodnia tego węzła: graczy, ruch i usługi. Wybrana godzina dostaje opis z historii, a panel proponuje 3 najmniej bolesne okna do wyboru.

ponwtśrczwptsobnd
Propozycja 1: środa, 3:00-5:00

Przykład opisu godziny: zwykle 3 graczy, 12 klientów dotkniętych.

Dzień tygodnia ma znaczenie
Piątek ocenia się na tle piątków, a nie średniej z tygodnia. Wieczór przed weekendem wygląda w grach inaczej niż środa.
Ty wybierasz
Panel podpowiada okna, a decyzja należy do operatora.
Klienci wiedzą wcześniej
Klienci węzła dostają ogłoszenie o planowanych pracach, a strona statusu pokazuje je publicznie albo nie, jak zdecydujesz.
10Retencja i pojemność

Retencja, raporty pojemności i kalkulator oversellu

Sam decydujesz, jak długo trzymać każdy rodzaj danych, i przed zmianą widzisz, ile to kosztuje. Najdrobniejsze dane są kompresowane, więc pomiary co 10 sekund mieszczą się na 7 dni.

Jak daleko wstecz

7 dni

co 10 sekund

30 dni

coraz rzadsze punkty

cały rok

historia

Podstawowe
procesor, pamięć, dysk i sieć każdej usługi
Szczegółowe
rozbicie procesora, nacisk, opóźnienia, wnętrze VPS-a
Gry
TPS, MSPT, gracze i encje
Węzeł
rdzenie, dyski, karty sieciowe i pule
Koszt przed zmianą
Zakładka retencji pokazuje, ile miejsca zajmie każda klasa danych, zanim zapiszesz zmianę.
Raporty pojemności
Zwykłe raporty: ile procesora, pamięci i dysku zajmują usługi na każdym węźle.
Kalkulator oversellu
W zakładce Narzędzia kalkulator liczy ceny, pakiety i oversell z danych o realnym zużyciu, a nie z deklarowanych limitów.
11Wczesne ostrzeżenia

Wczesne ostrzeżenia dla operatora

Część awarii widać na długo przed nimi. Flaem ostrzega Cię, gdy:

  • instalacja nie ma świeżej kopii zapasowej,
  • na węźle kończy się miejsce na dysku, z prognozą, kiedy się skończy,
  • na węźle kończy się pamięć,
  • licencja zbliża się do końca,
  • serwer licencji jest niedostępny,
  • agent węzła jest przestarzały,
  • zegar węzła się rozjechał.
Pulpit operatora Flaem: sprzedaż i MRR, węzły na żywo i sprawy, które czekają na człowieka
Dyżur w aplikacji na telefon: alarmy, kolejka spraw i stan węzłów

Ostrzeżenie trafia do dyżurnego, także na telefon, i na pasek "co czeka na człowieka" na pulpicie operatora.

12Pytania

Pytania o statystyki i monitoring

Dokładność, retencja i to, kto co widzi.

Co sekundę. Agent co 5 sekund wysyła średnią i maksimum z tego okresu, a otwarty wykres VPS-a, kontenera LXC albo serwera dedykowanego odświeża się co sekundę, dopóki go oglądasz.

Tak długo, jak ustawisz dla każdej klasy danych. Pomiary co 10 sekund mieszczą się na 7 dni dzięki kompresji, a historia sięga roku.

Nie. Klient widzi zasoby swojej usługi. Obciążenie węzła i to, kto komu przeszkadza, widzi tylko operator.

Nie. Typowy tydzień i percentyle służą do oglądania. Alarmy dostajesz za wczesne ostrzeżenia operatora, zdrowie sprzętu i progi, które sam ustawisz.

Tak. Sesja BGP ma oś stanu, zerwania, liczby prefiksów i ostatni błąd, a tunel ruch, wiek połączenia i restarty.

Z realnego zużycia usług na Twoich węzłach, zebranego przez Flaem, a nie z limitów pakietów.

Pokażemy statystyki na danych z Twoich węzłów

Napisz, ile masz węzłów i co na nich sprzedajesz. Na prezentacji pokażemy wykresy usług i węzłów, czarną skrzynkę i planowanie przerwy, a potem policzymy licencję z cennika.