#UptimeKuma

Einen Rechner, den der Überwachungsserver nicht erreicht, überwacht man andersherum: er meldet sich von selbst. Unser Uptime Kuma steht außerhalb des Werkstattnetzes und kommt an den Prüfstands-PC für die Abgasuntersuchung nicht heran. Also läuft dort alle fünf Minuten eine kleine Prüfung und schickt ein Lebenszeichen nach draußen; bleibt es aus, schlägt die Überwachung Alarm. Wer nicht angerufen werden kann, muss selbst anrufen.

Eine Überwachung, die nur läuft, solange jemand angemeldet ist, fällt genau dann aus, wenn man sie braucht. Unser Empfangsprogramm für die Abgasuntersuchung startet mit der Benutzersitzung, und meine erste Prüfaufgabe hing an derselben Sitzung. Meldet sich abends jemand ab, wären beide still gewesen, und Stille sieht aus wie Ruhe. Jetzt läuft die Prüfung als Systemaufgabe, unabhängig von der Anmeldung, und zeigte beim Test knapp acht Tage ununterbrochenen Empfang. Ein Wächter, der mit dem Bewachten einschläft, ist keiner.

Eine Sammeländerung erfasst nur die Datensätze, die das Programm überhaupt anzeigt. Ich hatte in Uptime Kuma alle Überwachungen auf einen E-Mail-Kanal umgestellt und fand fünf Tage später sechs weitere, die in keiner Liste und in keiner Abfrage auftauchten, weil ihnen in der Datenbank ein Feld fehlte. Einer davon stand seit Wochen auf rot, ohne dass es jemand sah. Seitdem zähle ich nach jeder Sammelaktion gegen die Datenbank, nicht gegen die Liste. Was ein Programm nicht anzeigt, hat man auch nicht geändert.

Melden muss sich eine Automatik seltener, als man zuerst denkt, sonst schlägt der Wächter Alarm, wenn gar nichts ist. Für unsere nächtlichen Abläufe habe ich in Uptime Kuma Wächter eingerichtet, bei denen sich der Ablauf selbst meldet statt abgefragt zu werden. Er läuft alle fünf Minuten, der Wächter wartet aber fünfzehn, bevor er Alarm gibt. So übersteht ein einzelner Aussetzer die Prüfung, ein echter Stillstand nicht. Ein Alarm, dem man nicht mehr glaubt, ist schlimmer als keiner.

Wenn alle Überwachungs-Meldungen gleichzeitig verstummen, ist selten jeder Job kaputt, sondern der gemeinsame Weg. Bei uns war die automatische Zertifikats-Erneuerung stillgelegt, das Zertifikat lief ab, und danach kam acht Tage lang keine einzige Erfolgsmeldung mehr bei Uptime Kuma an: 783 Warnungen aus einer einzigen Ursache. Die Sicherungen liefen die ganze Zeit sauber, nur sagen konnte es niemand mehr. Wer viele Alarme auf einmal sieht, sucht zuerst das, was sie alle gemeinsam haben.

Beim Alten ist nach einer abgebrochenen Änderung nichts, das muss man jedes Mal nachsehen. Beim Umbau unserer Überwachung mit Uptime Kuma habe ich ein Feld im falschen Format zurückgeschickt, das Speichern brach mit einem Fehler ab, und trotzdem war die Alarm-Verknüpfung des Monitors danach gelöscht. Das Programm räumt erst auf und legt dann neu an, gescheitert ist nur der zweite Schritt. Ich habe hinterher alle neunundzwanzig Monitore nachgeprüft. Eine Fehlermeldung sagt, dass etwas nicht fertig wurde, nicht dass nichts passiert ist.

Dass ein Alarm im Ernstfall wirklich ankommt, weiß man erst, wenn man ihn einmal absichtlich auslöst. Bei uns war das Dokumentenarchiv sieben Stunden nicht erreichbar, und Uptime Kuma blieb stumm: der Monitor war nie mit einem Meldekanal verknüpft, sein Zeitlimit stand auf null, und der E-Mail-Kanal selbst zeigte auf einen toten Anschluss. Drei Fehler auf einmal, und jeder einzelne hätte jede Warnung verhindert. Aufgeflogen ist das erst, als wir eine Testmeldung schickten und keine ankam. Eine Überwachung, die man nie testet, überwacht am Ende nur sich selbst.

Eine Überwachung meldet keinen Ausfall, wenn ihre Prüfung kein Zeitlimit hat. Unser Dokumentenarchiv lag sieben Stunden am Boden, und der zuständige Monitor blieb die ganze Zeit auf grün: Sein Zeitlimit stand auf null, also wartete er sechs Stunden und neunundvierzig Minuten auf eine Antwort, statt aufzugeben und Alarm zu schlagen. Heute hat jede Prüfung achtundvierzig Sekunden Zeit, danach gilt sie als gescheitert. Wer nie aufgibt, meldet auch nie einen Fehler.

Ein neuer Alarm kann einen alten Ausfall erklären, manchmal besser als jede Suche damals. Wir hatten unserem nächtlichen Sicherungsskript gerade erst einen Wächter in Uptime Kuma gegeben, und schon in der ersten Nacht schlug er an. Die Suche zeigte: Das Skript war seit rund elf Wochen still kaputt, seine Aufräum-Routine lief nie, der Backup-Ordner wuchs auf 208 GB, und genau diese volle Platte hatte Anfang Juli unsere ganze Cloud lahmgelegt. Ein Fehler ohne Alarm verschwindet nicht, er sammelt sich nur an.

Eine Sicherung, die auf demselben Rechner wie die Originaldaten liegt, ist noch keine echte Sicherung. Bei uns war das nächtliche Auslagern der Archive an einen zweiten Ort seit Mai still ausgefallen, ohne dass es jemand bemerkte, und so lagen die Kopien nur dort, wo auch das Original lag. Jetzt geht jede Nacht eine Kopie an einen Rechner an einem anderen Standort mit über achthundert Gigabyte Platz, und jeder Job meldet sich danach bei Uptime Kuma. Eine Kopie neben dem Original teilt im Ernstfall dessen Schicksal.

Nur die Startseite zu überwachen reicht nicht, denn ein Haus kann eine offene Tür und trotzdem ein verschlossenes Zimmer haben. Bei einem unserer Auftritte lief die Startseite einwandfrei, doch das Impressum war über einen Routing-Fehler nicht erreichbar, also ausgerechnet eine Pflichtseite, deren Fehlen rechtlich teuer wird. Seitdem legt unsere Überwachung mit Uptime Kuma für jeden Auftritt auch eine Unterseite an, nicht nur die Homepage. Wer nur die Vordertür prüft, übersieht das kaputte Zimmer dahinter.

Nicht vom Kunden, wenn man es richtig macht. Wir überwachen die wichtigen Dienste durchgehend mit Uptime Kuma und bekommen eine Meldung, bevor jemand anruft. Was man nicht misst, bemerkt man erst, wenn der Schaden schon da ist. Stille Überwachung ist der Unterschied zwischen reagieren und überrascht werden.