#Architektur

Ein neues Etikett, das fast genauso heißt wie ein altes, macht am Ende beide unbrauchbar. Ich wollte im Dokumentenarchiv einen Prüfstapel für nicht auffindbare Fahrzeugnummern anlegen und hätte ihn beinahe so benannt wie ein bestehendes Etikett, das 152 Dokumente aus einem völlig anderen Prüfauftrag trägt. Die Software vergleicht Namen ohne Rücksicht auf Groß- und Kleinschreibung, beide Stapel wären verschmolzen, und hinterher hätte sie niemand mehr trennen können. Seitdem lese ich erst die vorhandene Liste, bevor ich etwas Neues hineinschreibe.

Einen Rechner, den der Überwachungsserver nicht erreicht, überwacht man andersherum: er meldet sich von selbst. Unser Uptime Kuma steht außerhalb des Werkstattnetzes und kommt an den Prüfstands-PC für die Abgasuntersuchung nicht heran. Also läuft dort alle fünf Minuten eine kleine Prüfung und schickt ein Lebenszeichen nach draußen; bleibt es aus, schlägt die Überwachung Alarm. Wer nicht angerufen werden kann, muss selbst anrufen.

Bei einem weitergeleiteten Anruf fehlt die Nummer des Kunden, weil die Telefonanlage nach außen ein zweites Gespräch aufbaut und der Anbieter fremde Absendernummern durch die eigene Hauptrufnummer ersetzt. Auf dem Zielgerät stand deshalb jedes Mal unsere eigene Nummer, ein Rückruf war unmöglich. Geholfen hat eine einzige Einstellung im SIP-Konto, die die Umleitung dem Netz des Anbieters überlässt statt der Anlage. Dafür verlässt der Anruf die Anlage ganz, die eigene Voicebox fängt ihn nicht mehr auf. Wo eine Umleitung passiert, entscheidet, was unterwegs verloren geht.

Eine alte Firmen-Website, die noch online steht, schadet, weil sie der neuen Konkurrenz macht. Bei mir liefen zwei Adressen aus der Vergangenheit weiter, eine alte Marken-Domain und eine alte WordPress-Seite, beide mit meinem Namen und sehr ähnlichen Texten. Für eine Suchmaschine sind das zwei Personen, die um dieselbe Aufmerksamkeit ringen. Ich habe jetzt nachgemessen: beide antworten mit einer dauerhaften Weiterleitung auf die eine Seite. Zwei Stimmen mit demselben Namen sind leiser als eine.

Unser Offsite-Lauf kopierte die Sicherung vom Vortag, weil er startete, bevor die Sicherung des laufenden Tages fertig war. Der Container-Server schreibt seine Archive bis kurz nach fünf Uhr morgens, der Abholer lief um vier, beide Seiten grün, und die Kopie außer Haus hinkte strukturell vierundzwanzig Stunden hinterher. Dazu rechnete die eine Maschine in Weltzeit und die andere in Sommerzeit. Wer zwei Automatiken hintereinander hängt, muss wissen, wann die erste fertig ist, nicht nur dass sie läuft.

Auf den neuen Server muss nur, was sich nicht wiederherstellen lässt. Als wir unser Dokumentenarchiv Paperless auf eine eigene Maschine umgezogen haben, sind die zwölf Gigabyte Originaldateien in gut zwei Minuten mitgegangen. Den dreiundzwanzig Gigabyte großen Suchindex habe ich bewusst zurückgelassen, weil die neue Version ihn ohnehin selbst neu aufbaut. Ein Umzug wird leicht, wenn man vorher trennt, was Original ist und was nur Abbild.

Die eingerichtete Speicher-Grenze griff im Ernstfall nicht, weil sie ohne Zeitlimit auf das Ende laufender Anfragen wartete. In unserem Dokumentenarchiv Paperless sollte ein Prozess oberhalb von einem Gigabyte sanft ersetzt werden, doch unter dem Dauerstrom eingehender Akten-Scans wartete der Austausch geduldig, während der Prozess binnen Minuten auf vier bis sechs Gigabyte wuchs und das System ihn schließlich hart beendete. Seit der Austausch nach 45 Sekunden erzwungen wird, hält die Grenze auch unter Last. Eine Grenze ohne Frist ist keine Grenze, sie ist eine Bitte.

Alles auf den einen großen Server zu ziehen wäre billiger gewesen, und trotzdem bleiben wir verteilt. Wir haben bei Hetzner ein gebrauchtes Blech mit 256 GB Arbeitsspeicher für hundertneun Euro im Monat gemietet, ein Vielfaches unserer kleinen Cloud-Maschine fürs gleiche Geld. Aber ein einzelner Rechner ist ein einzelner Ausfallpunkt, fällt er, fällt alles. Also bleibt der Zugang zur Außenwelt auf der Cloud, das Blech trägt nur die schweren Lasten. Der günstigste Server wird teuer, wenn an ihm allein der ganze Betrieb hängt.

Ein Fehler schlägt erst zu, wenn die Notkorrektur ausfällt, weil sie ihn vorher nur übertüncht hat. In unserem Dokumentenarchiv, Paperless, setzte eine vergessene Automatik jedem neuen Beleg einen Besitzer, und ein zweiter Schritt nahm ihn Sekunden später wieder weg. In jedem Test sah alles sauber aus. Erst als dieser Schritt an einem Ausfall scheiterte, blieben 208 Belege unsichtbar. Heute räumt das System den Besitzer selbst weg, ausfallsicher an der Quelle. Eine Abhilfe, die den Fehler ständig übermalt, ist kein Fix, sie verschiebt nur den Tag, an dem er auffliegt.

Ein neues Programm kann einen Dienst lahmlegen, mit dem es scheinbar nichts zu tun hat, sobald beide sich einen Server teilen. Unser Dokumentenarchiv lief zwölf Tage stabil und war dann sieben Stunden nicht erreichbar: Ein frisch installierter KI-Assistent belegte dauerhaft knapp zwei Gigabyte Arbeitsspeicher, und dem Archiv fehlte genau der Puffer, mit dem es bis dahin über die Runden kam. Der Neustart dauerte eine Minute, das Verstehen einen Abend. Auf einer geteilten Maschine ändert jeder neue Mieter die Statik für alle anderen.

Die nächtliche Verarbeitung stoppte, weil das Programm gar kein Systemdienst ist, sondern nur in der angemeldeten Sitzung läuft. An unserem Rechner für die Abgasuntersuchung hängen drei Bausteine, und nur einer davon, die Datenannahme, ist ein echter Dienst. Import und Druck starten erst mit der Anmeldung des Benutzers. Wer sich per Fernwartung abmeldet statt die Verbindung nur zu trennen, legt beides still. Seitdem gilt dort eine einzige Regel: trennen, nicht abmelden.

Dass eine Software längst im Netzwerk lief, merkt man an ihrer gemeinsamen Konfigurationsdatei. Wir haben unsere Abgasuntersuchungs-Software auf einen neuen Rechner gezogen, sauber lokal installiert, und erst danach den alten Ordner auf dem Server geöffnet: Datenbank, Lizenz und die Schreibspuren von drei Arbeitsplätzen, bis in diesen Juli hinein. Wir waren also von Mehrplatz auf Einzelplatz umgezogen, ohne es zu wissen, und mussten zurück. Vor jedem Umzug steht die Frage, wo die Daten heute wirklich liegen.

Selbst drucken muss ein Messgerät dafür nicht. Unser Achsmessstand auf dem Platz kann laut Anleitung nur an einen direkt angeschlossenen Drucker ausgeben, und ich habe zwei Tage damit verbracht, ihm den Netzwerkdrucker beizubringen. Dabei liefert das Gerät seine Protokolle längst als PDF über eine eigene Weboberfläche. Heute öffnet der Kollege an der Annahme diese Seite im Browser und druckt das Protokoll von dort auf den Canon. Nicht jedes Gerät muss alles können, wenn ein anderes in der Kette es schon kann.

Am neuen Werkstatt-PC kam nichts an, weil das Messgerät immer noch auf den alten zeigte. Unser Abgastester von Hella Gutmann sendet die Prüfdaten an einen fest eingetragenen Ziel-Rechner, und die AU-Software auf dem neuen PC wartete auf etwas, das nie losgeschickt wurde. Statt dem Neuen heimlich die Adresse des Alten unterzuschieben, habe ich am Gerät selbst vier Einstellungen umgestellt: Ziel, Sendeart, Netzwerk und Ziel-Adresse. Wer einen Rechner ersetzt, muss auch fragen, wer noch auf den alten zeigt.

Ein Prüfstands-PC gehört auf eigene Hardware, nicht als virtuelle Maschine auf den Server. Ich habe es für unsere AU-Software durchgerechnet: Der Virtualisierungs-Host ist mit 67 von 80 Gigabyte Arbeitsspeicher schon belegt, und die Anbindung an Abgastester und Bremsprüfstand hängt an echten Geräten im Haus. Dazu kämen Umgehungen für die Sicherheitschips, die Windows 11 verlangt. Wo ein Rechner an Messtechnik hängt und Prüfnachweise dokumentiert, ist die langweilige Kiste unterm Tisch die ehrlichere Lösung.

Ein Achsmessstand mit WLAN braucht trotzdem ein Netzwerkkabel, weil sein Funk längst belegt ist. Unser Beissbarth-Messstand spannt zwei eigene Funkstrecken auf, eine zu den Messköpfen und eine für das Bedien-Tablet, ins Werkstattnetz kommt er darum nur über Ethernet. Wenn der Prospekt LAN/WLAN-Zugriff verspricht, heißt das: andere Geräte erreichen den Messstand, nicht: der Messstand wählt sich ins Firmen-WLAN ein. Ein Prospekt beantwortet die Frage, die der Hersteller stellt, nicht die, die man selbst hat.

Auf einen KI-Fehler muss man nicht sofort mit neuer Prüf-Logik antworten, manchmal ist Warten die bessere Reparatur. Als unser Modell in Beleg-Zusammenfassungen Beträge erfand, haben drei Zeilen im Prompt die Neuzugänge sauber gemacht. Die alten Einträge komplett neu analysieren zu lassen würde auf heutiger Hardware rund acht Nächte dauern, also warten wir damit auf den nächsten Modell-Sprung, statt Wächter-Code in die Pipeline zu bauen. Eine Pipeline, die mit jedem Fehler wächst, wird irgendwann selbst zum Fehler.

Zwei laufende Exemplare eines wichtigen Programms reichen als Absicherung nicht, wenn beide im Gleichtakt altern. Unser Dokumentensystem Paperless hatte zwei Webserver-Prozesse als Reserve, doch beide starteten morgens zur selben Minute, verbrauchten gleich schnell Speicher und wurden deshalb fast gleichzeitig ausgetauscht. Genau in dieses Fenster fiel die Meldung vom Empfang, die Seite reagiere nicht. Seit drei Prozesse mit kleinerer Schwelle laufen, springt bei jedem Wechsel eine warme Reserve ein, die Seite antwortet in einer Drittelsekunde. Eine Reserve schützt nur, wenn sie nicht im selben Takt ausfällt wie das, was sie ersetzen soll.

Den ganzen Server schützt man vor einem einzelnen fehlerhaften Programm wie das Auto vor einem defekten Verbraucher: mit einer Sicherung. Unsere Dokumentenverwaltung hat ein Speicherleck und füllt rund acht Gigabyte in acht Stunden, behoben ist das noch nicht. Deshalb hat der Dienst eine feste Speichergrenze bekommen, und heute Mittag griff sie zum ersten Mal: kurzer Neustart des einen Dienstes, der Rest des Servers lief ungestört weiter. Eine Grenze behebt den Fehler nicht, aber sie bestimmt, wie groß er werden darf.

Ein Archiv legt seine Dateien besser nach einer festen Nummer ab als nach dem sprechenden Titel. Unser Langzeit-Archiv sortierte die Belege nach dem Titel, den die KI vergibt, doch dieselbe Bezeichnung entsteht dutzendfach, und so lagen am Ende 14.138 Objekte gegenüber rund 6.800 echten Dateien, sechs davon unter einem fremden Namen. Jetzt bekommt jedes Dokument seine unveränderliche Kennung, der Titel bleibt nur zum Lesen. Ein Name darf sprechen, tragen muss ihn eine Nummer, die sich nie verschiebt.

Gegen einen Fehler, den der Hersteller selbst nicht beheben kann, hilft kein Warten auf ein Update, sondern eine Grenze, hinter der er keinen Schaden mehr anrichtet. Bei unserer Dokumentenablage über Docker wuchs ein einzelner Dienst auf sieben Gigabyte und riss den ganzen geteilten Server in die Knie, Last bis 118, das Öffnen eines Belegs dauerte 33 Sekunden. Der Fehler ist bekannt und nicht zu flicken, also gab ich dem Dienst eine feste Speichergrenze und einen nächtlichen Neustart. Was man nicht reparieren kann, sperrt man ein, bevor es die Nachbarn mitreißt.

Ein neuer Fehler tauchte genau dann auf, als die Verarbeitung schneller wurde, weil Tempo einen Engpass freilegt, den die Langsamkeit vorher zugedeckt hat. Ich hatte das Einlesen der Belege umgebaut, damit niemand mehr wartet: die Blockade pro Beleg sank von rund fünfzig auf zwei bis vier Sekunden. Prompt kollidierten zwei gleichzeitig ankommende Dokumente am selben Volltext-Index von Paperless, eines brach ab. Der Fix war ein zweiter Anlauf mit kurzer Pause. Wer einen Engpass löst, bekommt den nächsten zu sehen.

Erst die Warteschlange zu bauen und dann die Eingaenge anzuschliessen, spart am Ende die meiste Arbeit. Seit unser Anreicherungsdienst jedes Dokument mit dem einen Tag Warteschlange durch denselben Ablauf schickt, egal ob es vom Scanner, per E-Mail oder ueber den Upload-Knopf in Paperless kommt, ist ein neuer Eingang fast geschenkt: er muss nur diesen einen Tag setzen. Vorher haette jeder Weg seinen eigenen Anbau gebraucht. Wer die Naht an der richtigen Stelle legt, macht jede spaetere Erweiterung billig.

Was eine Kundenakte zusammenhält, ist die Fahrgestellnummer, nicht der Kundenname. Als wir die erste Papierakte digitalisierten, acht Belege zu einem Fahrzeug, stand auf einzelnen Blättern noch ein Vorbesitzer. Der Name wechselt, die Fahrgestellnummer bleibt, also haben wir sie fest auf jeden Beleg geschrieben und den Kunden nur weich zugeordnet. Man bindet eine Sache an das, was sich nicht ändert, nicht an das, was heute zufällig obenauf liegt.

Die ganze Cloud lag lahm, weil eine einzige Festplatte zu hundert Prozent voll war. Docker konnte für die Gesundheitsprüfungen keinen Prozess mehr starten, also warf der vorgeschaltete Router alle Container als ungesund aus dem Verkehr, und jede Seite die dort hing gab nur noch einen Fehler zurück. Mein erster Verdacht fiel auf die Namensauflösung, dabei genügte ein Blick auf den freien Speicher. Elf Gigabyte Zwischenspeicher gelöscht, und die Dienste kamen von selbst zurück. Das Kleinste, das man übersieht, legt das Größte lahm.

Fällt der eigene Server aus, bleibt die Website trotzdem erreichbar, wenn man die Namensauflösung vorher entkoppelt hat. Bei uns liegt der Master für alle Domains auf einer Maschine bei Hetzner, aber drei kostenlose externe Nameserver halten je eine Kopie und liefern noch vierzehn Tage weiter aus, falls der Master schweigt. Genau das habe ich diese Woche fertig gemacht, kein einzelner Server entscheidet mehr darüber, ob wir im Netz auffindbar sind. Ein Dienst, der den Ausfall eines einzelnen Teils übersteht, ist mehr wert als einer, der nur im Normalfall läuft.

Die alte Internet-Adresse kann man nicht kündigen, sobald die Weiterleitung steht, denn die Weiterleitung lebt genau von dieser Adresse. Als ich Ende Juni die alte Marken-Seite stillgelegt habe, blieben Namensauflösung, Zertifikat und der Eintrag im Nginx-Container bewusst bestehen, nur die Inhalte sind weg. Fehlt eines davon, landet der Besucher bei einer Sicherheitswarnung oder im Nichts statt auf der neuen Seite. Eine Weiterleitung ist kein Abschied, sondern ein Schild, das jemand halten muss.

Gescannte Belege ordnet man nicht beim Scanner zu, sondern man fängt beim Datenmodell des Zielsystems an. Bevor ich einen einzigen Beleg automatisch einsortiere, habe ich mich durch über elfhundert Dateien der Loco-Soft-Dokumentation gelesen und die Feldstruktur von sieben Geschäftsobjekten herausgeschrieben, von Kunden über Fahrzeuge bis zu Rechnungen und Kaufverträgen. Erst wenn ich weiß, welche Felder ein Vorgang hat, weiß ich auch, woran ich einen gescannten Beleg erkenne. Wer die Form des Ziels nicht kennt, trifft es auch nicht.

Bevor man zwei Systeme verbindet, schreibt man erst auf, welche Daten überhaupt schon vorhanden sind. Bevor ich unsere Dokumentenablage an Loco-Soft koppeln wollte, habe ich eine ganze Sitzung lang nur gelesen und kartiert: drei Loco-Soft-Datenbanken, allein eine davon mit fünfzehn Tabellen, dazu eine SOAP-Schnittstelle, über die dieselben Fahrzeugdaten noch einmal kommen. Keine Zeile Code, nur eine Landkarte. Wer zuerst das Gelände kennt, baut die Brücke an der richtigen Stelle.

Wenn ein Drucker nicht druckt, liegt es oft nicht am Drucker selbst. Unser Kyocera war im Netz erreichbar, im Leerlauf und ohne eine einzige Fehlermeldung, während der Rechner hartnäckig bei Verbindung wird hergestellt stehen blieb. Der Fehler saß nicht im Gerät, sondern im Weg dorthin. Bevor man das Teure austauscht, prüft man besser die Leitung, die zu ihm führt.

Der Drucker hängt immer wieder, weil er bei jedem Auftrag erst per Funk im Netz gesucht werden muss. Unser Kyocera war über Bonjour angebunden, und mit der Zeit hatten sich fünf Warteschlangen für ein einziges Gerät angesammelt. Ich habe die vier Duplikate gelöscht und ihn auf seine feste IP-Adresse umgestellt, seitdem druckt er ohne Stocken. Eine feste Adresse ist verlässlicher als eine, die bei jedem Druck neu erraten wird.

Postfächer für Maschinen sollten nicht denselben Login bekommen wie Menschen. Unsere Benachrichtigungs-Adressen leben als lokale Konten direkt im Mailserver Stalwart, während jeder Mitarbeiter zusätzlich einen Zugang im zentralen Verzeichnis Authentik hat. So hängt ein nächtlicher Versand nicht am persönlichen Konto eines Menschen, der morgen den Betrieb verlassen könnte. Was automatisch läuft, soll niemandem gehören außer dem Betrieb selbst.

Eine Testumgebung darf später nicht einfach zur echten werden, was zum Üben entstand, sollte vor dem echten Start verschwinden. Bevor unser Matrix-Chat für die Hersteller live ging, habe ich alle zwölf Test-Räume gelöscht und den Server auf null Räume zurückgesetzt, statt die Probeläufe weiterzuschleppen. So beginnt der Betrieb sauber, ohne Altlasten, die niemand mehr zuordnen kann. Ein Provisorium, das bleibt, wird mit der Zeit teurer als ein klarer Neuanfang.

Auf einem laufenden Produktivsystem fragt man, wenn man nicht weiterkommt, statt zu raten. Als ich kürzlich Matrix als Chat-Dienst neben den rund zwanzig Containern unserer Hetzner-Cloud einrichten wollte, war an einer Stelle unklar, wie sich die Anbindung sauber ins bestehende Muster fügt. Früher hätte ich eine plausible Variante einfach ausprobiert; heute halte ich an und kläre die Frage, bevor ich an Mail, Passwörter und Dokumente rühre, an denen der ganze Betrieb hängt. Ein geratener Eingriff am Produktivsystem ist billig im Moment und teuer in der Woche danach.

Zwei Gebäude verbindet man ohne aufgerissenen Hof am einfachsten über eine Funkbrücke. Zwischen unseren beiden Häusern auf dem Gelände läuft eine UniFi-Richtfunkbrücke im 60-Gigahertz-Band und überträgt rund 875 Megabit pro Sekunde, stabil genug, dass kein Kabel im Boden liegen muss. Ich habe lange überlegt, ob das im Alltag wirklich trägt, und seit Monaten merkt niemand mehr, dass dort keine Leitung ist. Die beste Verbindung ist die, an die niemand mehr denkt.

Wenn ein Gerät die eigene Korrektur immer wieder überschreibt, kämpft man nicht gegen die Schleife, sondern sucht ihre Quelle. An einer Wallbox im Firmennetz habe ich die Internet-Route von Hand auf das LAN gelegt, und alle neunzig Sekunden hat ein verstecktes Startskript sie zurück auf ein totes Mobilfunk-Modem gestellt. Über SSH fand ich die Endlosschleife, die das Gerät bei jedem Start selbst ausführt. Gegen ein System anzukämpfen, das sich laufend selbst heilt, verliert man immer; man muss an die Stelle, wo es heilt.

Eine Änderung überlebt den Neustart nur, wenn sie an der dauerhaften Stelle landet und nicht im flüchtigen Speicher. Ich hatte die Netzwerkadresse unserer Ladesäule über das Verwaltungsprotokoll gesetzt, alles lief, und nach dem nächsten Neustart stand wieder der alte Wert da. Erst als ich die Zeile in die dauerhafte Konfiguration der Säule schrieb, blieb sie. Was nicht festgeschrieben ist, ist nur geborgt, bis der Strom einmal weg war.

Nein, es ist eine Entscheidung mit Begründung. Wir haben mehrere Werkzeuge ernsthaft evaluiert und dann bewusst verworfen, samt Notiz warum. Diese Notiz erspart, dieselbe Frage in einem halben Jahr noch einmal zu stellen. Verwerfen mit Grund ist Fortschritt, nicht Stillstand.

Erst wenn ich ihn mit eigenen Augen geprüft habe, im Browser, am echten Fall. Erledigt im Kopf ist nicht erledigt in der Realität. Zwischen beiden liegt genau der Fehler, den sonst der Kunde findet. Umsetzen und nachprüfen sind ein Schritt, nicht zwei.

Das System. Unsere Doku behauptete an einer Stelle eine alte Datenbank, live lief längst eine andere. Das Repo beschreibt, wie es sein sollte, der Server zeigt, wie es ist. Ich handle nach dem, was wirklich läuft, und ziehe die Doku nach, nicht umgekehrt.

Die einfache, die läuft und die man versteht. Mehrfach habe ich gesehen, wie ein zu cleverer Aufbau später niemand mehr anfassen wollte. Schönheit im System ist gut, aber sie kommt nach der Verständlichkeit, nicht vor ihr. Wartbarkeit ist ein Feature, kein Beiwerk.