HFTKernel 7.3.x: Versionshinweise.

Rechtzeitiger Fortschritt nach drain-Barrieren von io_uring

Eine eigenständige drain-Anfrage setzt den drain-Zustand jetzt zurück, sobald ihr Abschluss veröffentlicht wird und keine weitere zurückgestellte Arbeit verbleibt. Bei der Ausführung über io-wq erfolgt dieser Übergang unter dem Ring-Lock, bevor der Abschluss im Userspace sichtbar wird.

Nach der abgeschlossenen Barriere eingereichte Anfragen können fortfahren, ohne darauf zu warten, dass der Worker seine letzte Referenz auf die Anfrage freigibt. Für verkettete drain-Anfragen bleiben die Anforderungen an die Reihenfolge erhalten.

Dadurch werden abschlussgesteuerte I/O-Pipelines für Anwendungen mit drain-Barrieren vorhersagbarer.

Zuverlässige poll-Wakeups und multishot-Abschlüsse

Eine atomare compare-and-exchange-Operation koordiniert jetzt die Freigabe der poll-Zuständigkeit mit gleichzeitig eintreffenden Benachrichtigungen zur erneuten Verarbeitung. Ausstehende Wakeups bleiben sichtbar, sodass die Verarbeitung ohne ein zusätzliches, unabhängiges Ereignis fortgesetzt werden kann.

Multishot poll aktualisiert bei einem Hangup auch den gemeinsamen Referenzzähler korrekt. Der letzte Ereignisdurchlauf kann ohne unnötige Schleifenwiederholungen abgeschlossen werden, was die Verwaltung des Verbindungslebenszyklus in asynchronen Anwendungen verbessert.

Präzise Timeouts der Completion Queue unter PREEMPT_RT

Bei RT- und deadline-Tasks unter PREEMPT_RT laufen die Timeout-Callbacks der io_uring Completion Queue im Hard-Interrupt-Kontext. Die Zustellung der Wakeups hängt nicht mehr davon ab, wann der Timer-Thread mit niedrigerer Priorität eingeplant wird.

Im Upstream-Test auf einem Jetson Orin Nano mit einem Backport der Änderung auf Linux 6.18.39-rt sank die maximale Verspätung unter konkurrierender SCHED_FIFO-Last über 40,000 deadlines von 1,040 µs auf 18 µs. Nach der Änderung war kein Wakeup mehr als 100 µs verspätet.

Konsistente Verarbeitung großer Provided Buffers beim Empfang

Bei nicht gebündelten Empfangsoperationen, die ihre Länge aus einem Provided Buffer ableiten, begrenzt io_uring die gewählte Übertragungslänge auf MAX_RW_COUNT.

Damit bleibt die Länge im Rückgabepfad mit vorzeichenbehaftetem Typ gültig, auch bei Provided Buffers von 2 GiB oder mehr, während die bestehende Grenze für die Übertragungsgröße eingehalten wird. Dies stärkt die Empfangspufferverarbeitung für Anwendungen mit großen wiederverwendbaren Speicherbereichen.

Besser koordiniertes Beenden asynchroner Worker

Der Exit-Pfad von io-wq führt nach der Veröffentlichung seines Exit-Flags eine Memory Barrier aus. Das Beenden und gleichzeitig ausgeführte Task Work zur Worker-Erstellung halten die erforderliche Reihenfolge ein, auch auf Architekturen mit schwacher Speicherordnung.

Dies stärkt das geordnete Beenden und Neustarten von Diensten, die io_uring-Worker-Pools verwenden.

Auch das Abbrechen von IORING_OP_WAITID-Anfragen ist idempotent: Wiederholte Versuche erkennen den bestehenden Abbruchzustand, ohne zusätzliche Referenzen anzusammeln. Dadurch bleiben asynchrone Anfragen zur Prozessüberwachung während des Abbruchs konsistent.

Weniger unnötige Arbeit beim Abbau von PID-Namespaces

Während der Namespace-Bereinigung maskiert der Prozess-Reaper Wakeups durch Task-Work-Benachrichtigungen, solange er auf die Beendigung von Kindprozessen und die Freigabe von PIDs wartet.

Er kann bis zum relevanten Lebenszyklusereignis schlafen, statt seinen Wartepfad wiederholt neu zu durchlaufen. Dies reduziert vermeidbare CPU-Aktivität bei den betroffenen Wechselwirkungen zwischen Container-Beendigung und Livepatch.

Zuverlässige IRQ-Sichtbarkeit pro CPU auf großen Hosts

/proc/interrupts gibt seine CPU-Kopfzeile jetzt immer aus, wenn der erste Datensatz erzeugt wird, auch bei Wiederholungen nach einer Vergrößerung des Sequence Buffers.

Die Zuordnung von CPU zu Zähler bleibt auf Systemen mit vielen Kernen erhalten. Dies ermöglicht zuverlässiges IRQ-Parsing, die Überprüfung der Platzierung und die Überwachung isolierter sowie Housekeeping-CPUs.

Sauberere Tracing-Konfiguration und Bereinigung

Bei der Histogramm-Einrichtung werden automatisch erstellte Field-Variable-Trigger jetzt entfernt, wenn der Gesamtbefehl fehlschlägt. Das aktive Tracing entspricht der akzeptierten Konfiguration, und temporäre Instrumentierung wird bereinigt, statt weiterhin Ereignisse zu zählen.

Die Bereinigung von Field-Variable-Histogrammen behält die stabile Event-File-Referenz bei und hängt nicht von der Lebensdauer eines anderen Histogramms ab. Dies verbessert das wiederholte Erstellen, Ändern und Entfernen diagnostischer Sitzungen.

Das Event-Filter-Parsing weist außerdem unvollständige logische Ausdrücke vor ihrer Ausführung zurück. Dies stärkt die automatisierte Konfiguration von tracefs und perf-Tracepoints.

Vollständigere Postmortem-Diagnose

Die Core-Dump-Erfassung ist während der Datenübertragung über Pipes und Sockets vor Unterbrechungen durch TIF_NOTIFY_SIGNAL geschützt. Benachrichtigungen von io_uring und anderen Task-Work-Erzeugern unterbrechen diese Erfassungspfade nicht mehr.

Dadurch bleiben Diagnosedaten für die detaillierte Analyse des Anwendungszustands, der Mappings und ausstehender I/O erhalten.

Konsistente Validierung von DAMON-Quoten

DAMOS-Quotenziele werden vor ihrer Anwendung im DAMON-Kern validiert. Zielwerte von null werden im gemeinsamen Commit-Pfad zurückgewiesen, und der Fehler wird an die Aufrufer weitergegeben.

Für Bereitstellungen mit DAMON-basierter Speicherverwaltung schafft dies eine einheitliche Prüfung bei der Konfiguration von Quotenrichtlinien.

Zuverlässige Out-of-Tree-Builds des DMA-Benchmarks

dma_map_benchmark wird jetzt im gewählten Ausgabeverzeichnis gebaut, wenn O= angegeben ist.

Der Benchmark lässt sich sauber in Build-Pipelines einfügen, die Quellbäume von erzeugten Werkzeugen trennen, und unterstützt so die reproduzierbare Vorbereitung von DMA-Diagnosewerkzeugen.

Unterstützte Betriebssysteme und Installation

HFTKernel unterstützt 24 OS-Ziele für Ubuntu, Debian, RHEL-kompatible Plattformen, AlmaLinux, Rocky Linux, CentOS Stream, Fedora, Amazon Linux, Arch Linux, NixOS-kompatible Bereitstellungen, ALT Linux p11 / Simply Linux 11 und Astra Linux 1.8. Amazon Linux 2023 verwendet das Cloud-Profil.

Installation mit einem Befehl:

curl -fsSL https://hftkernel.com/install.sh | sudo bash

Der Installer wählt das passende Betriebssystempaket und Bereitstellungsprofil aus und überprüft die Paketintegrität.

Versionsschwerpunkt

Die Linux-7.3.1-Basis stärkt den I/O-Fortschritt, die Zustellung von Echtzeit-Timeouts, die Verwaltung des Prozesslebenszyklus und die Konsistenz der Diagnose. Diese Änderungen unterstützen das Ziel von HFTKernel, einen vorhersagbaren und messbaren Host für latency-empfindliche Anwendungen bereitzustellen.

Vorab eingelagerte vDSO-Daten für vorhersehbaren Anwendungsstart

Die generische vDSO-Datenabbildung kann jetzt durch mlockall() belegt werden. Durch das Entfernen ihres Flags VM_IO kann die Speichervorbereitung die entsprechenden Seitentabelleneinträge anlegen, bevor latency-empfindliche Verarbeitung beginnt.

Bei Anwendungen mit vDSO-gestützten Zeitlesezugriffen wird dadurch ein vermeidbarer first-touch-Seitenfehler in die Startvorbereitung verschoben. Der Upstream-Autor beobachtete auf dem Testrechner ungefähr 20 µs für den vollständigen Seitenfehler-Ausnahmepfad.

Dies verbessert die Vorbereitung von Handelsengines, Zeitstempelnutzern und Messprozessen, die ihre Arbeitsmengen explizit vorab einlagern.

Weniger LRU-Lock-Konkurrenz beim Memory Reclaim

Klassischer LRU reclaim leitet die Kosten für die Scan-Balance anonymer und dateibasierter Seiten jetzt aus vmstat-Zählern ab. Kostenabtastung und -abklingen verwenden einen eigenen Lock je lruvec, statt wiederholt den Lock für LRU-Listenoperationen anzufordern. Hierarchieaggregation ersetzt zudem wiederholte Kostenaktualisierungen auf Elternebene.

Im Upstream-Speicherdrucktest mit 176 Kernen und 256 GB sank die gesamte LRU-Lock-Wartezeit innerhalb eines 30-Sekunden-Aufzeichnungsfensters von ungefähr 4.23 Sekunden auf 1.66 Sekunden, eine Reduktion um 61%, bei ähnlichen Scan- und Reclaim-Raten.

Bei klassischem LRU reduziert dies die Konkurrenz zwischen Reclaim-Verwaltung und den Operationen, die tatsächlich Seiten verwalten.

Stärkerer Erhalt ausführbaren Codes mit MGLRU

MGLRU stuft eingeblendete ausführbare Datei-folios nach ihrer ersten beobachteten Nutzung höher ein. Sowohl Seitentabellenalterung als auch Referenzprüfung berücksichtigen ausführbare Abbildungen beim Aktualisieren des Seitenzustands.

Dadurch erhalten kürzlich verwendeter Anwendungscode und Code gemeinsam genutzter Bibliotheken stärkeren Schutz vor reclaim. Dies unterstützt eine gleichmäßigere Code-Residenz für Dienste mit MGLRU unter Speicherdruck.

Weniger unnötige Druckerfassung in cgroup v2

Das vmpressure-Subsystem überspringt unter cgroup v2 den Userspace-Benachrichtigungspfad von cgroup v1. Reclaim vermeidet ungenutzte Buchführung, Sperren, workqueue-Einreichung und Durchläufe durch Elternknoten.

Der kernelinterne TCP-/SCTP-Socket-Druckpfad bleibt aktiv, und die Userspace-Drucküberwachung von cgroup v2 läuft weiterhin über PSI. Dies beseitigt überflüssige Infrastrukturarbeit und erhält zugleich die Drucksignale für Netzwerk und Dienstverwaltung.

Kürzere kritische Workqueue-Abschnitte

Die Workqueue-Verarbeitung wählt den aufzuweckenden Worker unter pool->lock aus und weckt ihn erst nach Freigabe des Locks. Scheduler-Aufweckoperationen verlängern den kritischen Abschnitt des gemeinsamen Pools in den betroffenen Einreihungs- und verketteten Arbeitspfaden nicht mehr.

In einem Upstream-Mikrobenchmark auf NVIDIA Grace ARM64 mit NUMA-begrenzten unbound workqueues stieg throughput von 719,794 auf 794,049 Arbeitselemente pro Sekunde, bei 10.3% niedrigerer P95-Einreihungs-latency.

Dies verbessert die Verarbeitung konkurrierender Hintergrundarbeit auf Housekeeping-CPUs und in unterstützender Infrastruktur.

Reaktionsfähigere schedulerverwaltete Dienste

Cgroup-Scheduling der Fair-Klasse wechselt zu einer einzigen Runqueue für die Aufgabenauswahl je CPU und behält die Verteilung nach Gruppengewichten bei. EEVDF verbessert außerdem das Scheduling für Aufgaben mit kurzen Zeitscheiben, und NOHZ balancing bevorzugt vollständig untätige Kerne.

Diese Änderungen sind für schedulerverwaltete Gateways, Überwachung, Orchestrierung und Housekeeping-Dienste relevant. Explizite CPU affinity bleibt der Platzierungsmechanismus für dedizierte Handelsthreads.

Besser skalierbarer io_uring-Zero-Copy-Empfang

Das Zero-Copy-Empfangssubsystem von io_uring erhält dynamische Speicherbereichsbereitstellung und koordinierte Refill-Verbesserungen. Refill großer Seiten skaliert mit der zugrunde liegenden Allokation, kompatible Refill-Einträge werden zusammengeführt, und Kopf und Ende des Refill-Rings liegen in getrennten Cache-Zeilen. Tail-Caching reduziert Zugriffe auf gemeinsamen Zustand zusätzlich.

Diese Änderungen verbessern die Empfangsspeicherverwaltung und reduzieren Refill-Overhead für Anwendungen mit io_uring ZCRX, darunter hochfrequente Marktdaten- und Netzwerkverarbeitungsaufgaben.

CXL-gestützte Solarflare-Sendeunterstützung in der Upstream-Basis

Linux 7.3 verbindet CXL-Type-2-Infrastruktur mit der Solarflare-Treiberintegration für kompatible Geräte der SFC9100-Familie. CONFIG_SFC_CXL aktiviert den Treiberpfad für CTPIO über CXL.mem mit kompatibler CXL-Hardware und CXL-fähiger Firmware.

Der Treiber prüft die CXL-Gerätefähigkeiten, erstellt einen 256 MiB großen CTPIO-Speicherbereich und bildet ihn mit Write-Combining-Semantik ab. Dies ermöglicht kernelseitig einen CXL-gestützten Sendepfad vom Host zur NIC.

Für eine passende HFTKernel-Hardware-Konfiguration kombiniert die Integration CONFIG_SFC, CONFIG_CXL_BUS und CONFIG_SFC_CXL mit kompatiblem Server, Adapter und Firmware. Dies schafft eine gezielte Hardwareoptimierungsoption für latency-empfindliche Übertragung.

Erweiterte Hardware-Uhrsteuerung

Der ZL3073x-DPLL-Treiber erhält PTP-Hardware-Uhrunterstützung und bietet Zeitlesen, Zeitkorrektur, Frequenzkorrektur und Phasenkorrektur über die passenden Callbacks. Verfügbare Operationen richten sich nach dem aktuellen Kanalzustand, einschließlich NCO-Betrieb und Referenzverfolgung.

Dies erweitert die über Standard-Linux-Schnittstellen verfügbaren Hardware-Zeitoptionen und erleichtert die Integration unterstützter Zeitgeräte in die Uhrverwaltungsinfrastruktur.

Besser skalierbare Cloud-Netzwerkverwaltung

Ausgewählte Software-Netzwerktreiber, darunter veth, ipvlan und Tunnel, erhalten Geräteabmeldung je Netzwerk-Namespace. Routingregel-Aktualisierungen lösen sich ebenfalls vom globalen RTNL-Lock. Diese Änderungen reduzieren gemeinsame Serialisierung bei Netzwerklebenszyklus- und Routingrichtlinienoperationen.

BIG-TCP-Unterstützung wird auf UDP-Tunnel wie VXLAN und Geneve erweitert. Größere interne Segmentierungsblöcke bieten eine zusätzliche Effizienzoption für Massendatenverteilung und Replay über unterstützte Overlays, während die konfigurierte MTU auf der Leitung erhalten bleibt.

Nützlichere Multicast-Diagnose

RTM_GETMULTICAST meldet eine Benutzeranzahl je Gruppe. Überwachungssoftware kann die Nutzung von Multicast-Gruppen über netlink untersuchen und erhält bessere Einblicke in den Abonnementstatus auf Hosts, die Multicast-Marktdaten empfangen.

Effizienteres Allokationsprofiling

Speicherallokationsprofiling erhält eine binäre ioctl-Schnittstelle für /proc/allocinfo. Modul-, Funktions-, Datei- und Zeilenfilter können vor der Aggregation von CPU-Zählern angewendet werden, sodass Diagnoseabfragen nur passende Allokationsstellen verarbeiten.

Im Upstream-Test auf Intel Xeon Platinum 8481C mit 224 logischen CPUs reduzierte eine dateispezifische Abfrage die System-CPU-Zeit von 22 ms auf 1 ms. Dies macht gezielte Speicheruntersuchungen leichter und besser für automatisierte Erfassung geeignet.

Die neuen Zähler pgrotate_anon und pgrotate_file machen Reclaim-Arbeit sichtbar, die nicht sofort Seiten freigibt. Sie unterstützen die Diagnose sowohl von klassischem LRU als auch von MGLRU.

Versionsschwerpunkt

Die Linux-7.3-Basis bringt drei Prioritäten von HFTKernel voran: mehr Zustand vor Arbeitslastbeginn vorbereiten, Konkurrenz in gemeinsamen Kernel-Pfaden reduzieren und bessere Kontrolle über Netzwerk, Speicher und Zeitverhalten bereitstellen.