KI schneller auf neue Hardware bringen

Das Hardware-Enablement für KI-Workloads lässt sich beschleunige: Im Rahmen eines gemeinsamen Projekts wurde der KI-Software-Stack von Modular für die Tensor Processing Units (TPUs) von Google fit gemacht – eine Arbeit, die sonst Jahre dauern kann und für die die beiden Unternehmen lediglich einige Monate benötigten.

Die bestehende Software-Basis aus Modular Max und Modular Mojo haben HTEC und Modular erweitert, anstelle sie – wie bisher üblich – für neue Hardware-Beschleuniger neu zu entwickeln. Basis dafür ist ein portabler Software-Layer in Kombination mit spezialisiertem Compiler- und Runtime-Engineering, der neue Compute-Architekturen schneller nutzbar macht.

Dass dies möglich ist, ist eine wichtige Erkenntnis, da der Bedarf an Compute-Ressourcen für KI-Workloads wächst. Viele Unternehmen wollen sich nicht an ein einziges Hardware-Ökosystem binden, um Performance und Skalierbarkeit zu verbessern und das Risiko von Kostensteigerungen, Kapazitätsengpässen und Lieferschwierigkeiten zu verringern. Die Hürde dabei war bislang meist die Software, da jeder neue Beschleuniger umfangreiche Anpassungen an Compilern, Laufzeitumgebungen und Inferenzsystemen erfordern kann, bevor KI-Workloads die Hardware effektiv nutzen können.

Vorgestellt wurde das Projekt von HTEC und Modular im August auf der ModCon 2026 in San Francisco. Über die Bereitstellung von Max und Mojo auf Google-TPUs hinaus unterstreicht es, wie wichtig die langfristigen Investitionen von HTEC in das Enablement von KI-Hardware sind und wie wichtig der Ansatz von Modular hinsichtlich hardwareunabhängiger KI-Software ist. Zugleich stärkt das Projekt die Fähigkeiten von HTEC, künftige Halbleiter- und KI-Initiativen in der Branche zu unterstützen. (rhh)

HTEC