ZML, ein 2023 in Paris gegründetes französisches KI-Startup, hat ZML/LLMD veröffentlicht – eine kostenlose, hardware-agnostische Inferenz-Engine. Die Lösung zielt darauf ab, die Ausführung großer Sprachmodelle auf Chips verschiedener Hersteller zu beschleunigen und Vendor Lock-in zu reduzieren.
Technische Grundlage
ZML/LLMD (Version 2) ist primär in der Programmiersprache Zig geschrieben und nutzt MLIR sowie OpenXLA. Dieser Ansatz umgeht die klassischen Python- und PyTorch-Abhängigkeiten. Die Software kompiliert Modelle von einer einzigen Codebasis aus direkt auf unterschiedliche Hardware-Plattformen.
Unterstützte Plattformen umfassen NVIDIA CUDA, AMD ROCm, Google TPU, Apple Metal, Intel Arc sowie AWS Trainium und Neuron. Das System bietet eine OpenAI-kompatible API und wird in einem kompakten 2,4 GB Container-Image ausgeliefert.
Philosophie und Leistungsmerkmale
Das Projekt folgt einer „Model to Metal“-Philosophie, die explizite Kontrolle, Komponierbarkeit und Vorhersagbarkeit betont. Es integriert optimierte Kernel wie Flash Attention 2/3 auf CUDA und AITER-Kernel auf AMD ROCm. Die Engine ist auf niedrige Latenz und minimalen Speicher-Overhead ausgelegt.
Unterstützung und Einordnung
Yann LeCun, Turing-Preisträger und Chief AI Scientist bei Meta, hat das Projekt öffentlich befürwortet. ZML/LLMD wird als Teil einer zweiten Welle französischer KI-Startups gesehen, die sich auf Inferenzoptimierung konzentrieren.
Quelle: TechCrunch AI
FAQ
Was ist ZML/LLMD genau?
ZML/LLMD ist eine kostenlose Inferenz-Engine und -Server, die große Sprachmodelle hardware-agnostisch auf einer Vielzahl von Chips mit hoher Geschwindigkeit ausführen soll.
Welche Modelle werden aktuell unterstützt?
Derzeit werden Llama- und Qwen-Modellfamilien unterstützt, konkret Llama 3.1/3.2, Qwen 3.5 und LFM 2.5.
Welche Einschränkungen bestehen in der technischen Vorschau?
Die Software läuft derzeit nur auf einer einzelnen GPU, unterstützt keine Multi-GPU-Sharding, hat eine maximale Batch-Größe von 16 und bietet kein Prefix-Caching. Sie richtet sich primär an ML-Systemingenieure.