AMD heeft een nieuwe versie van zijn MLIR-AIE-compiler uitgebracht, een belangrijke stap om de speciale AI-rekenkernen in Ryzen-processors beter te benutten onder Linux. Deze nieuwe versie, genaamd 1.3, maakt het voor ontwikkelaars makkel-ijker om complexe AI-taken, zoals grote taalmodellen (LLM’s), te laten draaien op de Neural Processing Unit (NPU) van AMD.
De nieuwe compiler, genaamd AIECC, is gebaseerd op de MLIR-technologie van LLVM. Dit klinkt misschien technisch, maar het betekent in de praktijk dat het nu eenvoudiger wordt om code te genereren die specifiek is geoptimaliseerd voor de AI-hardware in Ryzen-chips. Dit is vergelijkbaar met hoe een normale compiler C++ code omzet naar instructies die een processor begrijpt, maar dan specifiek voor de AI-engine.
Voor de eindgebruiker betekent dit dat software die gebruikmaakt van AI, zoals programma’s met taalmodellen, efficiënter kan draaien op laptops met Ryzen AI. De AI-taken worden dan niet door de centrale processor (CPU) of de grafische kaart (GPU) uitgevoerd, maar door de NPU die daar speciaal voor is ontworpen. Dit kan leiden tot betere prestaties en een lager energieverbruik, wat vooral voor laptops een groot voordeel is.
De update brengt onder andere ondersteuning voor nieuwe datatypen en verbeterde prestaties voor complexe wiskundige berekeningen die essentieel zijn voor AI-toepassingen. Met deze software-ontwikkelingen, samen met recente updates in projecten als Lemonade en FastFlowLM, zet AMD serieuze stappen om de AI-mogelijkheden van zijn hardware ook voor Linux-gebruikers toegankelijk te maken.
Bron: Phoronix — AMD MLIR-AIE Releases New AIECC C++ Compiler To Help Bring New Workloads To Ryzen AI NPUs (15 oktober 2024)