Recente tests werpen nieuw licht op de prestaties van kunstmatige intelligentie (AI) op AMD Radeon-videokaarten. Specifiek is gekeken naar het verschil tussen twee belangrijke technologieën: AMD’s eigen ROCm en de open standaard Vulkan. Dit is relevant voor iedereen die thuis AI-modellen wil draaien, bijvoorbeeld om een chatbot lokaal te laten werken, en wil weten welke aanpak het meest efficiënt is op hun AMD-hardware.
De benchmarks zijn uitgevoerd door Phoronix, een bekende techsite, en maken gebruik van de ‘Lemonade local AI server’ in combinatie met Llama.cpp, een populaire tool voor het lokaal draaien van grote taalmodellen (LLM’s). ROCm is AMD’s antwoord op NVIDIA’s CUDA; het is een platform en set tools speciaal ontworpen voor high-performance computing en AI-workloads op hun GPU’s. Vulkan daarentegen is een grafische API, vergelijkbaar met DirectX, maar kan ook worden ingezet voor algemene berekeningen op de videokaart, waaronder AI. De tests zijn gedaan op twee verschillende systemen met AMD Radeon-videokaarten om een breed beeld te krijgen.
Voor gebruikers die AI-toepassingen op hun eigen computer willen draaien, is de keuze van de ‘backend’ – de onderliggende technologie die de berekeningen uitvoert – cruciaal. Deze tests laten zien welke van de twee, ROCm of Vulkan, sneller en efficiënter is bij het verwerken van AI-taken. In de praktijk betekent dit dat de prestaties van je lokale AI-server, zoals de snelheid waarmee een chatbot reageert of een afbeelding wordt gegenereerd, sterk kunnen variëren afhankelijk van de gekozen technologie. Het geeft je een idee welke optie je moet overwegen voor de beste ervaring.
Deze vergelijking biedt waardevolle inzichten voor zowel ontwikkelaars als enthousiaste gebruikers van lokale AI op AMD-hardware. Het helpt bij het maken van een weloverwogen keuze voor de software-infrastructuur en draagt bij aan de verdere optimalisatie van AI-toepassingen buiten de cloud.