Facebook maakt kunstmatige intelligentie voor beeldherkenning open source

Het Facebook Artificial Intelligence Research lab, of FAIR, heeft DeepMask, SharpMask en MultiPathNet open source gemaakt. De drie stukken software kunnen van een foto bepalen wat erin voorkomt, waar die onderdelen zich bevinden en waar precies de omtrek ervan zit.

Facebook maakt de openstelling op donderdag bekend in een uitgebreide blogpost. De drie softwareonderdelen werken samen om een foto onder te verdelen in meerdere geïdentificeerde segmenten. Een demo van de software in actie is ook beschikbaar voor wie interesse heeft. DeepMask maakt van een afbeelding een low-res-versie en bepaalt op basis van de grove vormen wat er te zien valt, SharpMask maakt zoals verwacht de foto weer scherp en wijst daarna de objecten daadwerkelijk aan binnen het frame en tot slot maakt MultiPathNet accurate masks die precies over de objecten heen passen, om aan te geven waar de objecten precies beginnen en eindigen.

De ai werkt met machine learning, wat betekent dat ze niet geprogrammeerd krijgt hoe ze voorwerpen moet herkennen, maar grote reeksen afbeeldingen voorgeschoteld krijgt en haar dan verteld wordt wat er in die foto’s te zien valt. Op die manier ‘leert’ de ai vanzelf hoe verschillende objecten op een foto eruit kunnen zien en, na genoeg voorbeelden gezien te hebben, kan ze dit werk zelf uitvoeren zonder dat een mens het moet ‘verklappen’.

Blinden en slechtzienden zou door de ai verteld kunnen worden wat er op een foto te zien is, los van of de foto een beschrijving heeft en of deze klopt. Op de nog langere termijn zouden blinde gebruikers zelfs onderdelen van de foto aan kunnen raken en te horen kunnen krijgen waar ze precies hun vinger op leggen, alsof het een soort foto-braille is. In de toekomst hoopt Facebook de technologie zodanig verfijnd te hebben dat deze ook losgelaten kan worden op video voor hetzelfde doeleinde. Ook zijn er toepassingen in augmented reality te bedenken.

Het is op zichzelf niet uniek dat Facebook een kijkje in de keuken geeft wat betreft ai-routines. Het bedrijf heeft in het afgelopen jaar over alle drie de onderdelen uitgebreide papers geschreven en voor iedereen gepubliceerd. De motivatie voor het open source maken van de drie routines is gedaan ‘met de hoop dat het publiek helpt om de vorderingen op het gebied van machine vision drastisch te versnellen’. De Facebook-ai moet per slot van rekening ook concurreren met Googles TensorFlow-software, dat eveneens open source is. DeepMask en SharpMask staan samen op GitHub en MultiPathNet staat apart.