De nieuwe mobiele AI van Facebook kan video in realtime verwerken

Facebook is begonnen met de uitrol van zijn 'Caffe2Go' AI-platform dat geavanceerde video-effecten in stijl overzet in realtime met alleen de paardenkracht van je iOS- of Android-smartphone. Hoewel de schilderkunstige effecten cool zijn (zie de video hieronder), is de technologie erachter veel interessanter. Deep learning vereist normaal gesproken dat inhoud 'naar datacenters wordt gestuurd voor verwerking op big-compute-servers', schreef Facebook, maar met Caffe2Go kan de verwerking 'in de palm van je hand' worden gedaan.

Het nieuwe platform maakt deel uit van een grotere AI-inspanning, waaronder de Lumos-app met machinevisie die wordt gebruikt om afbeeldingen te vinden die de gemeenschapsnormen schenden. Het heeft ook vergelijkbare technologie open source op Github voor niet-Facebook-ontwikkelaars. Het is natuurlijk niet het enige bedrijf dat AI-projecten doet. Google heeft zijn Tensorflow-framework vrijgegeven aan de open source-gemeenschap en Microsoft heeft onlangs zijn Cognitive Toolkit beschikbaar gesteld aan ontwikkelaars.



Facebook pronkte vorige maand voor het eerst met Caffe2Go en bracht vervolgens enkele van de effecten naar een nieuwe camera in een beperkte Europese release. Net als de Prisma-app zet het stijlen van Van Gogh of Monet over op elk stilstaand of bewegend beeld. Voor het verwerken van live video is normaal gesproken op zijn minst een goed uitgeruste pc nodig, maar Facebook zegt dat 'we in staat waren om AI [verwerking] op sommige mobiele telefoons te bieden met minder dan 1/20e van een seconde', zes keer sneller dan een oogwenk.

De ingenieurs van het bedrijf moesten software ontwerpen die werkte met de beperkingen van uw smartphone op het gebied van geheugen en rekenkracht. Tegelijkertijd wilden ze dat de app zou worden opgeschaald voor gebruik op servers of werkstationklasse-machines. Daartoe creëerde het team een ​​lichtgewicht UNIX-gebaseerd systeem dat 100 keer kleiner is dan vergelijkbare deep-learningprogramma's die werken op CPU, GPU, Android en iOS. Vervolgens creëerden ze invoegmodules, waaronder een CPU-functie genaamd NEON die de mobiele verwerkingssnelheden verbetert.

Facebook geeft ontwikkelaars toegang tot Caffe2Go via zijn stack, en is van plan om delen ervan 'in de komende maanden' te openen. Hoewel de overdracht van videostijl een goede test van de technologie is, is het in staat om andere AI-verwerkingstaken uit te voeren met betrekking tot beeld, spraak en meer. Het zal niet snel resulteren in WestWorld, maar het zou de mogelijkheden moeten openen van wat je in de nabije toekomst op je smartphone kunt doen.

Meer verhalen

Openbare toegang - hoe de IoT-industrie zich de komende jaren zal ontwikkelen

Naar schatting zullen tegen 2020 wereldwijd 20,8 miljard dingen met internet zijn verbonden. Van apparaten, beveiligingssystemen voor woningen en bedrijven,...

Hoe installeer ik Windows op een Chromebook

Chromebooks bieden officieel geen ondersteuning voor Windows. Normaal gesproken kunt u Windows niet eens installeren: Chromebooks worden geleverd met een speciaal type BIOS dat is ontworpen voor Chrome OS. Maar er zijn manieren om Windows op veel Chromebook-modellen te installeren, als u bereid bent uw handen vuil te maken.

De ochtend erna: dinsdag 8 november 2016

Beslissingen beslissingen.

Openbare toegang - Beste gamingmonitors van 2016

Het videogamelandschap is de afgelopen 5 jaar drastisch veranderd; Voorbij zijn de dagen dat een gamer verzadigd moest zijn met een goede processor en gr...

Hoe u de resultaten van de presidentsverkiezingen online kunt bekijken

Het is verkiezingsdag in Amerika en je hebt een aantal manieren om live verkiezingsverslaggeving online te bekijken.

Facebook schort het gebruik van WhatsApp-gegevens op na Britse privacyonderzoek

De Information Commissioner's Office zet de socialemediagigant onder druk.

Openbare toegang - 4 manieren waarop volledig autonome voertuigen ons leven zullen veranderen

We wachten op zelfrijdende auto's die op de markt komen sinds Tesla ons een paar jaar geleden met hen plaagde. Vandaag wordt deze geavanceerde technologie eindelijk...

4K-gaming heeft een videoservice om het recht te doen

Het streamen van 4K-gamevideo's op YouTube is niet de duidelijkste manier om te zien hoe een nieuwe game eruitziet. Maar Digital Foundry staat u bij met downloads van hoge kwaliteit.

Openbare toegang - Hoe FinTech de financiële wereld heeft veranderd

De voortschrijdende samensmelting van financiën en technologie – FinTech genaamd – is zeker een model gebleken dat in staat is om geheel nieuwe le...

Hoe uw mobiele app meer geld kan verdienen

Door de juiste prijsstrategie te kiezen, kunt u uw winst maximaliseren. Hier zijn vier opties en waarom ze allemaal geschikt voor u kunnen zijn.