Van schets naar (rare) foto. Hoe dan?

Kijkend naar Bob Ross denk ik ‘dat kan ik ook’. Maar het resultaat is meestal een armetierig werkje dat nergens op lijkt. Maakt allemaal niks meer uit, want met wat oeverloos geschets tover ik nu zó een meesterwerk tevoorschijn.

Een producent van computer hardware (NVIDIA) heeft iets ontwikkeld met behulp van een zelflerend algoritme. Zet een paar pennenstreken en het algoritme zet het om in een foto. Een groen vlak wordt gras, een paar bruine strepen wordt een huisje. Je voelt je net een kunstenaar. En daar knipoogt de naam dit programma ook naar: GauGAN: al moest de schilder Gauguin aanzienlijk meer moeite doen voor een landschapje.

Hieronder zie je hoe het programma een schets omzet in een foto:


Dat algoritme update de foto telkens wanneer je iets nieuws aan het beeld toevoegt. Schets je een meertje (ofwel een simpel blauw vlak) waar je later wat bomen aan de oever zet, dan verandert ook de reflectie in het water.

Kortom, je kunt dus een schets maken op het niveau van een kleuter (huisje, boompje, beestje), waarna het algoritme alles aanvult en er een realistische foto van maakt. Daarin kloppen dan de schaduwen, de lichtval alsmede het seizoen. Een bloeiende boom in een sneeuwlandschap komt niet voor.

Ik sloeg natuurlijk direct zelf aan het kleuren. Ik heb me er een goed half uur mee vermaakt. Het is even uitzoeken hoe het algoritme precies ‘denkt’ maar daar kom je spelenderwijs achter. En bevalt het niet: je kunt eindeloos opnieuw beginnen.

Rotsen in de zee zien er dan zo uit:

Dit zijn geen samengevoegde foto’s

Mijn resultaat blaast je misschien niet omver, maar de resultaten worden steeds beter omdat hier een zelflerend algoritme achter zit. Hetzelfde bedrijf maakte eerder een product dat nu eigenhandig levensechte portretten produceert. Ook dat begon met vele slordigheden in de resultaten. Maar slechts een paar jaar later zijn de foto’s eng echt. Kijk zelf maar.

Alweer een tijdje terug – in 2015 – schreef ik over een algoritme dat mooie foto’s herkent. Dat brengt natuurlijk een hoop vragen met zich mee, want wie bepaalt nu wat mooi is? GauGAN gaat aan die vraag voorbij: het vult een schets in op basis van miljoenen foto’s die het zelf heeft gezien. Eigenlijk dus net zoals schilder Gaugain op basis van alle beelden die hij ooit heeft gezien, een uniek schilderij maakte.

Wie kunnen hier wat mee?

GauGAN kan worden gebruikt door architecten en (game-)designers om snel prototypes te maken om hun idee te presenteren. En wellicht gaan kunstenaars er ook wel mee aan de haal, net zoals bij Google Street view gebeurt.

Zelf schetsen?

Mocht je ook zin hebben om te schetsen, dat kan hier. Maar je kunt ook – nog luier – onderstaand filmpje kijken en zien hoe anderen van alles in elkaar flansen.