[cid:image001.jpg@01D6EE88.E76A88D0]Drones navigeren beter als ze ook leren
kijken naar textuur, kleur en vorm
Een bij kan schijnbaar moeiteloos navigeren tussen bloemen en langs obstakels.
Je vraagt je misschien af hoe het komt dat zo'n klein insect, zo perfect zijn
weg kan vinden? Die vliegkunst is voor een deel verklaarbaar door het concept
'optische flow', wat betekent dat insecten de snelheid waarnemen waarmee
objecten zich door hun gezichtsveld verplaatsen. Roboticaonderzoekers proberen
dat na te bootsen met vliegende robots, maar dat is tot op heden maar ten dele
gelukt. Daarom presenteert een team van de TU Delft en de Westfälische
Hochschule een op optische flow gebaseerd leerproces waarmee robots afstanden
kunnen inschatten op basis van de visuele eigenschappen (vorm, kleur, textuur)
van zichtbare objecten. Deze op kunstmatige intelligentie gebaseerde
leerstrategie verbetert de navigatievaardigheden van kleine vliegende drones en
biedt een nieuwe hypothese over de intelligentie van insecten. Het artikel
verschijnt vandaag in Nature Machine Intelligence.
Hoe landt een bij op een bloem? En hoe ontwijkt ze obstakels? Dat lijken vragen
die vooral interessant zijn voor biologen. Maar met de opkomst van kleine
elektronica en robotsystemen zijn dergelijke vragen ook relevant geworden voor
de robotica en kunstmatige intelligentie. Zo zijn kleine robots bijvoorbeeld
sterk beperkt als het gaat om de sensoren en processors die zij aan boord
kunnen hebben. Als zulke robots even autonoom moeten zijn als zelfrijdende
auto's - die veel groter zijn - moeten ze gebruikmaken van een bijzonder
efficiënt soort kunstmatige intelligentie, vergelijkbaar met de sterk
ontwikkelde intelligentie van vliegende insecten.
Optische flow
Een van de dingen waar insecten veel gebruik van maken is 'optische flow': de
manier waarop objecten zich door hun gezichtsveld bewegen. Die helpt hen om op
bloemen te landen en obstakels en vijanden te ontwijken. De op optische flow
gebaseerde strategieën die insecten voor complexe taken gebruiken zijn
verrassend eenvoudig en elegant. Zo maken bijen bij het landen bijvoorbeeld
gebruik van de 'divergentie', de snelheid waarmee zichtbare objecten groter
worden. Als een bij zou vallen, zou de divergentie toenemen en zouden
bijvoorbeeld grassprieten steeds sneller groter worden. Maar tijdens het landen
gebruiken bijen een strategie om de divergentie constant te houden door af te
remmen. Daardoor kunnen ze vloeiend en zachtjes landen.
"We zijn begonnen aan het werken met optische flow uit enthousiasme over de
elegante, eenvoudige strategieën die vliegende insecten gebruiken", aldus Guido
de Croon, hoogleraar Bio-inspired Micro Air Vehicles en eerste auteur van het
artikel. "Maar het ontwikkelen van de benodigde besturingssystemen om deze
strategieën uit te voeren met vliegende robots bleek verre van eenvoudig. Zo
landden onze vliegende robots op een gegeven moment niet, maar bleven ze vlak
boven het oppervlak oscilleren, oftewel op en neer gaan."
Fundamentele beperkingen
Optische flow heeft twee fundamentele beperkingen, die uitgebreid zijn
beschreven in de toenemende literatuur in de door biologie geïnspireerde
robotica. De eerste is dat optische flow alleen gecombineerde informatie
verschaft over afstand en snelheid, en niet over afstand of snelheid
afzonderlijk. Dat betekent bijvoorbeeld dat als er twee drones aan het landen
zijn, en een daarvan twee keer zo hoog en snel vliegt als de andere, ze allebei
dezelfde optische flow waarnemen. Maar voor een goede besturing moeten deze
twee drones verschillend reageren op afwijkingen in de divergentie van de
optische flow. Als een drone zijn reacties bij het landen niet aanpast aan de
hoogte, komt hij nooit op de grond terecht, maar blijft hij daarboven
oscilleren. Ten tweede is de optische flow in de richting waarin een robot
beweegt heel klein. Dat is zeer nadelig, omdat daardoor de metingen van de
optische flow in die richting relatief veel ruis vertonen en dus zeer weinig
informatie verschaffen over de aanwezigheid van obstakels. Daardoor zijn de
belangrijkste obstakels - die waar de robot naartoe beweegt - in de praktijk
het lastigst om te detecteren.
Visuele verschijning leren als oplossing
"We realiseerden ons dat beide problemen met optische flow opgelost zouden zijn
als de robots niet alleen de optische flow konden interpreteren, maar ook de
visuele verschijning van objecten in hun omgeving", vervolgt De Croon. "Robots
zouden dan de afstand tot objecten kunnen waarnemen ongeveer zoals mensen
afstanden kunnen inschatten bij een foto. De enige vraag was: Hoe kan een robot
leren om op die manier afstanden waar te nemen?"
Het antwoord op die vraag zat hem in een onlangs door De Croon ontwikkelde
theorie, waaruit blijkt dat vliegende robots door actief te oscilleren
afstanden kunnen waarnemen. In het in Nature Machine Intelligence gepubliceerde
artikel wordt een benadering gepresenteerd waarbij robots dergelijke
oscillaties gebruiken om te leren hoe de objecten in hun omgeving er op
verschillende afstanden uitzien. Op die manier kan een robot bijvoorbeeld leren
hoe fijn de textuur van gras er vanaf verschillende afstanden uitziet tijdens
het landen, of hoe dik boomstammen op verschillende afstanden zijn als hij door
een bos vliegt.
[NMI_video]
https://www.youtube.com/watch?v=A50Wl311rmU&list=PL_KSX9GOn2P_DPPvFfJ9iXuS_DFozvzfl&index=1
Relevantie voor robotica en toepassingen
"Leren om afstanden te bepalen op basis van visuele verschijning levert veel
snellere en vloeiendere landingen op dan voorheen mogelijk waren", vertelt
Christophe De Wagter, onderzoeker aan de TU Delft en coauteur van het artikel.
"Bovendien konden de robots nu obstakels in de vliegrichting heel duidelijk
zien om ze te ontwijken. Daardoor werd niet alleen de detectie van obstakels
beter, maar konden onze robots ook sneller vliegen." De gepresenteerde methodes
zullen bijzonder relevant zijn voor vliegende robots met beperkte sensoren en
rekenkracht, met name als die actief zijn in een omgeving met weinig ruimte,
bijvoorbeeld in een kas om gewassen te monitoren of in een magazijn om de
voorraad bij te houden.
Relevantie voor de biologie
De bevindingen zijn niet alleen relevant voor de robotica, maar hebben ook een
nieuwe hypothese over de intelligentie van insecten opgeleverd. "Meestal
beginnen experimenten met bijen met een leerfase, waarin de bijen verschillende
oscillerende gedragingen vertonen tijdens de kennismaking met een nieuwe
omgeving en de daarbij horende nieuwe prikkels, zoals kunstmatige bloemen",
vertelt Tobias Seidl, bioloog en hoogleraar aan de Westfälische Hochschule. "De
uiteindelijke metingen die in artikelen worden gepresenteerd worden meestal
gedaan na deze leerfase en daarbij ligt de nadruk voornamelijk op de rol van
optische flow. Het hier gepresenteerde leerproces biedt een nieuwe hypothese
over de manier waarop vliegende insecten in de loop van hun leven hun
navigatievermogen verbeteren, bijvoorbeeld om te landen. Dat wijst erop dat we
meer onderzoek naar deze leerfase moeten doen."
----
Publicatie
Enhancing optical-flow-based control by learning visual appearance cues for
flying robots. G.C.H.E. de Croon, C. De Wagter, and T. Seidl, Nature Machine
Intelligence 3(1), 2021.
https://www.nature.com/natmachintell/
DOI: 10.1038/s42256-020-00279-7
Foto en video (hoge resolutie)
https://surfdrive.surf.nl/files/index.php/s/qxTF9sFW0xEcetd en op de website ;
van het Micro Air Vehicle Lab https://mavlab.tudelft.nl/
Contact
Guido de Croon, +31 15 27 81402,
G.C.H.E.deCroon@xxxxxxxxxx<mailto:G.C.H.E.deCroon@xxxxxxxxxx>,
http://www.bene-guido.eu/wordpress/
Carola Poleij (Wetenschapscommunicatieadviseur TU Delft), +31 15 27 88499,
C.Poleij@xxxxxxxxxx<mailto:C.Poleij@xxxxxxxxxx>
----
U ontvangt dit bericht via de PWC-medialijst. U kunt zich afmelden via
http://platformwetenschapscommunicatie.nl/