Als we de besluitvorming tijdens incidenten willen verbeteren met AI, moeten we dan niet eerst begrijpen hoe het menselijke besluitvormingsproces werkt? Laten we het hierover hebben en nog drie andere olifanten.
Dit artikel is een samenvatting van een aantal punten uit een artikel dat ik samen met dr. Richard Gasaway en Gerke Spaling heb geschreven. Deze won een ‘Best Working Paper Award’ op de Human Hybrid Artificial Intelligence Conference in 2022. Er wordt nog gewerkt aan een vervolg artikel.
Ondertussen heb ik meerdere keren een presentatie gegeven om de aandacht te vestigen op de menselijke uitdagingen bij het gebruik van AI.
Mijn angst is de aanleiding om meer en betere informatie te gebruiken bij incidenten:
“Ik ben bang dat mij, een van mijn collega’s of de mensen die we helpen iets overkomt, en dat we later zullen ontdekken dat we over de informatie beschikten om dit te voorkomen, maar deze niet op tijd en in de juiste vorm bij de juiste persoon konden krijgen.”
De opkomst van open data rond 2008 was de bron van mijn angst. Ik besefte dat er veel informatie beschikbaar was, maar dat we die niet gebruikten.
De omgeving
De echte uitdaging in het omgaan met deze informatie is de omgeving waarin we werken, een omgeving met een hoog risico, hoge gevolgen en tijdsdruk. Werken in deze omgeving resulteert in een andere werking van je hersenen. In plaats van al je opties met voor- en nadelen af te wegen, zullen je hersenen volledig geautomatiseerd werken en beslissingen nemen op basis van je training en eerdere ervaringen.
Dit betekent dat je geautomatiseerde mentale modellen gebruikt om informatie over een incident te verzamelen en een beeld samen te stellen. Dit beeld helpt je inzicht te krijgen in wat er aan de hand is. Op basis van dit inzicht probeer je te voorspellen wat de beste manier is om het incident aan te pakken. Dit hele proces verloopt vrijwel automatisch, waardoor je snel en daadkrachtig kunt reageren.
Voor de relatief eenvoudige dagelijkse incidenten werkt dit meestal prima. De echte problemen beginnen wanneer incidenten complexer worden. Die vaak ook nog eens minder vaak voorkomen, als je naar de statistische trends kijkt.
Complexe incidenten leggen menselijke factoren bloot
Bij de complexere incidenten loopt een rode draad door de rapporten; menselijke factoren spelen een cruciale rol in de manier waarop het incident wordt afgehandeld. Een belangrijk onderdeel van menselijke factoren is situational awareness, ofwel het begrijpen van je omgeving. De definitie van situational awareness volgens Situational Awareness Matters:
Het vermogen om waar te nemen en te begrijpen wat er om je heen gebeurt in relatie tot hoe de tijd verstrijkt. Om vervolgens toekomstige gebeurtenissen nauwkeurig en op tijd te kunnen voorspellen om slechte afloop te voorkomen.
Eerder beschreef ik hoe wij de wereld waarnemen en begrijpen. Dit proces is grotendeels geautomatiseerd, maar niet zonder problemen. Er zijn meer dan 120 (!) barrières bij situational awareness.
Je hersenen helpen je dus niet echt bij de toenemende complexiteit van het incident. Het maakt het feitelijk moeilijker om een goede situational awareness, te verkrijgen. Het gebruik van technologie is één van de hindernissen, en toch wordt er reclame gemaakt voor AI om deze problemen op te lossen.
Kan AI echt helpen?
Dit is waar de vier olifanten op het toneel komen.
Voorspellen wat er zal gebeuren, is een van de grote beloften van AI. De claim is dat als je voldoende gegevens in een AI-systeem stopt, het je kan vertellen wat er vervolgens zal gebeuren tijdens een incident of welk deel van de informatie relevant is. En hoewel dat is wat we willen, is de realiteit waarschijnlijk wat minder rooskleurig.
Data kwaliteit
Het is geen geheim dat brandweerkorpsen wereldwijd moeite hebben met het leveren van kwaliteitsgegevens over hun operaties. Om een AI-systeem goed te kunnen trainen, heeft het een grote hoeveelheid gegevens van goede kwaliteit nodig. Zowel de hoeveelheid als de kwaliteit van de momenteel beschikbare gegevens zijn op zijn minst best problematisch. Er is geen goede datamodelstandaard, en bovendien hebben we nauwelijks goede definities voor de onderwerpen die we vastleggen. Dit resulteert in het ‘garbage in, garbage out’-probleem.
De afwijkingen
Zelfs wanneer data in goede kwaliteit en in voldoende hoeveelheden beschikbaar zou zijn, is de realiteit dat de brandweer reageert op afwijkingen. Ieder incident is op zijn eigen manier uniek; als er bij veel incidenten een gemeenschappelijk thema zou zijn, zou dit leiden tot beleid om deze aan te pakken.
De huidige focus op alternatieve energie, zowel in gebouwen als in de mobiliteit, zal nieuwe uitdagingen voor de brandweer met zich meebrengen. Als een organisatie die opgeroepen wordt voor allerhande gevaarlijke situaties, zal ook de klimaatverandering nieuwe en onbekende problemen met zich meebrengen.
De kans is groot dat de combinatie van factoren die relevant zijn voor het volgende complexe incident waar je naartoe gaat, uniek is voor dat incident. Ofwel een afwijking.
Persoonlijke context
Als hulpverlener heb je je eigen ervaring en opleiding, wat zorgt voor zeer persoonlijke manier van beslissingen nemen. De omgeving waarin je deze beslissingen moet nemen, brengt de hersenen in een bijna geautomatiseerde beslissingsmodus. Dus zelfs als de datakwaliteit goed genoeg zou zijn om accuraat te helpen in deze afwijkende situaties, zou het een hele uitdaging zijn om deze te integreren in de geautomatiseerde besluitvormingsmodus van je hersenen.
Dit vereist dat het AI-systeem gedetailleerde kennis moet hebben over jou, de hulpverlener die het probeert te helpen. Afgezien van de slechte gegevensverzameling op grote schaal, is het verzamelen van gegevens op persoonlijk niveau vrijwel onbestaand. In ieder geval als het gaat om wie waar was en wat deed tijdens een brand. Er is niets voor AI-systemen om van te leren!
Juridische & ethische aspecten
Als we je naar een incident sturen met een AI-systeem als je assistent, houden we dan rekening met de ethische en juridische implicaties? Wat als je op basis van het advies van dat AI-systeem een fatale beslissing neemt? Wie is verantwoordelijk? Een juridisch aspect waar niemand – tot nu toe – over lijkt te praten.
En wat zijn de gevolgen voor jou bij een fatale afloop van een beslissing die je hebt genomen op basis van AI-input? Een ethisch aspect, waar waarschijnlijk nog minder over gesproken wordt.
Misschien moeten we ons concentreren op waar dingen misgaan
De belofte van AI om ons te helpen betere beslissingen te nemen klinkt geweldig. Maar het gaat voorbij aan enkele van de uitdagingen die duidelijk aanwezig zijn. Zou er een alternatieve methode kunnen zijn waarbij AI zou kunnen helpen?
Als je kijkt naar incidenten waarbij hulpverleners in de problemen komen, zie je een rode draad: “Dat hadden we niet verwacht”. Als je kijkt naar de manier waarop hulpverleners hun beslissingen nemen en hun situational awareness opbouwen, is het makkelijk om te zien waar dat probleem vandaan komt.
Het beeld dat zij creëerden, dat de basis vormde voor hun beslissingen, was gebrekkig. Een veel voorkomend probleem bij dit gebrekkige situationele bewustzijn is de veronderstelling dat ze de situatie begrijpen zonder echt te controleren wat er aan de hand is.
Wat als er een AI-systeem is dat jou als hulpverlener vragen stelt? Eeen systeem dat je ertoe aanzet echt te controleren wat er aan de hand is – In recent onderzoek wordt dit ‘Adjunct AI’ genoemd. In plaats van je precies te vertellen wat je moet doen – wat vrijwel onmogelijk is – dient het systeem als een assisten. Het is een aanvulling, die je nieuwsgierigheid zal wekken om te zien wat er werkelijk aan de hand is.
Hoewel dit slechts één richting is die we kunnen inslaan om de olifanten te temmen, is het belangrijk dat we deze discussie überhaupt bij de brandweer gaan voeren. Ik zie wel dat deze olifanten, door al het enthousiasme voor technologie, zelden ter sprake komen.
Maak het weer menselijk
De uitdagingen van AI bij incidenten zijn slechts voor een klein deel van technische aard.
De implicaties van menselijke factoren zijn het grootste probleem bij het gebruik van technologie. Het is een uitdaging om in te haken op het besluitvormingsproces en de acties van eerstehulpverleners te beïnvloeden.
We weten allemaal dat hulpverleners veiligheidsgordels moeten dragen in brandweerwagens, maar doe jij dat altijd?
Bij de adoptie van AI bij de brandweer moeten we er – naast het temmen van de vier olifanten – voor zorgen dat we ons eerst op de menselijke factoren richten.