VI&AI: Ju mer vi delegerar desto sämre blir vi

Vi sätter människor som övervakare över AI-agenter, men själva processen att använda AI-system urholkar gradvis de kognitiva förmågor som krävs för att utöva det omdömet på ett vettigt sätt. Ju mer vi delegerar, desto sämre blir vi på att se när något är fel. Detta skrev #LisanneBainbridge om automatisering redan 1983.

"Human in the loop" är alltså inte en lösning om loopen i sig successivt förtvinar. Utan åtgärder kommer användaren allt eftersom ställas utanför beslutsprocessen, i takt med att agentsystem tas i bruk i större skala och inom mer viktiga områden.

Det är precis här som mänskligt lärande, levande systemkunskap och organisationsförståelse blir avgörande, inte som ”mjuk kompetens” utan som kärnkompetens. Att förstå hur komplexa system beter sig, hur grupper fattar beslut, hur uppmärksamhet och omdöme fungerar under stress, det är inte separerat från AI-arbetet. Det är förutsättningen för att det ska fungera alls.

Denna vetenskapliga artikel av Margaret Mitchell, Avijit Ghosh, and Samir Passi (via Luiza Jarovsky, PhD) påtalar hur utvecklare måste bygga in funktioner för användarinteraktion som upprätthåller förutsättningarna för tillsyn, och de som implementerar systemen måste införa organisatoriska rutiner, som t ex utbildning och pauser, som skyddar de kognitiva förmågor som krävs för tillsyn över tid. AI-agentsystem måste alltså stödja mänskligt tänkande, inte passivt underminera det 😩

Flyer: Rage, February 1989, presented by Fabio and Grooverider at Heaven, London WC2