Idag är AI och algoritmer något som används på flera olika sätt i människors vardag, oavsett om vi är medvetna om det eller inte. De senaste åren har även AI-drivna chattbotar blivit populära både privat och professionellt. Eftersom modellerna bakom dessa chattbotar ofta tränas på stora mängder data tillgängliga på internet, finns det en risk att de förstärker orättvisor som existerar i samhället idag. Denna studie undersöker om två av de största chattbotarna just nu, ChatGPT och Gemini, uppvisar någon könsbias när de ger yrkesförslag till manliga och kvinnliga användare, samt när de skapar bilder på personer som utövar tekniska yrken.

Två experiment utfördes, ett där en prompt skickades till de två chattbotarna som ombads föreslå fem yrken till användaren, och ett där chattbotarna skapade bilder på personer som utövar olika tekniska yrken. I det första experimentet användes ett Mann-Whitney U-test för att undersöka hur många av de fem yrkesförslagen som var teknikrelaterade, samt om det fanns någon skillnad i frekvenserna för manliga och kvinnliga användare. I det andra experimentet undersöktes andelen kvinnor som porträtterades i de bilder som chattbotarna skapade, vilket sedan jämfördes med hur könsfördelningen ser ut i teknikbranschen i Sverige idag.

Resultaten visade att ChatGPT inte uppvisade någon signifikant skillnad i antal teknikyrken som föreslogs till män respektive kvinnor, medan Gemini föreslog signifikant fler teknikrelaterade yrken till män än till kvinnor. I bildanalysen visade båda modellerna en underrepresentation av kvinnor, men Gemini genererade något fler kvinnliga personer i bilderna än ChatGPT. Båda modellerna låg dock under den faktiska könsfördelningen i branschen i Sverige.

Slutsatsen är att könsbias förekommer i både den text och de bilder som genererades av de två chattbotarna, men i olika grad. Det tyder på att insamling och bearbetning av träningsdata, samt efterbearbetning och utvärdering av modellerna är steg i utvecklingen av modellerna där bias har stor risk att inkorporeras i modellen. Studien betonar vikten av att systematiskt granska AI-system ur ett jämställdhetsperspektiv och att utvecklare tar ansvar för att minska snedvridningar i både träning och användning av AI-modeller.

Today, AI and algorithms are used for many different tasks in people’s everyday lives, whether we are aware of it or not. In recent years, AI-driven chatbots have also become popular both privately and professionally. Since the models behind these chatbots are often trained on large amounts of data available on the internet, there is a risk that they reinforce injustices that exist in society today. This study examines whether two of the largest chatbots on the market at the time of the study, ChatGPT and Gemini, exhibit any gender bias when suggesting professions to male and female users, as well as when generating images of people working in technical professions. 

Two experiments were conducted, one where a prompt was sent to the two chatbots asking them to suggest five professions to the user, and one where the chatbots generated images of people performing various technical jobs. In the first experiment, a Mann-Whitney U-test was used to analyze how many of the five suggested professions were tech-related, and whether there was any difference in the frequency of such suggestions between male and female users. In the second experiment, the proportions of women generated in the chatbot-created images were examined and compared to the actual gender distribution in the tech industry in Sweden.

The results showed that ChatGPT did not display a significant difference in the number of tech-related professions suggested to men versus women, whereas Gemini suggested significantly more tech-related jobs to men than to women. In the image analysis, both models underrepresented women, although Gemini generated slightly more female figures than ChatGPT. However, both models fell below the actual gender distribution in the Swedish tech industry. 

The conclusion is that gender bias is present in both the text and images generated by the two chatbots, albeit to different extents. This suggests that the collection and processing of training data, as well as the post-processing and evaluation of the models, are stages in model development where bias is likely to be introduces. The study emphasizes the importance of systematically reviewing AI systems from a gender equality perspective and stresses the responsibility of developers to mitigate distortions in both the training and use of AI models.