Mfumo wa ustawi wa kimaadili wa Uswidi unalenga isivyo uwiano makundi yaliyotengwa katika jamii ya Uswidi kwa uchunguzi wa ulaghai wa manufaa, na lazima usitishwe mara moja, Amnesty International imesema. Uchunguzi uliochapishwa na Lighthouse Reports na Svenska Dagbladet (SvB) tarehe 27 Novemba 2024 uligundua kuwa mfumo wa kujifunza kwa mashine (ML) unaotumiwa na Försäkringskassan, Wakala wa Bima ya Kijamii ya Uswidi, unaripoti kwa njia isiyo sawa makundi fulani kwa uchunguzi zaidi kuhusu ulaghai wa manufaa ya kijamii, ikiwa ni pamoja na wanawake. , watu binafsi walio na malezi ya “kigeni,” wenye kipato cha chini na watu wasio na digrii za chuo kikuu. Kulingana na uchanganuzi wa data ya jumla kuhusu matokeo ya uchunguzi wa ulaghai ambapo kesi ziliripotiwa na algoriti, uchunguzi pia uligundua kuwa mfumo haukuwa na ufanisi katika kutambua wanaume na matajiri ambao kwa hakika walifanya aina fulani ya ulaghai katika hifadhi ya jamii. Ili kugundua ulaghai wa manufaa ya kijamii, mfumo unaoendeshwa na ML – ulioanzishwa na Försäkringskassan mwaka wa 2013 – hutoa alama za hatari kwa waombaji wa hifadhi ya jamii, ambayo kisha itaanzisha uchunguzi kiotomatiki ikiwa alama ya hatari iko juu vya kutosha. Wale walio na alama za hatari zaidi wanarejelewa kwa idara ya “udhibiti” ya wakala, ambayo inachukua kesi ambapo kuna tuhuma za nia ya uhalifu, huku wale walio na alama za chini wakipelekwa kwa wafanyikazi wa kesi, ambapo wanachunguzwa bila kudhaniwa kuwa na nia ya uhalifu. Kesi zinaporipotiwa kwa wachunguzi wa ulaghai, basi wana uwezo wa kupitia akaunti za mitandao ya kijamii za mtu, kupata data kutoka kwa taasisi kama vile shule na benki, na hata kuwahoji majirani wa mtu binafsi kama sehemu ya uchunguzi wao. Wale waliotiwa alama kimakosa na mfumo wa hifadhi ya jamii wamelalamika kwamba wanaishia kukabiliwa na ucheleweshaji na vikwazo vya kisheria katika kupata haki zao za ustawi. “Mfumo mzima ni sawa na uwindaji wa wachawi dhidi ya mtu yeyote ambaye ameripotiwa kwa uchunguzi wa ulaghai wa manufaa ya kijamii,” alisema David Nolan, mtafiti mkuu wa Amnesty Tech. “Moja ya maswala kuu na AI [artificial intelligence] mifumo inayotumwa na mashirika ya hifadhi ya jamii ni kwamba inaweza kuzidisha ukosefu wa usawa uliokuwepo hapo awali na ubaguzi. Mara tu mtu anaporipotiwa, anashukiwa kushukiwa tangu mwanzo. Hii inaweza kudhalilisha sana utu. Huu ni mfano wa wazi wa haki ya watu ya kupata hifadhi ya jamii, usawa na kutobaguliwa, na ufaragha unaokiukwa na mfumo ambao unapendelea waziwazi.” Jaribio dhidi ya vipimo vya haki Kwa kutumia data ya jumla – ambayo iliwezekana tu kwa vile Wakaguzi wa Usalama wa Jamii wa Uswidi (ISF) walikuwa wameomba data sawa hapo awali – SvB na Lighthouse Reports ziliweza kupima mfumo wa algoriti dhidi ya vipimo sita vya kawaida vya usawa wa takwimu, ikiwa ni pamoja na usawa wa idadi ya watu. , usawa wa kutabiri na viwango chanya vya uwongo. Walibaini kuwa ingawa matokeo ya utafiti yalithibitisha kuwa mfumo wa Uswidi unalenga kwa usawa vikundi ambavyo tayari vimetengwa katika jamii ya Uswidi, Försäkringskassan haijawa wazi kabisa juu ya utendaji wa ndani wa mfumo huo, baada ya kukataa maombi kadhaa ya uhuru wa habari (FOI) yaliyowasilishwa na wachunguzi. . Waliongeza kuwa walipowasilisha uchanganuzi wao kwa Anders Viseth, mkuu wa uchanganuzi wa Försäkringskassan, hakuhoji, na badala yake alisema hakuna tatizo lililotambuliwa. “Chaguzi tunazofanya, hatuzingatii kuwa ni hasara,” alisema. “Tunaangalia kesi za kibinafsi na kuzitathmini kulingana na uwezekano wa makosa na wale waliochaguliwa wanapata kesi ya haki. Mifano hizi zimethibitisha kuwa kati ya sahihi zaidi tulizo nazo. Na tunapaswa kutumia rasilimali zetu kwa njia ya gharama nafuu. Wakati huo huo, hatubagui mtu yeyote, bali tunafuata sheria ya ubaguzi.” Computer Weekly iliwasiliana na Försäkringskassan kuhusu uchunguzi na wito uliofuata wa Amnesty wa kutaka mfumo huo usitishwe. “Försäkringskassan ina jukumu kubwa la kuzuia vitendo vya uhalifu vinavyolenga mfumo wa usalama wa kijamii wa Uswidi,” msemaji wa shirika hilo alisema. “Mfumo huu wa mashine ya kujifunza ni mojawapo ya zana kadhaa zinazotumiwa kulinda pesa za walipa kodi wa Uswidi. “Muhimu, mfumo unafanya kazi kwa kufuata kikamilifu sheria za Uswidi. Inafaa kukumbuka kuwa mfumo haualamii watu binafsi bali programu mahususi. Zaidi ya hayo, kualamishwa hakuleti uchunguzi kiotomatiki. Na ikiwa mwombaji ana haki ya kupata manufaa, atayapokea bila kujali kama maombi yake yalitiwa alama. Tunaelewa nia ya uwazi; hata hivyo, kufichua maelezo mahususi ya jinsi mfumo unavyofanya kazi kunaweza kuwezesha watu binafsi kukwepa utambuzi. Msimamo huu umeidhinishwa na Mahakama ya Rufaa ya Utawala (Stockholms Kammarrätt, kesi nambari 7804-23).” Nolan alisema ikiwa utumiaji wa mfumo huo utaendelea, basi Uswidi inaweza kuingia katika kashfa sawa na ile ya Uholanzi, ambapo viongozi wa ushuru walitumia kanuni za uwongo kuwashtaki makumi ya maelfu ya wazazi na walezi kutoka kwa familia nyingi za kipato cha chini kwa udanganyifu, ambao pia iliwadhuru isivyo sawa watu kutoka makabila madogo. “Kwa kuzingatia majibu yasiyoeleweka kutoka kwa mamlaka ya Uswidi, kutoturuhusu kuelewa utendaji wa ndani wa mfumo, na muundo usio wazi wa marufuku ya alama za kijamii chini ya Sheria ya AI, ni ngumu kuamua ni wapi mfumo huu mahususi ungeanguka chini ya AI. Sheria ya uainishaji wa mifumo ya AI kulingana na hatari,” alisema. “Hata hivyo, kuna ushahidi wa kutosha kupendekeza kuwa mfumo huo unakiuka haki ya usawa na kutobaguliwa. Kwa hivyo, mfumo lazima usitishwe mara moja.” Chini ya Sheria ya AI – ambayo ilianza kutumika tarehe 1 Agosti 2024 – matumizi ya mifumo ya AI na mamlaka ya umma ili kuamua upatikanaji wa huduma muhimu za umma na manufaa lazima yafikie sheria kali za kiufundi, uwazi na utawala, ikiwa ni pamoja na wajibu wa wasambazaji kutekeleza tathmini ya hatari za haki za binadamu na kuhakikisha kuna hatua za kupunguza kabla ya kuzitumia. Mifumo mahususi ambayo inachukuliwa kuwa zana za kuweka alama za kijamii ni marufuku. ISF ya Uswidi ilipatikana hapo awali mnamo 2018 kwamba algorithm inayotumiwa na Försäkringskassan “katika muundo wake wa sasa. [the algorithm] haifikii matibabu sawa”, ingawa shirika hilo lilirudi nyuma wakati huo kwa kusema kuwa uchanganuzi huo ulikuwa na dosari na msingi wa sababu za kutilia shaka. Afisa wa ulinzi wa data ambaye hapo awali alifanya kazi katika shirika la Försäkringskassan pia alionya mwaka wa 2020 kwamba utendakazi wa mfumo huo unakiuka Kanuni ya Ulinzi ya Data ya Ulaya, kwa sababu mamlaka hiyo haina msingi wa kisheria wa kuorodhesha watu. Mnamo tarehe 13 Novemba, Amnesty International ilifichua jinsi zana za AI zinazotumiwa na wakala wa ustawi wa Denmark zinavyounda ufuatiliaji mbaya wa watu wengi, kuhatarisha ubaguzi dhidi ya watu wenye ulemavu, makundi yenye ubaguzi wa rangi, wahamiaji na wakimbizi.