Chanzo: www.hackerone.com – Mwandishi: Michiel Prins. Utabiri wa hatari za baadaye katika uwasilishaji wa hivi karibuni huko Black Hat 2023, mwanzilishi wa Hackerone, Michiel Prins, na Hacker, Joseph Thacker aka @rez0, walijadili utabiri wa hatari zaidi unaohusiana na AI na LLMs, pamoja na: Kuongezeka kwa hatari ya uvunjaji wa hasara zinazoweza kuzuia hasara ya mapato na sifa ya chapa iliongezeka gharama ya kufuata sheria ilipunguza ushindani uliopunguza ROI juu ya uwekezaji wa uwekezaji wa maendeleo Herman Satkauskas pia anasema kwamba, wakati AI imepunguza kizuizi cha kuingia kwa watapeli wa maadili, “Washambuliaji mbaya pia watagundua kuwa wana vifaa vya ovyo wao Kufanya mtandao wa mtandao. ” Hatari ya juu ya AI na hatari ya LLM kulingana na watapeli kulingana na Hacker Gavin Klondike, “karibu tumesahau miaka 30 iliyopita ya masomo ya cybersecurity katika kukuza programu hii.” Haraka ya kupitishwa kwa GAI imeongeza uamuzi wa mashirika mengi linapokuja suala la usalama wa akili bandia. Mtafiti wa usalama Katie Paxton-fear aka @insiderphd, anaamini, “Hii ni fursa nzuri ya kuchukua hatua nyuma na kuoka usalama wakati hii inaendelea na sio kuweka usalama miaka 10 baadaye.” Sindano za haraka OWASP Juu 10 kwa LLM inafafanua sindano ya haraka kama hatari wakati mshambuliaji husababisha operesheni ya LLM inayoaminika kupitia pembejeo zilizoundwa, moja kwa moja au moja kwa moja. Paxton-kuogopa anaonya juu ya sindano ya haraka, akisema: “Kama tunavyoona teknolojia imekomaa na inakua katika ugumu, kutakuwa na njia zaidi za kuivunja. Tayari tunaona udhaifu maalum kwa mifumo ya AI, kama vile sindano ya haraka au kupata mfano wa AI kukumbuka data ya mafunzo au sumu ya data. Tunahitaji AI na akili ya mwanadamu kushinda changamoto hizi za usalama. ” Thacker hutumia mfano huu kusaidia kuelewa nguvu ya sindano ya haraka: “Ikiwa mshambuliaji hutumia sindano ya haraka kuchukua udhibiti wa muktadha wa simu ya kazi ya LLM, wanaweza kumaliza data kwa kupiga simu ya kivinjari cha wavuti na kusonga data ambayo imehamishwa hadi upande wa mshambuliaji. Au, mshambuliaji anaweza kutuma barua pepe ya malipo ya haraka kwa LLM iliyopewa kazi ya kusoma na kujibu barua pepe. ” Mtaalam wa maadili, Roni Carta aka @arsene_lupin, anasema kwamba ikiwa watengenezaji wanatumia Chatgpt kusaidia kusanikisha vifurushi vya haraka kwenye kompyuta zao, wanaweza kuingia kwenye shida wakati wanaiuliza kupata maktaba. Carta anasema, “Chatgpt hallucinates majina ya maktaba, ambayo vitisho watendaji wanaweza kuchukua fursa kwa kurudisha nyuma maktaba bandia.” Kulingana na Thacker, “Jury iko nje ikiwa inaelezewa au sio, lakini kibinafsi, nadhani ni hivyo.” Anasema kupunguza inategemea utekelezaji na kupelekwa kwa sindano ya haraka na, “Kwa kweli, kwa kupima.” Udhibiti wa Upataji wa Wakala “LLM ni nzuri kama data zao,” anasema Thacker. “Takwimu muhimu sana mara nyingi ni data ya kibinafsi.” Kulingana na Thacker, hii inaleta shida ngumu sana katika mfumo wa udhibiti wa ufikiaji wa wakala. Maswala ya udhibiti wa ufikiaji ni udhaifu wa kawaida unaopatikana kupitia jukwaa la Hackerone kila siku. Ambapo udhibiti wa ufikiaji huenda vibaya sana kuhusu mawakala wa AI ni mchanganyiko wa data. Thacker anasema mawakala wa AI wana tabia ya kuchanganya ufikiaji wa data ya pili na vitendo vya upendeleo, kufunua habari nyeti zaidi kwa uwezekano wa kutumiwa na watendaji wabaya. Mageuzi ya Hacker katika Enzi ya AI ya Uzalishaji kwa kawaida, kwani udhaifu mpya unaibuka kutoka kwa kupitishwa kwa haraka kwa AI ya uzalishaji na LLMS, jukumu la hacker pia linajitokeza. Wakati wa jopo lililo na wataalam wa usalama kutoka Zoom na Uuzaji wa mauzo, mpelelezi Tom Anthony alitabiri mabadiliko ya jinsi michakato ya kukaribiana na AI: “Katika hafla ya hivi karibuni ya utapeli na Zoom, kulikuwa na mayai ya Pasaka kwa watapeli kupata – na mpigaji aliyetatua Kutumika LLMS kuivunja. Hackare wana uwezo wa kutumia AI kuharakisha michakato yao, kwa mfano, kupanua haraka orodha za maneno wakati wa kujaribu mifumo ya nguvu ya nguvu. ” Anahisi pia tofauti tofauti kwa watapeli wanaotumia automatisering, akidai AI itaongeza sana usomaji wa nambari ya chanzo. Anthony anasema, “Mahali popote ambapo kampuni zinaonyesha nambari ya chanzo, kutakuwa na mifumo ya kusoma, kuchambua, na kuripoti kwa mtindo wa kiotomatiki.” Hacker Jonathan Bouman hutumia Chatgpt kusaidia teknolojia za kuvinjari ambazo hajiamini sana. “Naweza kubonyeza programu za wavuti lakini sio kuvunja lugha mpya za uandishi, ambayo ilikuwa changamoto katika hafla moja ya utapeli wa moja kwa moja. Nilinakili na kubandika nyaraka zote zilizotolewa (kuondoa marejeleo yote kwa kampuni), nikaipa miundo yote, na nikaiuliza ‘ungeanza wapi?’ Ilichukua hatua chache kuhakikisha kuwa haikuwa ya kupendeza, na ilitoa mende chache za kiwango cha chini. Kwa sababu nilikuwa katika chumba na watapeli wa maadili 50, niliweza kushiriki matokeo yangu na timu pana, na tukazidisha mende mbili hizo kwenye udhaifu mkubwa. Sikuweza kuifanya bila Chatgpt, lakini sikuweza kufanya athari nilifanya bila jamii ya utapeli. ” Kuna vifaa vipya hata vya elimu ya utapeli wa LLM – na kwa hivyo kwa kutambua udhaifu ulioundwa nao. Anthony hutumia “Mchezo wa mkondoni kwa sindano ya haraka ambapo unafanya kazi kupitia viwango, ukidanganya mfano wa GPT kukupa siri. Yote inaendelea haraka sana. ” Jinsi AI inaonyesha thamani ya fadhila ya mdudu sio siri kuwa viongozi wa usalama wanakabiliwa na kazi ngumu ya kuelezea thamani ya mipango yao ya usalama kwa wadau na washiriki wa bodi. Na moja ya vipande vya hila zaidi vya kuonyesha kwamba thamani hiyo ni kulinganisha ni kiasi gani fadhila ya mdudu dhidi ya ni kiasi gani mdudu huo ungegharimu mikononi mwa cybercriminal. Jamii yetu ya wahusika inatumia AI kudhibitisha thamani hiyo. Kulingana na Satkauskas, “Nilijaribu majaribio ambapo ninapakia usalama wa kupata Chatgpt na kuuliza ‘Je! Udhaifu huu ungegharimu kampuni kiasi gani ikiwa iko mikononi?’ Chatgpt inaweza kutoa makisio ya mpira, ikimaanisha kuwa ni rahisi sana kufanya kesi ya athari ya kupatikana katika ripoti yako. ” Kulingana na Ripoti ya Usalama ya Mwaka ya Hacker ya Mwaka, fadhila ya wastani ya viwanda katika tasnia ni $ 1,000 na $ 3,700 kwa udhaifu mkubwa na muhimu. Unapofikiria athari za kifedha za data ya upotezaji inayowezeshwa na Genai, unaweza kuanza kukadiria thamani halisi ya uzoefu wa wahusika wa maadili huko Genai ili kupata shirika lako. Tumia nguvu ya watapeli kwa AI ya uzalishaji salama hata mipango ya usalama wa kisasa zaidi haiwezi kupata kila hatari. Hackerone imejitolea kusaidia mashirika kupata GAI yao na LLMS na kukaa mstari wa mbele katika mwenendo wa usalama na changamoto. Na Hackerone, mashirika yanaweza: Wasiliana nasi leo ili kujifunza zaidi juu ya jinsi tunaweza kusaidia kuchukua njia salama ya AI ya uzalishaji. URL ya chapisho la asili: https://www.hackerone.com/blog/hacker-perpection-generative-ai-and-cybersecurity