Chanzo: www.hackerone.com – Mwandishi: Dane Sherrets. Kuna tofauti gani kati ya timu nyekundu kwa usalama wa AI na usalama wa AI? AI Red timu ni aina ya upimaji wa AI kupata dosari na udhaifu, na njia inaweza kutumika kwa usalama wa AI na mazoezi ya usalama ya AI. Walakini, utekelezaji na malengo hutofautiana kutoka moja hadi nyingine. AI Red Timu ya maswala ya usalama inazingatia kuzuia mifumo ya AI kutoka kwa bidhaa zenye hatari, kama vile kutoa maagizo juu ya kuunda mabomu au kutoa lugha ya kukera. Inakusudia kuhakikisha matumizi ya uwajibikaji ya AI na kufuata viwango vya maadili. Kwa upande mwingine, mazoezi ya kushirikiana nyekundu kwa usalama wa AI yanajumuisha kupima mifumo ya AI kwa lengo la kuzuia watendaji wabaya kutumia vibaya AI, kwa mfano, kuathiri usiri, uadilifu, au upatikanaji wa mifumo ambayo AI imeingia. Usalama wa AI. Mfano: Snap, Inc. Snap Inc. amekuwa mpokeaji wa mapema wa AI Usalama Red Timung na ameshirikiana na Hackerone kujaribu usalama madhubuti ambao wameweka karibu na teknolojia hii mpya. Kwa pamoja, tumefanya maendeleo makubwa katika mbinu ya timu ya usalama wa AI ambayo imesababisha njia bora zaidi ya kutumia shida ambazo hazikujulikana hapo awali. Snap hutumia mifano ya AI inayounda picha ndani ya kurudi nyuma kwa mpango wake. Timu ya usalama ilikuwa tayari imegundua aina nane za picha mbaya ambazo walitaka kujaribu, pamoja na vurugu, jinsia, kujiumiza, na shida za kula. “Tulijua tunataka kufanya upimaji wa wapinzani kwenye bidhaa, na mtaalam wa usalama kwenye timu yetu alipendekeza mpango wa mtindo wa fadhila. Kutoka hapo, tuligundua wazo la kutumia zoezi la mtindo wa ‘kukamata bendera’ (CTF) ambalo lingechochea watafiti kutafuta maeneo yetu maalum ya wasiwasi. Kukamata mazoezi ya bendera ni zoezi la kawaida la cybersecurity, na CTF ilitumiwa kujaribu mifano kubwa ya lugha (LLMS) huko Defcon. Hatujaona hii inatumika kwa kujaribu mifano ya maandishi-kwa-picha lakini tulidhani inaweza kuwa na ufanisi. ”-Ilana Arbisser, Kiongozi wa Ufundi, Usalama wa AI huko Snap Inc. kwa kuweka fadhila, tulichochea jamii yetu kujaribu bidhaa, na Kuzingatia snap ya yaliyomo ilikuwa na wasiwasi zaidi juu ya kuzalishwa kwenye jukwaa lao. Snap na Hackerone ilirekebisha bouties kwa nguvu na iliendelea kujaribu bei ya kuongeza kwa ushiriki wa watafiti. Zoezi hilo liliweza kutoa SNAP mchakato ambao unaweza kujaribu vichungi vyao na kutoa data ambayo inaweza kutumika kutathmini zaidi mfano. Tunatarajia utafiti na matokeo ya baadaye ya kusaidia kuunda alama na viwango kwa kampuni zingine za media za kijamii kutumia bendera zile zile kujaribu kwa yaliyomo. Mfano wa Usalama wa AI: Google Bard Katika zoezi la kushirikiana nyekundu kwa Usalama wa AI, watekaji nyara Joseph “Rez0” Thacker, Justin “Rhynorater” Gardner, na Roni “Lupine” Carta walishirikiana kwa pamoja ili kuvinjari msaidizi wake wa Genai, Bard. Uzinduzi wa kipengee cha AI cha upanuzi wa Bard kinatoa Bard na ufikiaji wa Hifadhi ya Google, Hati za Google, na Gmail. Hii inamaanisha kuwa Bard angeweza kupata habari inayotambulika kibinafsi (PII) na inaweza kusoma barua pepe, hati za kuendesha, na maeneo. Hackare waligundua kuwa inachambua data isiyoaminika na inaweza kuhusika na sindano ya haraka ya moja kwa moja, ambayo inaweza kutolewa kwa watumiaji bila idhini yao. Katika chini ya masaa 24 kutoka kwa uzinduzi wa upanuzi wa Bard, watekaji nyara waliweza kuonyesha kuwa: Google Bard iko katika hatari ya sindano ya haraka ya moja kwa moja kupitia data kutoka kwa viongezeo. Maagizo mabaya ya sindano ya haraka ya picha yatatumia udhaifu huo. Wakati wa kuandika unyonyaji, malipo ya sindano ya haraka yalitengenezwa ambayo yangeongeza barua pepe za mwathiriwa. Pamoja na athari kubwa kama kuzidisha kwa barua pepe za kibinafsi, watapeli waliripoti mara moja hatari hii kwa Google, ambayo ilisababisha fadhila $ 20,000. Mende kama hii tu hua uso wa udhaifu wa usalama unaopatikana katika Genai. Mashirika yanayoendeleza na kupeleka Genai na LLM yanahitaji talanta ya usalama ambayo inataalam katika OWASP TOP 10 kwa LLMS ikiwa watakuwa wazuri juu ya kuitambulisha kwa ushindani na salama. AI Red Timu ya Usalama na Usalama na Hackerone kwa kutumia utaalam wa watapeli wa maadili na kurekebisha mfano wa fadhila ya mdudu kushughulikia usalama na usalama wa AI, Kitabu cha kucheza cha Hackerone cha AI Red timu ni njia ya haraka ya kuimarisha AI wakati wa kupunguza hatari zinazowezekana. Kwa viongozi wa teknolojia na usalama wanaoingia katika ujumuishaji wa AI, tunatarajia kushirikiana na wewe kuchunguza jinsi Hackerone na watekaji wa maadili wanaweza kuchangia safari yako ya usalama ya AI. Ili kupata maelezo zaidi juu ya jinsi ya kutekeleza AI Red Timu ya shirika lako, wasiliana na wataalam wetu huko Hackerone.