Muhtasari CISA imetangaza nyongeza mpya kwa mpango wake wa Secure by Design kwa kuanzishwa kwa nyanja za hali ya juu katika akili ya bandia (AI). Mpango huu unahakikisha usalama, usalama na kutegemewa kwa mifumo ya AI, haswa inapozidi kuunganishwa katika miundombinu muhimu na maombi ya usalama wa umma. Mojawapo ya njia bora zaidi za kutathmini na kuboresha uthabiti wa mifumo ya AI ni kupitia mchakato wa kuunganisha timu nyekundu ya AI, ambayo ni sehemu muhimu ya mkakati mpana unaojulikana kama Majaribio, Tathmini, Uthibitishaji na Uthibitishaji (TEVV). Mbinu hii, inayoungwa mkono na miongo kadhaa ya uzoefu katika majaribio ya usalama wa programu, inasisitiza umuhimu wa mbinu ya Usanifu Salama na inalenga kulinda dhidi ya hatari za kiufundi na kimaadili zinazohusiana na utumiaji wa AI. Wakala wa Usalama wa Mtandao na Miundombinu (CISA), kama mratibu wa kitaifa wa usalama muhimu wa miundombinu, imekuwa mstari wa mbele kukuza mbinu ya Usalama kwa Usanifu katika ukuzaji na majaribio ya mifumo ya AI. Mpango huu umeundwa ili kuhakikisha kuwa teknolojia za AI hazifanyi kazi tu bali pia ni sugu kwa unyonyaji na zinaweza kufanya kazi kwa usalama ndani ya mazingira changamano. Katika chapisho la hivi majuzi la blogu na Jonathan Spring, Naibu Afisa Mkuu wa AI, na Divjot Singh Bawa, Mshauri wa Mikakati, CISA inasisitiza umuhimu wa kuunganisha timu nyekundu ya AI katika mfumo ulioanzishwa wa programu ya TEVV. Upangaji wa timu nyekundu, katika muktadha wa AI, unarejelea tathmini za usalama na usalama za watu wengine wa mifumo ya AI. Ni sehemu ya mbinu pana zaidi ya msingi wa hatari inayojumuisha majaribio ya kina ili kufichua udhaifu na uwezekano wa kutofaulu. Kulingana na blogu ya CISA, upangaji wa timu nyekundu wa AI ni muhimu kwa kutambua udhaifu unaoweza kusababisha kushindwa vibaya, iwe kwa mashambulizi ya kimwili, mashambulizi ya mtandao, au hitilafu za mfumo zisizotarajiwa. Lengo la upimaji wa AI ni kutabiri jinsi mfumo wa AI unavyoweza kushindwa na kuendeleza mikakati ya kupunguza hatari hizo. Majaribio ya AI, Tathmini, Uthibitishaji, na Uthibitishaji (TEVV) TEVV, mbinu iliyoidhinishwa inayotumika kupima mifumo ya programu, sio muhimu tu bali ni muhimu kwa kutathmini mifumo ya AI. Licha ya baadhi ya dhana potofu, AI TEVV haipaswi kuonekana kuwa tofauti kabisa na programu ya TEVV. Kwa kweli, mifumo ya AI kimsingi ni mifumo ya programu, na kanuni za TEVV zinatumika moja kwa moja kwa tathmini za AI. Mbinu hii ni muhimu haswa kwani AI inazidi kuunganishwa katika sekta muhimu za usalama kama vile huduma ya afya, uchukuzi na anga. Mfumo wa TEVV umejengwa juu ya vipengele vitatu vya msingi: mtihani na tathmini ya mfumo, uthibitishaji wa programu, na uthibitishaji wa programu. Michakato hii inahakikisha kwamba programu, ikiwa ni pamoja na mifumo ya AI, hufanya kazi inavyokusudiwa, inakidhi viwango vya usalama, na kufanya kazi kwa kutegemewa katika hali mbalimbali. Mifumo ya AI, kama programu ya kitamaduni, lazima ijaribiwe kwa uthabiti ili kubaini uhalali (ikiwa mfumo hufanya kazi inavyotarajiwa) na kutegemewa (jinsi mfumo unavyofanya kazi vizuri chini ya hali tofauti). Kivinjari chako hakitumii lebo ya video. Mojawapo ya maoni potofu ya kawaida kuhusu mifumo ya AI ni kwamba asili yao ya uwezekano – ambayo inairuhusu kuzoea mabadiliko ya pembejeo na masharti – inaifanya kuwa tofauti kabisa na programu za kitamaduni. Walakini, AI na mifumo ya programu ya kitamaduni ni ya uwezekano wa asili, kama inavyoonyeshwa na maswala kama hali ya mbio kwenye programu, ambapo mabadiliko yanayoonekana kuwa madogo yanaweza kusababisha makosa muhimu. Makutano ya Programu na AI TEVV Dhana kwamba mifumo ya AI inahitaji mifumo mipya ya majaribio tofauti na programu ya TEVV ina dosari. Ingawa mifumo ya AI inaweza kuleta changamoto mpya, hasa kuhusu michakato yao ya kufanya maamuzi na tabia zinazoendeshwa na data, mbinu nyingi za majaribio zinazotumiwa katika usalama wa programu za kitamaduni zinasalia kuwa muhimu. Kwa mfano, mifumo ya AI lazima ifanyiwe majaribio sawa ili kuhakikisha kuwa ni thabiti dhidi ya pembejeo zisizotarajiwa, kuonyesha kutegemewa kwa muda, na kufanya kazi ndani ya mipaka salama. Dhana hizi si mpya lakini zimetumika kwa programu za kitamaduni kwa miongo kadhaa, haswa katika tasnia ambazo usalama ni muhimu. Chukua, kwa mfano, mifumo ya breki ya kiotomatiki katika magari ya kisasa. Mifumo hii inategemea AI kutafsiri data ya vitambuzi na kufanya maamuzi ya mgawanyiko katika hali muhimu, kama vile kugundua watembea kwa miguu au vizuizi. Ili kuhakikisha mifumo hii ni salama, wahandisi lazima wajaribu uimara wao chini ya hali mbalimbali, kuanzia hali ya barabara isiyotarajiwa hadi hitilafu za vitambuzi. Vile vile, mifumo ya AI, bila kujali ugumu wake, lazima ipitie tathmini sawa ili kuhakikisha usalama na kutegemewa kwake katika hali halisi ya ulimwengu. Jukumu la CISA katika Kuendeleza Timu Nyekundu ya AI na Usalama Uongozi wa CISA katika timu nyekundu ya AI na upimaji wa usalama ni muhimu kwani AI inazidi kuenea katika miundombinu muhimu. Shirika hilo ni mwanachama mwanzilishi wa Kikosi Kazi kipya cha Upimaji wa Hatari za AI kwa Usalama wa Kitaifa (TRAINS) Taskforce iliyoundwa hivi karibuni, ambayo inalenga kujaribu miundo ya hali ya juu ya AI inayotumika katika usalama wa kitaifa na muktadha wa usalama wa umma. Kikosi kazi kitazingatia kuunda mbinu mpya za tathmini za AI na vigezo ili kuhakikisha kuwa mifumo ya AI inakidhi viwango vya usalama wa kitaifa na inaweza kutumwa kwa usalama. Zaidi ya hayo, CISA inashiriki kikamilifu katika upimaji wa usalama wa AI baada ya kupelekwa. Hii ni pamoja na majaribio ya kupenya, kuchanganua uwezekano wa kuathiriwa, na majaribio ya usanidi wa mifumo ya AI iliyosambazwa katika taasisi zote za shirikisho na zisizo za shirikisho. Kadiri teknolojia za AI, hasa Miundo Kubwa ya Lugha (LLMs), zinavyounganishwa zaidi katika sekta mbalimbali, CISA inatarajia ongezeko la mahitaji ya huduma hizi za kupima usalama. Kando na juhudi zake za kiufundi, CISA inafanya kazi kwa karibu na Taasisi ya Kitaifa ya Viwango na Teknolojia (NIST) ili kukuza na kuboresha viwango vya upimaji wa usalama wa AI, ikitoa utaalamu wa jinsi ya kufanya viwango hivi vitekelezwe na vyema. Hitimisho Kadiri nyanja ya majaribio ya AI inavyoendelea kubadilika, kuunganisha timu nyekundu ya AI kwenye mfumo uliopo wa TEVV wa programu hutoa manufaa makubwa. Kwa kurekebisha mbinu za jadi za kupima usalama wa programu ili kushughulikia changamoto za kipekee zinazoletwa na AI, jumuiya ya majaribio inaweza kujenga juu ya mikakati iliyothibitishwa huku ikijumuisha zana na mbinu mpya mahususi kwa tathmini ya AI. Mbinu hii iliyoratibiwa husaidia kuokoa muda, rasilimali na juhudi kwa kuepuka kuundwa kwa michakato ya majaribio sambamba ambayo hatimaye inaweza kutoa matokeo sawa. Marejeleo Yanayohusiana