Kadiri wachapishaji zaidi wanavyopunguza mikataba ya utoaji leseni ya maudhui na OpenAI ya kutengeneza ChatGPT, utafiti uliotolewa wiki hii na Kituo cha Tow kwa Uandishi wa Habari Dijiti – kuangalia jinsi gumzo la AI linavyotoa manukuu (yaani vyanzo) kwa maudhui ya wachapishaji – hufanya ya kuvutia, au, vizuri, kuhusu, kusoma. Kwa kifupi, matokeo yanapendekeza kuwa wachapishaji wasalie katika huruma ya mwelekeo wa zana genereshi wa AI wa kubuni au vinginevyo kupotosha taarifa, bila kujali kama wanaruhusu OpenAI kutambaa maudhui yao au la. Utafiti huo, uliofanywa katika Shule ya Uandishi wa Habari ya Columbia, ulichunguza manukuu yaliyotolewa na ChatGPT baada ya kuulizwa kubainisha chanzo cha sampuli za nukuu zilizotolewa kutoka kwa mchanganyiko wa wachapishaji – ambao baadhi yao walikuwa na mikataba iliyotiwa wino na OpenAI na wengine ambao hawakuwa. Kituo kilichukua manukuu kutoka kwa hadithi 10 kila moja zinazotolewa na jumla ya wachapishaji 20 waliochaguliwa bila mpangilio (kwa hivyo manukuu 200 tofauti kwa wote) – ikiwa ni pamoja na maudhui kutoka The New York Times (ambayo kwa sasa inaishtaki OpenAI katika dai la hakimiliki); Washington Post (ambayo haihusiani na mtengenezaji wa ChatGPT); Financial Times (ambalo limetia wino mkataba wa leseni); na wengine. “Tulichagua nukuu ambazo, ikiwa zingebandikwa kwenye Google au Bing, zingerudisha nakala ya chanzo kati ya matokeo matatu ya juu na kutathmini kama zana mpya ya utafutaji ya OpenAI ingetambua kwa usahihi nakala ambayo ilikuwa chanzo cha kila nukuu,” waliandika watafiti wa Tow Klaudia Jaźwińska na Aisvarya Chandrasekar katika chapisho la blogi akielezea mbinu yao na muhtasari wa matokeo yao. “Tulichopata hakikuwa cha kuahidi kwa wachapishaji wa habari,” wanaendelea. “Ingawa OpenAI inasisitiza uwezo wake wa kuwapa watumiaji ‘majibu kwa wakati na viungo vya vyanzo vya wavuti vinavyofaa,’ kampuni haitoi ahadi ya wazi ya kuhakikisha usahihi wa manukuu hayo. Hili ni jambo lisilowezekana kwa wachapishaji wanaotarajia maudhui yao kurejelewa na kuwakilishwa kwa uaminifu.” “Majaribio yetu yaligundua kuwa hakuna mchapishaji – bila kujali kiwango cha ushirika na OpenAI – aliyeepushwa na uwasilishaji usio sahihi wa maudhui yake katika ChatGPT,” waliongeza. Upatikanaji usiotegemewa Watafiti wanasema walipata matukio “nyingi” ambapo maudhui ya wachapishaji yalitajwa kwa njia isiyo sahihi na ChatGPT – pia kutafuta kile wanachokiita “wigo wa usahihi katika majibu”. Kwa hivyo ingawa walipata “baadhi” ya manukuu sahihi kabisa (yaani, kumaanisha ChatGPT ilirejesha kwa usahihi mchapishaji, tarehe, na URL ya nukuu ya kizuizi iliyoshirikiwa nayo), kulikuwa na “manukuu” mengi ambayo hayakuwa sahihi kabisa; na “baadhi” iliyoanguka mahali fulani katikati. Kwa kifupi, manukuu ya ChatGPT yanaonekana kuwa mfuko mchanganyiko usiotegemewa. Watafiti pia walipata matukio machache sana ambapo chatbot haikuonyesha imani kamili katika majibu yake (mabaya). Baadhi ya nukuu zilitolewa kutoka kwa wachapishaji ambao wamezuia vitambazaji vya utafutaji vya OpenAI. Katika visa hivyo, watafiti wanasema walikuwa wakitarajia kuwa itakuwa na maswala ya kutoa nukuu sahihi. Lakini walipata hali hii ilizua suala jingine – kwani bot “mara chache” ‘ilishindwa kutoa jibu. Badala yake, ilirudi kwenye uchanganyaji ili kutoa vyanzo vingine (ingawa, vyanzo visivyo sahihi). “Kwa jumla, ChatGPT ilirejesha sehemu au majibu yasiyo sahihi kabisa katika matukio ya 153, ingawa ilikubali tu kutokuwa na uwezo wa kujibu swali mara saba,” walisema watafiti. “Ni katika matokeo hayo saba pekee ambapo chatbot ilitumia maneno na vifungu vinavyofaa kama vile ‘inaonekana,’ ‘inawezekana,’ au ‘huenda,’ au kauli kama ‘Sikuweza kupata makala kamili’.” Wanalinganisha hali hii isiyofurahisha na utafutaji wa kawaida wa mtandaoni ambapo injini ya utafutaji kama Google au Bing kwa kawaida inaweza kupata dondoo halisi, na kumwelekeza mtumiaji kwenye tovuti/s ambapo aliipata, au kusema kuwa hawakupata matokeo yanayolingana kabisa. . “Kutokuwa na uwazi wa ChatGPT kuhusu imani yake katika jibu kunaweza kufanya iwe vigumu kwa watumiaji kutathmini uhalali wa dai na kuelewa ni sehemu gani za jibu wanaweza au hawawezi kuamini,” wanabishana. Kwa wachapishaji, kunaweza pia kuwa na hatari za sifa zinazotokana na nukuu zisizo sahihi, wanapendekeza, pamoja na hatari ya kibiashara ya wasomaji kuelekezwa mahali pengine. Data iliyoainishwa na muktadha Utafiti pia unaangazia suala jingine. Inapendekeza ChatGPT inaweza kimsingi kuwa wizi wa malipo. Watafiti wanasimulia kisa ambapo ChatGPT ilinukuu kimakosa tovuti ambayo ilikuwa imeiba kipande cha uandishi wa habari “ulioripotiwa kwa kina” wa New York Times, yaani, kwa kunakili maandishi bila maelezo, kama chanzo cha hadithi ya NYT – ikikisia kwamba, katika kesi hiyo. , roboti inaweza kuwa imetoa jibu hili la uwongo ili kujaza pengo la maelezo lililotokana na kutokuwa na uwezo wa kutambaa kwenye tovuti ya NYT. “Hii inazua maswali mazito kuhusu uwezo wa OpenAI wa kuchuja na kuthibitisha ubora na uhalisi wa vyanzo vyake vya data, hasa inaposhughulikia maudhui yasiyo na leseni au yaliyoidhinishwa,” wanapendekeza. Katika matokeo zaidi ambayo huenda yakawahusu wachapishaji ambao wameweka wino mikataba na OpenAI, utafiti uligundua kuwa manukuu ya ChatGPT hayakuwa ya kutegemewa kila wakati katika hali zao pia – kwa hivyo kuwaruhusu watambazaji wake waingie hakuonekani kuwa hakikisho la usahihi. Watafiti wanahoji kuwa suala la msingi ni teknolojia ya OpenAI inachukulia uandishi wa habari “kama maudhui yaliyopunguzwa muktadha”, bila kujali kidogo mazingira ya utayarishaji wake wa asili. Suala jingine ambalo bendera za utafiti ni tofauti za majibu ya ChatGPT. Watafiti walijaribu kuuliza swali moja la bot mara kadhaa na wakapata “kawaida ilirudisha jibu tofauti kila wakati”. Ingawa hiyo ni kawaida ya zana za GenAI, kwa ujumla, katika muktadha wa manukuu kutoendana kama hiyo ni muhimu sana ikiwa ni usahihi unaofuata. Ingawa utafiti wa Tow ni mdogo – watafiti wanakubali kwamba majaribio “makali zaidi” yanahitajika – hata hivyo ni muhimu kuzingatia mikataba ya hali ya juu ambayo wachapishaji wakuu wanashughulika kukata na OpenAI. Ikiwa biashara za media zilitarajia kuwa mipangilio hii ingesababisha utunzaji maalum kwa maudhui yao dhidi ya washindani, angalau katika suala la kutoa vyanzo sahihi, utafiti huu unapendekeza OpenAI bado haijatoa uthabiti kama huo. Ingawa wachapishaji ambao hawana mikataba ya leseni lakini pia hawajawazuia moja kwa moja watambazaji wa OpenAI – labda kwa matumaini ya angalau kupata trafiki wakati ChatGPT itarejesha maudhui kuhusu hadithi zao – utafiti hufanya usomaji usiofaa pia, kwa kuwa manukuu yanaweza yasieleweke. sahihi katika kesi zao ama. Kwa maneno mengine, hakuna “mwonekano” wa uhakika kwa wachapishaji katika injini ya utafutaji ya OpenAI hata wanaporuhusu watambaji wake kuingia. Wala kuzuia kabisa watambaji hakumaanishi kuwa wachapishaji wanaweza kujiokoa kutokana na hatari za uharibifu wa sifa kwa kuepuka kutajwa kwa hadithi zao kwenye ChatGPT. Utafiti huo uligundua kuwa bot bado inahusishwa vibaya na nakala na New York Times licha ya kesi inayoendelea, kwa mfano. ‘Wakala wa maana kidogo’ Watafiti walihitimisha kuwa kwa hali ilivyo, wachapishaji wana “wakala wa maana kidogo” juu ya kile kinachotokea na kwa maudhui yao wakati ChatGPT inapopata mikono yake juu yake (moja kwa moja au, vizuri, kwa njia isiyo ya moja kwa moja). Chapisho la blogi linajumuisha jibu kutoka kwa OpenAI kwa matokeo ya utafiti – ambayo inawashutumu watafiti kwa kuendesha “jaribio lisilo la kawaida la bidhaa zetu”. “Tunasaidia wachapishaji na watayarishi kwa kusaidia watumiaji milioni 250 wa kila wiki wa ChatGPT kugundua maudhui bora kupitia muhtasari, nukuu, viungo wazi na maelezo,” OpenAI pia iliwaambia, na kuongeza: “Tumeshirikiana na washirika kuboresha usahihi wa manukuu ya mtandaoni na heshimu mapendeleo ya mchapishaji, ikiwa ni pamoja na kuwezesha jinsi yanavyoonekana katika utafutaji kwa kudhibiti OAI-SearchBot katika robots.txt yao. Tutaendelea kuboresha matokeo ya utafutaji.”