Robert Triggs / Android Mamlaka ya AI inaweza kuwa ya kuvutia, lakini ninatamani usalama ulioongezwa ambao tu nje ya mkondo, usindikaji wa ndani hutoa, haswa kwa kuzingatia data ya watumiaji wa Deepseek kurudi China. Kuchukua nafasi ya Copilot na Deepseek kwenye kompyuta yangu ndogo jana ilinifanya nishangae ikiwa ningeweza kuendesha mifano kubwa ya lugha nje ya mkondo kwenye smartphone yangu pia. Baada ya yote, simu za leo za bendera zinadai kuwa na nguvu nyingi, zina mabwawa ya RAM, na zimetoa viboreshaji vya AI ambavyo PC za kisasa zaidi au GPU za gharama kubwa zinaweza bora. Hakika, inaweza kufanywa., Inageuka kuwa unaweza kuendesha toleo lililofupishwa la Deepseek (na mifano mingine mingi ya lugha) ndani ya simu yako bila kushonwa kwenye unganisho la mtandao. Wakati majibu sio ya haraka au sahihi kama ile ya mfano wa wingu kamili, simu nilizojaribu zinaweza kumaliza majibu kwa kasi ya kusoma, na kuzifanya ziweze kutumika. Kwa kweli, mifano ndogo bado ni nzuri katika kusaidia kutatua shida, kuelezea mada ngumu, na hata kutengeneza nambari ya kufanya kazi, kama ndugu yake mkubwa. Je! Unavutiwa na Model ya Deepseek’s AI? 5073 Votesyes, tayari ninaitumia kwenye PC yangu, simu, au zote mbili.33%nitaenda kujaribu sasa.17%Nina macho yangu juu yake, lakini mimi T nilijaribu bado.31% No.19% Nimevutiwa sana na matokeo, kwa kuwa inaendesha kitu kinachofaa mfukoni mwangu. Siwezi kupendekeza kwamba nyinyi nyote nipigie kuninakili, lakini wale ambao wanavutiwa sana na mazingira ya AI yanayoendelea yanapaswa kujaribu kujaribu mifano ya wenyewe. Ma maumivu, na uzoefu sio mshono kama kutumia Gemini ya Google. Wakati wangu uliotumika kuchimba na kunyoa pia umebaini kuwa simu mahiri sio mazingira ya kupendeza zaidi ya kujaribu au kuunda zana mpya za AI. Hiyo itahitaji kubadilika ikiwa tutaweza kuwa na soko la ushindani kwa programu za AI zinazolazimisha, kuruhusu watumiaji kujitenga na vifijo vya leo vya OEM. Aina za mitaa zinaendesha vizuri kwenye Android, lakini kuziweka sio kwa wenye moyo dhaifu. Kwa kushangaza, utendaji haukuwa suala hapa; Smartphones za wasomi wa Snapdragon 8 za wasomi nilijaribu kukimbia kwa kiwango cha kawaida cha mifano saba na bilioni nane za kushangaza kwenye CPU yao, na kasi ya pato la ishara 11 kwa sekunde-haraka kidogo kuliko watu wengi wanaweza kusoma. Unaweza hata kuendesha parameta ya bilioni 14 ikiwa una RAM ya kutosha, ingawa matokeo yanaanguka kwa ishara sita zinazoweza kupita kwa sekunde. Walakini, kukimbia LLMS ni ngumu zaidi ambayo nimesukuma CPU za kisasa za smartphone nje ya alama, na husababisha vifaa vya joto vyenye joto. Kwa bahati mbaya, hata Pixel 7 Pro inaweza kuendesha mifano ndogo ya paramu bilioni tatu, kama Meta’s Llama3.2, huko Ishara tano zinazoweza kupita kwa sekunde, lakini kujaribu Deepseek kubwa ni kusukuma kikomo cha kile simu za zamani zinaweza kufanya. Kwa bahati mbaya, kwa sasa hakuna kasi ya NPU au GPU inayopatikana kwa smartphone yoyote kwa kutumia njia nilizojaribu, ambazo zinaweza kutoa simu za zamani risasi halisi kwenye mkono. Kama hivyo, mifano mikubwa sio ya kwenda kabisa, hata kwenye chips zenye nguvu zaidi za Android. Bila ufikiaji wa mtandao au kazi za msaidizi, wachache watapata LLM muhimu sana peke yao. Hata na vifaa vya kisasa vya nguvu, nadhani idadi kubwa ya watu watapata kesi za matumizi ya kuendesha LLM kwenye simu zao kuwa ndogo sana. Mitindo ya kuvutia kama Deepseek, Llama, na PHI ni wasaidizi wakuu kwa kufanya kazi kwenye miradi mikubwa ya PC, lakini utajitahidi kutumia uwezo wao kwenye smartphone ndogo. Hivi sasa, katika fomu ya simu, hawawezi kupata mtandao au kuingiliana na kazi za nje kama njia za Msaidizi wa Google, na ni ndoto ya kupitisha hati za muhtasari kupitia mstari wa amri. Kuna sababu ya bidhaa za simu ni kuingiza zana za AI kwenye programu kama nyumba ya sanaa: kulenga kesi maalum za utumiaji ndio njia bora kwa watu wengi kuingiliana na mifano ya aina tofauti.so, wakati inaahidi sana kuwa smartphones zinaweza kuendesha baadhi ya komputa bora LLM huko nje, kuna njia ndefu ya kwenda kabla ya mazingira iko karibu na kusaidia uchaguzi wa watumiaji katika wasaidizi. Kama utaona hapa chini, smartphones hazizingatii mafunzo hayo au kuendesha mifano ya hivi karibuni, achilia mbali kuongeza uwezo wa kuongeza kasi ya vifaa ambavyo jukwaa linapaswa kutoa. Hiyo ilisema, ningependa kuona uwekezaji zaidi wa msanidi programu hapa, kwani kuna ahadi wazi. Ikiwa bado unataka kujaribu kuendesha Deepseek au aina zingine maarufu za lugha kwenye usalama wa smartphone yako mwenyewe, nimeelezea chaguzi mbili Ili kukuanza. Jinsi ya kusanikisha Deepseek kwenye simu yako (Njia Rahisi) Robert Triggs / Mamlaka ya Android Unataka suluhisho rahisi zaidi ya kuzungumza na AI ya ndani kwenye kifaa chako cha Android au iOS, unapaswa kujaribu programu ya PocketPal AI. Wamiliki wa iPhone wanaweza pia kujaribu Privatellm. Bado utahitaji simu na processor nzuri na dimbwi la RAM ya haraka; 12 GB inakubalika katika upimaji wangu ili kuendesha mifano ndogo, iliyofupishwa 7B/8B, lakini 16GB ni bora na muhimu ikiwa unataka kujaribu na kukabiliana na 14B.Tumia programu, unaweza kufikia anuwai ya mifano kupitia portal maarufu ya kukumbatia, ambayo ina Deepseek, Llama, Phi, na wengi, wengine wengi. Kwa kweli, kwingineko ya Humongous ya Humgingface ni kikwazo kidogo kwa wasiojua, na utendaji wa utaftaji katika Pocketpal AI ni mdogo. Modeli hazijaandikiwa vizuri katika UI ndogo, kwa hivyo kuokota rasmi au bora kwa kifaa chako ni ngumu, nje ya kuzuia zile zinazoonyesha onyo la kumbukumbu. Kwa kushukuru, unaweza kuagiza mifano ambayo umejipakua mwenyewe, ambayo inafanya mchakato kuwa rahisi. Unataka kuendesha AI ya ndani kwenye simu yako? Pocketpal AI ni njia rahisi sana ya kufanya hivyo tu. Kwa bahati mbaya, nilipata mende chache na Pocketpal AI, kuanzia kupakua kwa kushindwa hadi mazungumzo yasiyokamilika na shambulio kamili la programu. Kimsingi, usiwahi kwenda mbali na programu. Majibu kadhaa pia hukataliwa mapema kwa sababu ya saizi ndogo ya dirisha (shida kubwa kwa kitenzi cha Verbose), kwa hivyo ingawa ni rahisi sana kuanza, labda itabidi kuchimba katika mipangilio ngumu zaidi baadaye. Sikuweza kupata njia ya kufuta mazungumzo ama kwa bahati nzuri, utendaji ni thabiti kabisa, na itaongeza moja kwa moja mfano ili kupunguza RAM wakati haitumiki. Hii ndio njia rahisi ya kuendesha Deepseek na aina zingine maarufu nje ya mkondo, lakini kuna njia nyingine pia. … Na njia ngumu ya wayrobert triggs / android njia ya pili inajumuisha kugongana kwa amri kupitia termux kusanikisha Ollama, zana maarufu ya kuendesha mifano ya LLM ndani (na msingi wa Pocketpal AI) ambayo niligundua kuwa ya kuaminika zaidi kuliko ile ya zamani programu. Kuna njia kadhaa za kufunga Ollama kwenye simu yako ya Android. Nitatumia njia hii nzuri na Davide Fornelli, ambayo hutumia ProoT kutoa mazingira mpya (na yanayoweza kutolewa kwa urahisi) ya Debian kufanya kazi nayo. Ni rahisi kuanzisha na kusimamia, haswa kwani labda utaishia kuondoa Ollama baada ya kucheza karibu kidogo. Utendaji na Proot sio asili kabisa, lakini ni mzuri wa kutosha. Ninapendekeza kusoma mwongozo kamili ili kuelewa mchakato, lakini nimeorodhesha hatua muhimu hapa chini. Fuata hatua hizi kwenye simu yako ya Android kusanikisha Ollama. Ingiza na ufungue programu ya termUx pkgupdate && pkg sasisho-sasisha kwa vifurushi vya hivi karibuni pkg kusanidi proot-distro-sasisha proot-distro pd kusanikisha debian-sasisha debian pd login debian-Ingia katika mazingira yetu ya curl -fssl https://ollama.com /install.sh | SH – Pakua na usakinishe Ollama Ollama Kutumikia – Anza kuendesha seva ya Ollama unaweza kutoka kwa mazingira ya Debian kupitia Ctrl+D wakati wowote. Kuondoa Ollama, mifano yako yote iliyopakuliwa, na mazingira ya Debian, fuata hatua hapa chini. Hii itarudisha simu yako katika hali yake ya asili. Ctrl+C na/au Ctrl+D – Toka Ollama na hakikisha umetoka katika mazingira ya Debian huko Termux. PD Ondoa Debian – Hii itafuta kila kitu ulichofanya katika mazingira (haitagusa kitu kingine chochote). PKG Ondoa proot-distro-Hii ni hiari, lakini nitaondoa proot pia (ni MB chache kwa saizi, kwa hivyo unaweza kuitunza). Jinsi ya kusanikisha Ollama kwenye Android na Ollama iliyosanikishwa, ingia katika mazingira yetu ya Debian kupitia termux na Run Ollama hutumikia kuanza seva. Unaweza kubonyeza CTRL+C kumaliza mfano wa seva na kufungua rasilimali za simu yako. Wakati hii inafanya kazi tunayo chaguzi kadhaa za kuingiliana na Ollama na kuanza kuendesha aina kubwa za lugha. Unaweza kufungua dirisha la pili katika termux, ingia katika mazingira yetu ya Debian, na uendelee na mwingiliano wa amri ya amri ya Ollama. Hii ndio njia ya haraka na thabiti zaidi ya kuingiliana na Ollama, haswa kwenye smartphones za chini-ram, na ni (kwa sasa) njia pekee ya kuondoa mifano ili kufungia uhifadhi. Ili kuanza kuzungumza na Deepseek-R1, ingiza Ollama Run DeepSeek-R1 : 7b. Mara tu inapopakuliwa, unaweza kuandika kwenye mstari wa amri, na mfano utarudisha majibu. Unaweza pia kuchagua mfano mwingine wowote mzuri kutoka kwa maktaba iliyoandaliwa vizuri ya Ollama. Ollama Run Model_name – Pakua na/au Run Model Ollama Stop Model_name – Acha mfano (Ollama otomatiki mifano ya kupakua baada ya dakika tano) Ollama Pull Model_name – Pakua mfano wa Ollama RM Model_name – Futa mfano wa Ollama PS – Tazama mfano wa sasa wa Ollama Orodha – Orodhesha kumbukumbu zote za amri ya ModelSollama iliyosanikishwa Njia mbadala ni kusanikisha programu ya Ollama ya Jhubi1 ya Android. Inawasiliana na Ollama na hutoa interface nzuri ya mtumiaji wa kuzungumza na kusanikisha mifano ya chaguo lako. Drawback ni kwamba ni programu nyingine ya kukimbia, ambayo hula RAM ya thamani na inaweza kuweka smartphone ya chini ya kutambaa. Majibu pia huhisi uvivu zaidi kuliko kukimbia kwenye mstari wa amri, kwa sababu ya mawasiliano ya juu na Ollama. Bado, ni uboreshaji thabiti wa maisha ikiwa unapanga kuendelea kuendesha LLM ya ndani. Je! Ni llms gani ambazo ninaweza kukimbia kwenye smartphone? Robert Triggs / Mamlaka ya Android wakati wa kutazama mchakato wa mawazo wa Deepseek ni ya kuvutia, sidhani kama ni mfano muhimu zaidi wa lugha huko, haswa kukimbia kwenye simu. Hata mfano wa paramu ya bilioni saba utasimama na mazungumzo marefu juu ya wasomi 8, ambayo inafanya kuwa kazi ya kutumia wakati wa paired na mlolongo wake mrefu wa hoja. Kwa bahati nzuri, kuna mifano zaidi ya kuchagua kutoka ambayo inaweza kukimbia haraka na bado hutoa matokeo bora. Meta’s llama, Microsoft’s PHI, na Mistral wote wanaweza kukimbia vizuri kwenye simu tofauti; Unahitaji tu kuchagua mfano unaofaa zaidi kulingana na RAM ya smartphone yako na uwezo wa usindikaji. Kwa kusema, mifano ya parameta bilioni tatu itahitaji hadi 2.5GB ya RAM ya bure, wakati mifano ya paramu ya saba na nane inahitaji karibu 5-7GB kushikilia Them. Aina 14B zinaweza kula hadi 10GB, na kadhalika, karibu mara mbili ya kiwango cha RAM kila wakati unapoongeza ukubwa wa mfano. Kwa kuzingatia kwamba simu mahiri pia zinapaswa kushiriki RAM na OS, programu zingine, na GPU, unahitaji angalau buffer 50% (hata zaidi ikiwa unataka kuweka mfano unaendelea kila wakati) ili kuhakikisha kuwa simu yako haina chini kwa kujaribu Kuhamisha mfano katika nafasi ya kubadilishana. Kama uwanja mbaya wa mpira, simu zilizo na 12GB ya haraka ya RAM itaendesha mifano ya paramu ya bilioni saba na nane, lakini utahitaji 16GB au zaidi kujaribu 14B. Na kumbuka, sehemu za Google za Pixel 9 Pro zinaondoa RAM fulani kwa mfano wake wa Gemini. Simu za Android zinaweza kuchagua kutoka kwa aina kubwa ya mifano ndogo ya AI. Kwa kweli, vigezo zaidi vinahitaji nguvu zaidi ya usindikaji ili kubomoa mfano pia. Hata Snapdragon 8 wasomi hupunguza kidogo na Microsoft’s Phi-4: 14b na Alibaba’s Qwen2.5: 14b, ingawa zote mbili zinatumika kwa sababu ya Colossal 24GB ASUS ROG Simu 9 Pro nilikuwa nikijaribu. Ikiwa unataka kitu ambacho kinatoa wakati wa kusoma kasi kwenye vifaa vya sasa au vya mwisho ambavyo bado vinatoa kiwango kizuri cha usahihi, shikamana na 8b wakati mwingi. Kwa simu za zamani au za katikati, kushuka na mifano ndogo ya 3B hujitolea usahihi zaidi lakini inapaswa kuruhusu matokeo ya ishara ambayo sio mwendo kamili wa konokono, hii ni ikiwa unataka kuendesha AI ndani. Ikiwa unafurahi na biashara ya kompyuta ya wingu, unaweza kupata mifano yenye nguvu zaidi kama Chatgpt, Gemini, na Deepseek ya ukubwa kamili kupitia kivinjari chako cha wavuti au programu zao zilizojitolea. Bado, kukimbia AI kwenye simu yangu hakika imekuwa jaribio la kufurahisha, na watengenezaji bora kuliko mimi waliweza kugundua uwezo zaidi na ndoano za API za Ollama.
Leave a Reply