Ny chip giver mobil AI-agenter..

Din næste smartphone behøver ikke længere at dele dine mobile data med skyen og AI-tjenester. Den vil være i stand til at køre egne AI-agenter, der er skræddersyet til dit liv og dine omgivelser.

Det er den store ambition hos den amerikanske chip-producent Qualcomm med deres nye Snapdragon-chips, Elite Gen 6 og Elite Extreme Gen 6, som blev præsenteret ved Snapdragon Summit teknologimesse på Hawaii, USA.

De nye chips bliver snart en del af toptelefoner fra Motorola, Xiaomi og OnePlus.

Qualcomm hævder at have lavet en lokal 8B-model, der kan køre 25 tokens per sekund. Med de nye ‘mixture of experts’ modeller kan større modeller besvare forespørgsler endnu hurtigere på mobilen.

Lokal AI-mester

Ingen enhed kender sin bruger bedre end mobilen, som gemmer fotos, videoer og dokumenter samt er knyttet til mange apps. De data kan nu udnyttes af AI, der kører lokalt i form af AI-agenter bygget på sprogmodeller.

Chief VP for datacenter og edge solutions, Durga Malladi, fortalte, at Elite-processorerne har en revideret ‘Hexagon’ delchip og en NPU, der kan håndtere modeller med op til 30 milliarder parametre. Dette understøtter 30 tokens per sekund og kan klare et kontekstvindue på 32.000 tokens, hvilket svarer til mange siders tekst.

Forventningen er, at AI-agenterne vil kunne arbejde med mobilens indsamlede brugerdata for at løse opgaver, uden at følsomme oplysninger skal behandles i skyen. Hit-or-miss afhænger dog af softwaren og dens evne til at interagere på tværs af enheden.

Qualcomm har indgået samarbejder med Liquid AI og Hugging Face, hvor Liquid AI bidrager med et lokalt hukommelseslag, som AI-agenterne kan trække på for at forstå brugerens vaner. Hugging Face hjælper med at optimere lokale sprogmodeller på Qualcomms hardware.

Teknologisk frontløber

De nye chips er lavet med TSMC’s avancerede 2nm-litografi, hvilket giver Qualcomm muligheden for en topfrekvens på 5,0 GHz—hurtigere end nogen mobilchip før.

Mobilchippen er også den første til at understøtte LPDDR6 hukommelsesstandarden, hvilket kan øge båndbredden til op til 114 GB/s og 24 GB hukommelse. Qualcomm er dog opmærksom på de nuværende ram-priser og tillader også LPDDR5X teknologi.

I chippen er der mikro-NPU’er, der hjælper grafikchippen, samt en ‘Sensing Hub’, der indsamler sensordata fra mobilen og lærer om brugerens vaner. Dette giver en 13 % højere rå ydelse og op til 44 % bedre grafisk performance i spil.

Mobilproducenternes tur

Det afhænger af mobilproducenterne, hvor meget af chippens evner, der bliver til praktiske egenskaber. De første telefoner med denne platform er Xiaomis 18 Pro-serie og Motorolas Signature 27, der debuterer i efteråret.

Ingen af disse modeller har endnu præsenteret AI-agent-løsninger som et salgsargument, så vi må vente og se, hvordan de lokale AI-evner vil udvikle sig.

Artikel om technyheder set på Computerworld.dk – Gengivet her på ONN.dk   |   🔎 Artiklen er læst 236 gange