Qualcomm Technologies e Meta hanno annunciato una collaborazione per ottimizzare l'esecuzione dei modelli linguistici di grandi dimensioni Llama 2 di Meta direttamente on-device, senza ricorrere esclusivamente ai servizi cloud.
La possibilità di eseguire modelli di intelligenza artificiale generativa come Llama 2 su dispositivi come smartphone, PC, visori VR/AR e veicoli consente agli sviluppatori di risparmiare sui costi del cloud e di fornire agli utenti esperienze private, più affidabili e personalizzate. Di conseguenza, Qualcomm Technologies ha in programma di rendere disponibili implementazioni AI basate su Llama 2 sui device per consentire la creazione di nuove applicazioni di intelligenza artificiale. Ciò consentirà a clienti, partner e sviluppatori di creare casi d'uso quali assistenti virtuali intelligenti, applicazioni per la produttività, strumenti per la creazione di contenuti, intrattenimento e altro ancora. Queste nuove esperienze di AI on-device, alimentate da Snapdragon, possono funzionare in aree prive di connettività o persino in modalità aereo.
"Apprezziamo l'approccio di Meta all'AI aperta e responsabile e ci impegniamo a promuovere l'innovazione e a ridurre le barriere all'ingresso per gli sviluppatori di qualsiasi dimensione portando l'AI generativa sui device", ha dichiarato Durga Malladi, senior vice president e general manager delle attività di tecnologia, pianificazione e soluzioni edge di Qualcomm Technologies, Inc. "Per far entrare efficacemente l'AI generativa nel mainstream, l'AI dovrà essere eseguita sia sul cloud che sui dispositivi edge, come smartphone, laptop, veicoli e dispositivi IoT". Qualcomm Technologies prevede di rendere disponibile l'implementazione dell'AI basata su Llama 2 sui dispositivi dotati di Snapdragon a partire dal 2024. Gli sviluppatori possono iniziare già da oggi a ottimizzare le applicazioni per l'AI on-device utilizzando il Qualcomm AI Stack, un insieme di strumenti dedicati che consentono di elaborare l'AI in modo più efficiente su Snapdragon, rendendo possibile l'AI on-device anche in dispositivi piccoli, sottili e leggeri.
