ARM și Alibaba Partner pentru a îmbunătăți AI multimodal pe dispozitiv cu Kleidiai

Arm Holdings Plc (NASDAQ: ARM), denumită în continuare „ARM”, a anunțat astăzi o nouă colaborare cu grupul Taotian al Alibaba pe cadrul său ușor de învățare profundă, MNN.Prin integrarea ARM Kleidiai, cele două companii au activat cu succes volumele de lucru multimodale de inteligență artificială (AI) pentru a rula pe dispozitivele mobile alimentate cu CPU, folosind modelul de instrucțiune QWEN2-VL-2B, reglat de instrucțiunile Alibaba.Această versiune a modelului multimodal QWEN este concepută special pentru înțelegerea imaginii pe dispozitiv, raționament text-la-imagine și generare multimodală pe mai multe limbi.Această colaborare îmbunătățește în mod semnificativ performanța sarcinilor de lucru multimodale AI la margine, oferind o experiență de utilizator cu totul nouă.

Stefan Rosinger, director principal al managementului produselor la activitatea clientului ARM, a declarat: „Suntem în mijlocul unei revoluții AI, asistând la creșterea modelelor AI multimodale care pot prelucra și înțelege tipuri de date diverse, inclusiv text, imagini, audio, video și date senzor.Cu toate acestea, implementarea acestor modele multimodale avansate pe dispozitivele Edge prezintă provocări semnificative datorită constrângerilor hardware, cum ar fi consumul de energie și limitările de memorie, precum și complexitățile de gestionare a mai multor modalități de date simultan. "

ARM Kleidi oferă o soluție ideală pentru a aborda aceste provocări, oferind o optimizare perfectă a performanței pentru sarcinile de lucru pentru inferența AI care rulează pe procesoare ARM.Kleidiai este o colecție ușoară, de înaltă performanță, open-source, de rutine de brațe concepute special pentru accelerarea AI.Acesta a fost integrat în cele mai recente versiuni ale cadrelor majore AI de pe dispozitiv, inclusiv Exectorch, llama.cpp, litet (prin XNNPack) și MediaPipe.Acest lucru permite milioane de dezvoltatori să obțină automat câștiguri semnificative ale performanței AI - fără a necesita eforturi suplimentare.