Qualcomm компаниясы болашақ флагмандық Snapdragon Elite чиптерінде қолданылатын Hexagon нейрондық процессорының (NPU) жаңа буыны туралы мәліметтерді жариялады. Компания күрделі жасанды интеллект функцияларын тікелей смартфонның өзінде іске қосуға және жасанды интеллект агенттерінің жұмысын жеделдетуге басымдық беріп отыр.
Жаңа процессордың негізгі жаңалықтарының қатарында трансформерлік модельдердің жұмысын жеделдетуге арналған Element Accelerator блогы, контекстік ақпаратты сақтауға арналған кеңейтілген жад және Mixture-of-Experts архитектурасын қолдау бар. Соның арқасында құрылғының өзінде ауқымды, 30 миллиардқа дейінгі есептік бірліктен тұратын модельдерді іске қосуға мүмкіндік туады.
Element Accelerator деп аталатын арнайы блок NPU құрамында бұрыннан қолданылып келе жатқан скалярлық, векторлық және тензорлық блоктардың мүмкіндігін толықтырады. Ол негізінен трансформерлік модельдердің нәтижені қалыптастыру үдерісін жеделдетуге арналған. Бұл жасанды интеллект агенттеріне сұраныстарды жылдамырақ өңдеп, пайдаланушының әрекеттеріне қосымша энергия шығынын арттырмай, жеделірек жауап беруге мүмкіндік береді.
Қытай зымыран тасығыштың бірінші сатысын сәтті қайтарған әлемдегі екінші ел атанды
Qualcomm сонымен қатар NPU құрамындағы төрт есептеу блогының барлығына қолжетімді ортақ жад көлемін ұлғайтты. Соның арқасында модельге контекстпен жұмыс істеу үшін қажет деректерді есептеу блоктарына жақын жерде көбірек сақтауға және смартфонның жедел жадына жүгінуді азайтуға болады. Бұл әсіресе көлемді сұраныстар мен жұмыс барысында ауқымды контексті есте сақтауды қажет ететін жасанды интеллект агенттері үшін маңызды.
Тағы бір өзгеріс Mixture-of-Experts архитектурасын қолдауға байланысты. Бұл тәсіл ауқымды модельді бірнеше мамандандырылған блокқа, яғни «сарапшыларға» бөліп, нақты сұранысты өңдеу кезінде олардың тек қажетті бөлігін іске қосуға мүмкіндік береді. Соның арқасында модельдің барлық құрамдасын бір мезетте пайдаланбай-ақ, құрылғының өзінде ауқымды модельдерді іске қосуға болады. Qualcomm компаниясының мәліметінше, жаңа NPU 30 миллиардқа дейінгі есептік бірлігі бар MoE модельдерімен құрылғының өзінде жұмыс істей алады.
Компания жасанды интеллект модельдерін өңдеу жылдамдығы да артатынын мәлімдеді. Qualcomm дерегіне сәйкес, жаңа NPU кіріс деректерін алдын ала өңдеу кезеңінде өнімділікті 50 пайызға арттырады. Сонымен қатар декодтау жылдамдығы мен спекулятивті декодтау тиімділігі де жоғарылайды. Спекулятивті декодтау кезінде шағын модель келесі бірнеше токеннің ықтимал нұсқаларын алдын ала ұсынады, ал негізгі модель оларды тексереді. Аталған көрсеткіштер INT4 форматындағы модельдермен жұмыс істеу барысында алынған. Бұл формат есептеу мен жадқа түсетін жүктемені азайтады. Сондықтан көрсетілген өсімді жасанды интеллект жүйелерінің жалпы жұмыс жылдамдығы 50 пайызға артты деп тікелей түсіндіруге болмайды.
Qualcomm NPU-дың жаңа мүмкіндіктерін ең алдымен құрылғылардағы агенттік жасанды интеллекттің дамуымен байланыстырып отыр. Жасанды интеллект агенті тапсырманы бірнеше кезеңге бөліп, смартфондағы қосымшалар мен деректерге жүгініп, пайдаланушының тұрақты нұсқауынсыз белгілі бір әрекеттерді орындай алады. Контексті өңдеу жылдамдығының артуы және жадқа қойылатын талаптардың төмендеуі мұндай сценарийлердің жылдам әрі жедел жұмыс істеуіне мүмкіндік береді.
NPU-дың жаңа буыны Snapdragon флагмандық чиптерінің келесі сериясының құрамына енеді. Qualcomm бұл өнімдерді 22 қыркүйекте өтетін Snapdragon Summit шарасында таныстырады. Компания болашақ чиптердің кейбір сипаттамаларын бұған дейін де жариялаған. Атап айтқанда, процессор мен графикалық процессор жаңартылатыны белгілі болған еді. Енді өндіруші платформаның жасанды интеллектке арналған мамандандырылған бөлігін де күшейтетінін көрсетті. Осылайша Qualcomm бүгінде көп жағдайда бұлттық есептеу ресурстарын қажет ететін күрделі модельдер мен агенттік жасанды интеллект сценарийлерін тікелей смартфондарға көшіруге ұмтылып отыр.
Дереккөз: Хайтек+
Қосымша материалдар мен сараптамалық шолуларды біздің Telegram арнамыздан оқуға болады.
