Intel Xeon, Core™ Ultra і AI PC прискорюють робочі навантаження GenAI
Компанія Intel затвердила свій асортимент продуктів для штучного інтелекту для перших моделей Meta Llama 3, 8B і 70B, оснащених прискорювачами Intel® Gaudi®, процесорами Intel® Xeon®, процесорами Intel® Core™ Ultra і графікою Intel® Arc™.
У рамках своєї місії з широкого впровадження штучного інтелекту Intel інвестує в програмне забезпечення та екосистему штучного інтелекту, щоб забезпечити готовність своїх продуктів до останніх інновацій у динамічному просторі штучного інтелекту. Процесори Intel Gaudi і Intel Xeon з прискоренням Intel ® Advanced Matrix Extension (Intel® AMX), встановлені в центрі обробки даних, надають замовникам можливості для задоволення динамічних і різноманітних вимог.
Процесори Intel Core Ultra і графічні продукти Intel Arc забезпечують локальну розробку і розгортання на мільйонах пристроїв з підтримкою комплексних програмних платформ і інструментів, включаючи PyTorch і розширення Intel® для PyTorch®, що використовується для локальних досліджень і розробок, а також OpenVINO™ toolkit для розробки моделей і логічного висновку.
В ході початкового тестування Intel і отримання результатів про продуктивність моделей Llama 3, 8B і 70B використовується програмне забезпечення з відкритим вихідним кодом, включаючи PyTorch, DeepSpeed, Intel Optimum Habana library і Intel Extension for PyTorch, які забезпечують новітню оптимізацію програмного забезпечення.
Процесори Intel Xeon призначені для виконання складних комплексних завдань в області штучного інтелекту, і Intel інвестує в оптимізацію результатів LLM для скорочення затримок. Процесори Intel ® Xeon® 6 з швидкодіючими ядрами (під кодовою назвою Granite Rapids) демонструють 2-кратне зниження затримки виведення Llama 3 8b в порівнянні з процесорами Intel® Xeon® 4-го покоління і можливість запуску більших мовних моделей, таких як Llama 3 70B, зі швидкістю менше 100 мс на згенерований токен.
Графічні процесори Intel Core Ultra і Intel Arc Graphics забезпечують вражаючу продуктивність Llama 3. На початковому етапі тестування процесори Intel Core Ultra вже демонстрували швидкість читання, що перевищує звичайну для людини. Крім того, графічний процесор Intel® Arc™ A770 має прискорення штучного інтелекту Xe Matrix eXtensions (XMX) і 16 ГБ виділеної пам’яті для забезпечення виняткової продуктивності для робочих навантажень LLM.