Для чего в процессорах Apple нужны нейроядра Neural Engine. Третья сила магии iPhone

Все сразу вспоминают о процессоре iPhone, когда говорят о его мощности. Но в каждом современном чипе Apple, начиная с A11 Bionic, живет нейроядро, также называемое нейродвигателем, который является чрезвычайно важным компонентом, о котором мало кто знает. Это особый модуль, предназначенный для быстрой обработки процессов искусственного интеллекта и машинного обучения.

Представьте, что основной процессор работает как универсальный мастер, а графический ускоритель работает как талантливый художник. В этой компании нейромотор является уникальным специалистом по распознаванию образов и прогнозированию. В результате его работы ваш iPhone может мгновенно находить лицо в кадре для портретного режима, точно распознавать текст на фотографии или понимать голосовые команды Siri, даже если вы не подключены к Интернету.

По сути, Neural Engine является той «третьей силой», которая делает iPhone уникальным. Он быстро, плавно и энергоэффективно выполняет сложные задачи искусственного интеллекта. Он позволяет умным функциям работать незаметно в фоновом режиме, создавая тот самый волшебный и простой опыт, за который мы так ценим устройства Apple.

Как устроены чипы. CPU и GPU на ПК отдельно, у мобильных вместе

Большинство компьютеров, особенно домашних, имеют два основных чипа: CPU и GPU. В большинстве случаев они созданы разными производителями, хотя физически они находятся в разных частях системного блока.

CPU расшифровывается как Central Processing Unit и переводится «центральное вычислительное устройство».

Ответственен за сложные и параллельные вычисления инструкций; без него компьютер не может функционировать.

GPU расшифровывается как Graphic Processing Unit и переводится «графическое вычислительное устройство».

Формирует и отображает вычисления процессора и его операционную систему на экране.

Вы можете видеть, что происходит внутри компьютера, пока ищете замену дискретной видеокарты, потому что GPU иногда встраиваются прямо в CPU, что делает это компонент менее надежным и чаще всего является временной заменой. Такие доступны в виде отдельных модулей.

Железо в компактных устройствах обеспечивает не только выдачу мощного результата, но и сохранение энергии. Это необходимо для предотвращения перегрева устройства из-за большой вычислительной нагрузки.

В этом случае встроенная в CPU графика является основной; другие процессоры, как правило, либо имеют ограниченную мощность, либо работают полностью только при подключении к сети. Смартфоны и планшеты в принципе не имеют дискретного модуля GPU.

Единственный управляющий чип превращается в сложную систему, превышающую обычную CPU.

Узнав об этом лидерстве, Apple начала внедрять в процессоры новый тип вычислительных транзисторов.

Есть CPU, есть GPU, а есть Neural Engine

История началась с процессоров iPhone, а затем добавились новые компоненты. например, нейромотор. Он ускоряет умные функции камеры, улучшает анализ голоса для Siri и ускоряет распознавание людей на фотографиях.

Используя тот же метод, Apple разработала сложный чип M1 для своих Mac. Этих ядер внутри него еще больше, и они ежедневно выполняют те же задачи, что и в iPhone.

Для этих целей в потребительские устройства не устанавливали отдельный чип, но постепенно за ним закрепляется похожее название.

NPU расшифровывается как Neural Processing Unit и пока никак общепринято не переводится на русский.

Несмотря на то, что эпмин постепенно становится популярным, каждый производитель называет его по-своему. Будем использовать форму Apple «Нейронный процессор» или «Нейронный двигатель».

Он ускоряет распознавание речи, точное определение пород кошек или видов цветов, отслеживание объектов в режиме реального времени и быстро решает задачи, связанные с интеллектуальным распознаванием одного среди множества.

Условие должно быть выполнено: система, предназначенная для запуска на таком типе процессора, должна быть сначала подготовлена на других моделях.

Первый Neural Engine использовали исключительно для Face ID

Начиная с iPhone 4 и чипа внутри него A4, которые были выпущены в 2010 году, Apple полностью контролирует производство своих процессоров.

Компания была одной из первых, кто внедрил новые технологии в чипы мобильных устройств, включая использование минимальных техпроцессов (7 нм и 5 нм), переход на 64-битную разрядную систему и интеграцию сопроцессора движения и фотографии.

Премьера iPhone X в 2017 году была ключевой. На своей презентации Apple впервые назвала небольшой нейросетевой модулем внутри чипа A11, который до сих пор называется приставкой Bionic.

Впоследствии внимание уделили этому небольшому компоненту внутри чипа, чтобы показать, как он точно отличает настоящее лицо от искусственной копии в виде театральной маски. Мы знали только то, что Neural Engine способен обучаться по внешнему виду пользователя.

С каждым новым поколением NPU значительно развивалась и обучала новым возможностям.

В 2021 году он будет помогать в поиске конкретных людей, создании воспоминаний в приложении Фото, анализу 40 мимических лиц в режиме реального времени и созданию киноэффектов на iPhone 13.

Оказалось, что эволюция дает хорошие результаты.

Как развивался Neural Engine в iPhone

В каждой презентации Apple неизменно упоминается сопроцессор и повышение производительности.

Полный список iPhone начиная с 2017 года с описанием возможностей, добавленным компанией, а также улучшениями Neural Engine и ядер.

Нейроядро — это крошечный, но очень важный «помощник» внутри чипа процессоров Apple, который отвечает за выполнение задач, связанных с искусственным интеллектом. Оно работает тихо и незаметно, но в то же время делает повседневное использование iPhone намного удобнее: распознает лица на фотографиях, улучшает качество камеры в реальном времени, помогает Siri понять речь и даже делает анимированные смайлики живыми. Главное, что сложные вычисления выполняются нейроядром без перегрузки основного процессора, поэтому все это происходит быстро и не потребляет много батареи. Он делает многие «фишки» iPhone по-настоящему интеллектуальными и плавными.

iPhone X

В чипе A11 внутри iPhone X технология появилась первые.

Две ядра, которые использовались только для точного распознавания лиц.

Производительность: 600 миллиардов операций в год.

iPhone XS и iPhone XR

8 нейроядер в A12 для iPhone XS и iPhone XR включают машинное обучение для приложений помимо Face ID и «умной вычислительной системы».

Эта система определяет тип задачи, поступающей в процессор, и определяет, в каком блоке ее обрабатывать: в нейромоторе, CPU или GPU.

Машинное обучение улучшило такие функции, как поиск фотографий в Фото, подбор фотографий в Воспоминаниях, вывод полезных мест в Картах и адаптация экрана True Tone.

Еще одним преимуществом нейромотора второго поколения стало возможность выполнять машинное обучение в режиме реального времени.

Он был необходим для AR-эффектов камеры и портретного режима с одной камерой iPhone XR. Например, можно настроить сценический свет или следить за движением пятидесяти мышц лица во время звонка Face Time.

Благодаря обучению «на ходу» режим портрета iOS 15 в Face Time доступен только на смартфонах с процессором A12 Bionic и более поздними версиями.

Производительность: пять триллионов операций в секунду.

iPhone 11 и iPhone 11 Pro

Нейронная машина из восьми ядер снова находится в A13 внутри iPhone 11.

Подача энергии на различные участки A13 увеличила мощность блока на 20% и снизила потребление на 15%.

Благодаря использованию машинного обучения NPU улучшило распознавание речи и ускорило распознавание лицевой мимики в режиме реального времени.

В то время в CPU были добавлены блоки машинного обучения, которые ускорили матричные вычисления в восемь раз. Вероятно, именно эти блоки дали нейроядрам ускорение.

Стоимость: шесть триллионов операций в секунду.

iPhone 12 и iPhone 12 Pro

В A14 из iPhone 12 Neural Engine стал в два раза больше и состоял из 16 ядер.

НПУ вырос на 80% быстрее, чем A13.

Эти улучшения помогли реализовать Deep Fusion во всех камерах iPhone, включая фронтальную и сверхширокоугольную. Несмотря на то, что они практически идентичны предыдущему поколению, последняя стала делать более четкие фотографии.

Все чипы серии M1 от Apple для Mac содержат тот же NPU.

Производительность: одиннадцать триллионов операций ежегодно.

iPhone 13 и iPhone 13 Pro

В A15 из iPhone 13 Neural Engine остался с теми же 16 ядрами. Но они стали заметно мощнее. Даже в новых M1 Pro и M1 Max такого нет.

На презентации Apple напомнила, что элементы машинного обучения Neural Engine работают эффективно благодаря блокам ускорения в разделе CPU.

Это сейчас самый мощный NPU из всех продуктов Apple. Запись видео с сильным размытием была его главной способностью. Киноэффект — это режим в приложении Камера на iPhone 13.

Еще он помогает Siri распознавать диктовку, корректировать навигатор в Apple Maps, распознавать виды растений и ускорять перевод текста с фотографии в письменный.

Производительность составляет 15,8 триллионов операций в секунду.

В чём ещё помогает Neural Engine в смартфонах

Хотя сложные процессы сопровождают Siri, многие считают, что она отстает в развитии по сравнению с другими ассистентами.

Раньше, когда вы задавали вопрос, такой как «Скажи курс доллара к рублю», смартфон записывал данные и отправлял их на сервер вместе с дополнительными данными, такими как обладатель голоса, местоположение и время суток. После этого ответ обрабатывался и отправлялся обратно на сервер, чтобы упростить формулировку ответа.

В настоящее время нейросетевой чип в смартфоне самостоятельно обрабатывает натуральную голосовую модель и в режиме реального времени превращает речь в запрос, а в некоторых случаях полностью обрабатывает речь пользователя. Это означает, что нейросетевой чип сам определяет, что пользователь хочет узнать, и сам создает ответ.

Например, если вы попросите смартфон выполнить сложные вычисления, он сделает это намного быстрее, чем раньше, потому что он делает это без отправки данных на сервер, и вычисление начнется до того, как вы закончите говорить.

Нейронная машина приближает смартфон к сверхвысоким вычислениям благодаря своим рассчетам. Это метод сложных распределительных вычислений, в котором источники информации и вычислительная мощность для их сетевой обработки находятся как можно ближе друг к другу, чтобы ускорить выдачу результата.

Зачем Neural Engine в Mac

Нейронный двигатель находится в правом верхнем углу большинства основных функций M1.

Внедрение компьютеров Mac на процессоры, разработанные Apple, является сложной задачей. В ноябре 2020 года был представлен чип M1. В октябре 2021 года были представлены M1 Pro и M1 Max.

Несмотря на различия в производительности CPU и GPU, в каждом из них установлен один и тот же NPU из 16 ядер с мощностью 11 триллионов операций в секунду. То есть он копирует A14 внутри iPhone 12.

Быстрое выделение людей в Photoshop с помощью машинного обучения

Профессиональные процессы, основанные на машинном обучении, ускоряются с помощью выделенных нейроядерных систем Mac.

Фотографы могут использовать Pixelmator Pro, который с помощью процессов машинного обучения, которые активируют Neural Engine, увеличивает разрешение изображения.

Апскейл изображения в Pixelmator Pro

Видеографы могут использовать функцию умного отслеживания объектов в Final Cut Pro X, чтобы быстрее обрезать видео.

Постановка виртуальных экспериментов также будет полезна для разработчиков, ученых и инженеров в их специализированных расчётах и преобразованиях данных.

Например, платформа TensorFlow использует машинное обучение. Такие технологии, как распознавание жестов, понимание контекста естественных вопросов и перенос стиля одного изображения на другое, могут быть реализованы с ее помощью в приложениях. Эти функции будут работать лучше, если он будет производиться быстрее.

В конечном счете, можно сделать вывод, что Neural Engine — это больше, чем просто маркетинговая фишка. Это специализированный помощник, который взял на себя большую часть работы с искусственным интеллектом. Нейронядро работает незаметно, пока основные ядра процессора свободны для ваших действий.

Такие вещи, как моментальное распознавание лиц на фотографиях, плавное размытие фона в портретном режиме и реалистичная работа маски в приложении FaceTime, стали возможными только благодаря ему. Все это происходит быстро и не использует батарею.

По сути, Neural Engine создает ту самую «магию» iPhone, которая выглядит естественной и простой. Он делает сложные вычисления мгновенными и понятными результатами. Это и есть та самая третья сила, которая делает современные устройства Apple действительно умными и отзывчивыми.