Apple представляет Siri AI с персональным контекстом и распознаванием содержимого экрана

Компания заявляет, что новые функции доступны для тестирования разработчиками уже сегодня на iOS 27, iPadOS 27, macOS 27 и visionOS 27. Позже в этом году Siri AI станет доступна для тестирования разработчиками в будущей бета-версии watchOS 27, а также появится в качестве бета-версии для обычных пользователей.

Персональный контекст и осведомленность об экране

Siri AI может опираться на личный контекст в сообщениях, электронных письмах, фотографиях и других приложениях, чтобы помогать пользователям находить информацию. В Apple отмечают, что среди примеров такого использования — просьба к Siri найти рекомендацию ресторана из сообщения, найти номер подтверждения бронирования отеля в почте или открыть фотографии с недавней поездки. Персональный контекст также может распространяться на сторонние приложения, когда разработчики интегрируют их со Spotlight.
Кроме того, Siri AI способна отвечать на вопросы о том, что в данный момент отображается на экране, и выполнять действия в различных приложениях. По заявлению Apple, пользователь может попросить Siri подсказать, что принести на общую вечеринку (потлак), о которой упоминается в переписке, а затем добавить рецепт в «Заметки».

Общие знания и доступ к системе

По информации Apple, Siri AI может использовать обширную базу знаний для получения актуальной информации из интернета и генерации ответов на такие темы, как предстоящее солнечное затмение или даты концертов. Пользователи могут задавать уточняющие вопросы в рамках более естественного диалога.

На iPhone вызвать Siri AI по-прежнему можно с помощью команды «Привет, Siri» или боковой кнопки, а также проведя пальцем вниз от Dynamic Island для начала разговора. На iPad и Mac ассистент интегрирован в Spotlight. На Mac он также доступен из общесистемных контекстных меню, позволяя пользователям вызывать контекстное меню с помощью Control-click для получения информации об изображениях, файлах или тексте на экране.

В гарнитуре Apple Vision Pro функция Siri AI использует трехмерную визуализацию, которую можно разместить в пространстве пользователя и вызвать, посмотрев на нее и заговорив. В Apple также отмечают, что Siri AI будет работать на iPhone, Apple Watch, в системе CarPlay и с наушниками AirPods. Пользователи Apple Watch смогут начать разговор с запястья или продолжить его с помощью подсказок в виджете Smart Stack.

Архитектура конфиденциальности

В Apple заявляют, что Siri AI использует новую генерацию базовых моделей Apple Foundation Models, которые выполняются непосредственно на устройстве, а при необходимости — на серверах через облачную инфраструктуру Private Cloud Compute. По заявлению компании, при обработке запросов через Private Cloud Compute персональные данные не сохраняются и не передаются ни Apple, ни кому-либо еще, а независимые эксперты могут продолжать аудит безопасности системы.
Siri AI также использует системный оркестровщик для задействования таких возможностей, как индекс Spotlight и набор инструментов App Toolbox, которые, по словам Apple, работают локально на устройстве.

Голос, диктовка и история разговоров

На устройствах, поддерживающих самые передовые локальные модели Apple, в Siri AI появляются более выразительные голоса и улучшенная общесистемная диктовка. Пользователи могут настраивать эмоциональную окраску и темп речи Siri, а функция диктовки способна автоматически расставлять заглавные буквы, знаки препинания и форматировать текст по мере того, как пользователь говорит.

Apple также добавляет отдельное приложение Siri для просмотра прошлых разговоров и начала новых. История бесед синхронизируется через iCloud с соблюдением конфиденциальности, позволяя пользователям продолжать диалог с Siri на Mac, iPhone, iPad, Apple Watch или Apple Vision Pro.

Визуальный интеллект и инструменты для письма

Функции визуального интеллекта Siri выходят за пределы iPhone. На iPhone новый режим Siri в приложении «Камера» позволяет пользователям задавать ассистенту вопросы о том, что видит камера, и выполнять такие действия, как разделение счета с помощью Apple Cash или получение информации о пищевой ценности продуктов.

Визуальный интеллект также впервые появляется на iPad и Mac. На iPad эта функция встроена в интерфейс создания скриншотов. На Mac пользователи могут вызвать ее с помощью комбинации клавиш, выбрать объект на экране и ввести запрос для Siri. На Apple Vision Pro пользователи могут задавать вопросы об окнах приложений или физических объектах вокруг них.

Siri AI также добавляет встроенные инструменты для письма (Writing Tools), которые могут создавать черновики с нуля, редактировать существующий текст на основе инструкций пользователя и предлагать различные варианты формулировок. В Apple отмечают, что Siri способна адаптировать стиль текста в приложениях «Почта» и «Сообщения» в зависимости от того, как пользователь обычно общается с каждым получателем, а также автоматически проверять правописание в масштабах всей системы, включая большинство сторонних приложений.

Доступность

Siri AI будет доступна в качестве бета-версии позднее в этом году для пользователей поддерживаемых устройств с настроенным английским языком. В Apple заявляют, что поддержка других языков будет быстро расширяться.

В настоящее время Apple Intelligence поддерживает английский, датский, голландский, французский, немецкий, итальянский, норвежский, португальский, испанский, шведский, турецкий, вьетнамский, китайский (упрощенный), китайский (традиционный), японский и корейский языки, хотя доступность некоторых функций может зависеть от региона или языка.

По сообщению Apple, Apple Intelligence и Siri AI в iOS 27, iPadOS 27, macOS 27, watchOS 27 и visionOS 27 будут поддерживаться на моделях iPhone 16 и новее, iPhone 15 Pro, iPhone 15 Pro Max, iPad mini с процессором A17 Pro, моделях iPad с чипом M1 и новее, моделях Mac с чипом M1 и новее, Apple Vision Pro, Apple Watch Series 10 и новее, Apple Watch Ultra 2 и новее, а также Apple Watch SE 3 при наличии поблизости сопряженного iPhone с поддержкой Apple Intelligence.

Пользователи Mac, Apple Watch и Apple Vision Pro в ЕС смогут получить доступ к Siri AI при выборе поддерживаемого языка, однако на iOS и iPadOS в странах Европейского союза Siri AI изначально будет недоступна. Siri AI и другие новые функции Apple Intelligence также временно не будут доступны в Китае, пока Apple работает над соблюдением местных нормативных требований.