Apple запускает бета-версию ИИ Siri с персональным контекстом, осведомленностью об экране и действиями в приложениях

Apple начала бета-тестирование Siri AI, представив обновленного ассистента с поддержкой личного контекста, распознавания содержимого экрана, знаний о веб-пространстве и расширенных действий в приложениях. Новая Siri на начальном этапе доступна на английском языке в составе релизов ПО Apple OS 27, а поддержка французского, японского, корейского, португальского и испанского языков запланирована на октябрь.

Личный контекст позволяет Siri искать информацию в сообщениях, электронной почте, фотографиях и других данных пользователя при ответе на запрос. Например, она может найти мероприятие, упомянутое членом семьи в «Сообщениях», извлечь связанные с ним инструкции из «Почты» и добавить необходимые ингредиенты в «Напоминания». Ассистент также может составлять черновики писем, редактировать и делиться группой фотографий, а также выполнять другие действия в масштабах всей системы.

Существующие интеграции по-прежнему поддерживают такие действия, как отправка сообщений в WhatsApp или воспроизведение аудиокниг в Audible. По заявлению Apple, поддержка создания черновиков писем в Microsoft Outlook, поиска заданий в Notability и сохранения рекомендаций ресторанов в Tripsy появится позже.

Функция распознавания содержимого экрана позволяет пользователям задавать вопросы об отображаемом тексте, изображениях, файлах и веб-страницах, а затем совершать действия на основе полученного ответа. Siri также может искать актуальную информацию в интернете и продолжать диалог в рамках более продолжительной беседы, отвечая на уточняющие вопросы. Эти возможности развивают функции Siri AI и Apple Intelligence, продемонстрированные на WWDC26.

Активировать Siri AI можно с помощью боковой кнопки или свайпа вниз из Dynamic Island на iPhone. Функция интегрирована в Spotlight на iPad и Mac, а также в системные контекстные меню для запросов по выделенному контенту. В Apple Vision Pro Siri представлена в виде пространственной 3D-визуализации, которую можно разместить в пространстве вокруг пользователя, активировав взглядом и голосовой командой.

В специальном приложении Siri хранится история бесед, которая синхронизируется через iCloud между iPhone, iPad, Mac, Apple Watch и Apple Vision Pro. Пользователи также могут настраивать эмоциональную окраску и темп голоса Siri. На устройствах, поддерживающих усовершенствованную модель AFM Core Advanced от Apple, обновленная системная диктовка автоматически расставляет заглавные буквы, знаки препинания и форматирование.

Визуальный интеллект (Visual Intelligence) расширяет возможности распознавания изображений Siri на всех платформах Apple. В приложении «Камера» на iPhone появился режим Siri для вопросов и действий, связанных с физическими объектами, а на iPad эта функция интегрирована в скриншоты. Пользователи Mac могут выбирать контент на экране с помощью сочетания клавиш, а Vision Pro может отвечать на вопросы об окнах приложений и объектах в окружающем пространстве.

Интегрированные инструменты письма (Writing Tools) могут создавать черновик на основе описания или корректировать существующий текст в соответствии с инструкцией. В «Почте» и «Сообщениях» Siri может воспроизводить пунктуацию и тон, которые пользователь обычно использует при общении с каждым конкретным получателем, в то время как системная проверка орфографии работает в большинстве сторонних приложений.

Более масштабное обновление Apple Intelligence добавляет в «Фото» функции Spatial Reframing, Extend и улучшенный инструмент «Очистка» (Clean Up). Image Playground получает новую модель, работающую на базе Private Cloud Compute, включая поддержку создания фотореалистичных изображений и будущую идентификацию SynthID. Safari теперь умеет упорядочивать вкладки по темам, отслеживать изменения на веб-страницах и создавать расширения по описанию. Функция умных ответов (Smart Reply) в «Почте» и «Сообщениях» может использовать индивидуальный стиль письма пользователя, календарь принимает изменения событий на естественном языке, а «Команды» могут создавать автоматизацию на основе описания.

На Apple Watch функция Audio Intelligence задействует чип S11 в Apple Watch Series 12 и Apple Watch Ultra 4. Функция распознавания звуков (Sound Recognition) может предупреждать пользователей о сиренах, сигнализациях, дверных звонках и плаче ребенка даже без находящегося поблизости iPhone. Live Rewind отображает предыдущие 15 секунд разговора в виде текста, функция Siri Recap создает заголовок и ключевые тезисы после завершения беседы, а Shazam может автоматически распознавать играющую поблизости музыку прямо в виджете Smart Stack.

По заявлению Apple, функции для часов не создают и не сохраняют аудиозаписи. Необработанные аудиоданные обрабатываются внутри анклава Secure Exclave и немедленно удаляются, в то время как фрагменты Live Rewind и краткие сводки Siri Recap защищены сквозным шифрованием в приложении Siri. Кроме того, при активной функции Live Rewind воспроизводится звуковой сигнал, а также отображаются анимация и индикатор микрофона. Появление Siri Recap и Live Rewind в рамках бета-тестирования запланировано на конец этого года.

Новые базовые модели Apple (Apple Foundation Models) были разработаны совместно с Google и ее моделями Gemini; они функционируют как на самих устройствах, так и через облачный сервис Private Cloud Compute. Системный оркестратор Siri также может задействовать локальные ресурсы, такие как индекс Spotlight и App Toolbox.

Доступность
Siri AI выходит в формате бета-версии на английском языке вместе с iOS 27 и iPadOS 27, macOS 27, watchOS 27 и visionOS 27. Для ее работы требуется устройство с поддержкой Apple Intelligence: iPhone 15 Pro или iPhone 15 Pro Max, iPhone 16 и новее, iPad mini с чипом A17 Pro, iPad с M1 и новее, MacBook Neo с A18 Pro, Mac с M1 и новее, Apple Vision Pro, Apple Watch Series 9 и новее, Apple Watch Ultra 2 и новее, а также Apple Watch SE 3 в паре с совместимым iPhone. Для работы некоторых функций Apple Watch требуется, чтобы iPhone находился поблизости.

На данный момент бета-версия недоступна на iPhone, iPad и Apple Watch в Европейском союзе, хотя пользователи Mac и Vision Pro в ЕС могут получить к ней доступ на поддерживаемом языке. Siri AI и другие новые функции Apple Intelligence недоступны в Китае, пока Apple урегулирует вопросы с местными регуляторными требованиями. Siri AI не предоставляется пользователям младше 13 лет.

На определенные облачные функции, включая Siri AI, интеллектуальное редактирование фото, Image Playground и облачные модели AFM 3 в «Командах», распространяются суточные лимиты использования, которые зависят от конкретной функции, запроса, нагрузки на систему и других факторов. В Apple отмечают, что в будущем расширенный доступ будет предоставляться на платной основе.