Apple поделилась специальной презентацией «Внутри Apple Intelligence и Xcode» [Видео]

Компания Apple выпустила специальную презентацию в рамках WWDC26, которая знакомит разработчиков с архитектурой Apple Intelligence и новыми инструментами, встроенными в Xcode. Подробное видео, снятое в Театре Стива Джобса, посвящено разбору новейших ИИ-фреймворков Apple, интеграции с Siri и инструментам для разработки на базе агентов.

Значительная часть презентации посвящена возможностям агентского кодирования в Xcode 27. Apple представила нового ассистента скорее как активного помощника, а не просто инструмент автодополнения. В нем появился специальный режим планирования, в котором разработчики могут обсудить реализацию до того, как будет написан хоть какой-то код. Агент может вносить изменения в несколько файлов, генерировать планы и предварительные просмотры прямо в ходе беседы, а также писать и запускать тесты для проверки своей работы. Поддержка плагинов также позволяет разработчикам подключать Xcode к внешним моделям, инструментам и сервисам.

В видео также рассказывается о том, как приложения могут напрямую взаимодействовать с Siri с помощью фреймворка App Intents. Используя определенные сущности (entities) и схемы, разработчики могут сделать контент и функции своего приложения доступными для Apple Intelligence. Это позволяет Siri искать контент внутри приложений, выполнять действия на основе запросов на естественном языке и интегрировать информацию из приложений в более контекстные сценарии. В сессии демонстрируются новые аннотации сущностей, обеспечивающие распознавание экрана: Siri получает возможность понимать, на что смотрит пользователь, и предлагать соответствующие действия.

Командам, желающим внедрить функции генеративного ИИ, фреймворк Foundation Models предлагает единый нативный Swift API. Разработчики могут использовать локальные модели Apple, новую серверную модель Private Cloud Compute или языковые модели сторонних производителей в рамках единого фреймворка. Apple также рассказала о новых возможностях Foundation Models, включая ввод изображений, поддержку мультимодельных агентских сценариев с общим контекстом, интеграцию со сторонними моделями (такими как Gemini и Claude) с помощью пакетов Swift, а также планы по открытию исходного кода фреймворка позднее этим летом.

Когда разработчикам необходимо запустить собственные пользовательские модели локально, Apple предлагает им новый фреймворк Core AI. Созданный с учетом особенностей Apple Silicon, Core AI позволяет выполнять рабочие нагрузки ИИ на CPU, GPU и Neural Engine с помощью современного Swift API. Чтобы помочь инженерам в устранении неполадок при локальном развертывании, Apple представила приложение Core AI Debugger, которое визуализирует вычислительные графы, проверяет значения тензоров и отслеживает данные от модели Core AI до исходного кода на Python.

Apple также представила новый фреймворк для оценки (Evaluations Framework), интегрированный прямо в Xcode. Он предоставляет командам структурированный способ автоматического тестирования результатов работы моделей на основе пользовательских критериев оценки и метрик качества. Фреймворк может использовать языковые модели в качестве судей, синтезировать тестовые выборки, агрегировать результаты по крупным наборам данных и помогать разработчикам улучшать промпты с помощью процесса, который Apple называет разработкой на основе оценок (evaluation-driven development).

В завершение презентации рассказывается об обновлениях фреймворка MLX — библиотеки машинного обучения Apple с открытым исходным кодом. Главное внимание здесь уделено MLX Distributed — инструменту, который позволяет исследователям запускать масштабные языковые модели, требующие больше памяти, чем может вместить одно устройство. Объединяя несколько Mac в локальный вычислительный кластер, разработчики могут масштабировать рабочие нагрузки обучения и инференса за пределы возможностей одной машины.