Meta выпустила Muse Spark — открытую ИИ-модель, оптимизированную для Mac Studio

Meta выпустила Muse Spark Open — загружаемую модель ИИ, оптимизированную для локального запуска на нескольких Mac Studio с M5 Ultra с помощью фреймворка Apple MLX. Apple также опубликовала результаты тестов, показывающие производительность модели в конфигурациях с двумя и четырьмя Mac.

Мультимодальная модель предназначена для программирования, ИИ-агентов и многоэтапных рассуждений; размер её контекстного окна достигает 1 миллиона токенов. В ней используется архитектура «смесь экспертов» с общим числом параметров 816 миллиардов: на каждом шаге активируются 42 миллиарда параметров, а не вся сеть целиком.

Для запуска на настольном компьютере по-прежнему требуется мощное оборудование. В оптимизированной конфигурации Meta используются два Mac Studio с M5 Ultra, каждый с 512 ГБ унифицированной памяти. Даже сжатая 4-битная версия модели занимает около 493 ГБ — и это без учёта дополнительной памяти, необходимой для её работы. Поэтому на одном Mac Studio с 512 ГБ она не поместится.

Mac Studio с M5 Ultra от Apple обеспечивает пропускную способность памяти 1,2 ТБ/с на каждом компьютере. В этих демонстрациях используется конфигурация с максимальным объёмом памяти, о которой Apple объявила в конце октября, а не базовая модель.

Последняя версия MLX использует нейроускорители графического процессора M5 и распределяет вычислительную нагрузку между Mac, соединёнными через Thunderbolt 5. В своём техническом разборе Apple рассказывает об использовании RDMA — прямого удалённого доступа к памяти — для передачи данных между компьютерами с низкой задержкой. В тестовой конфигурации каждая пара Mac была соединена двумя кабелями Thunderbolt 5.

Apple измерила следующие скорости генерации для 4-битной модели: контекст составлял 8 192 токена, а в каждом тесте генерировалось 128 токенов:

При конвейерном параллелизме модель делится на секции, работающие на разных Mac, а при тензорном параллелизме вычисления распределяются внутри отдельных слоёв. В этих тестах второй подход обеспечил более высокую скорость генерации — около 25 токенов в секунду на двух Mac и 37 на четырёх. Эти результаты отражают генерацию текста при указанном размере контекста, а не производительность на всём окне модели объёмом 1 миллион токенов.

Meta также показала, что модель умеет не только отвечать на запросы. С помощью Muse Code она внесла изменения в приложение Ice Cubes для iOS с открытым исходным кодом: исправила ошибки, добавила новые функции и полностью собрала приложение. В другой демонстрации агент управлял DaVinci Resolve: просматривал видео покадрово, выбирал фрагменты и обрезал клипы под вертикальный формат. В обоих случаях модель работала локально.

Этот релиз продолжает предыдущую работу Apple по локальному запуску ИИ-агентов с помощью MLX, однако Muse Spark Open не ограничивается Mac. Meta указывает поддержку и других движков инференса, включая llama.cpp, SGLang и vLLM, а также облачных сервисов и API-провайдеров.

Веса модели доступны на Hugging Face и у других партнёров по распространению. Они предоставляются по лицензии Muse Model License: многие разработчики могут пользоваться ими бесплатно, но коммерческое использование ограничено. Это не лицензия на ПО с полностью открытым исходным кодом.