Apple SHARP генерирует гауссовые сплеты прямо в браузере

Веб-приложение для генерации гауссовых сплатов теперь работает прямо в браузере, опираясь на технологию Apple SHARP. Пользователь загружает одно изображение, после чего система формирует сплат-представление, показывает предварительный результат и позволяет скачать файл в формате .ply. Важно помнить о лицензии: если вы используете официальные веса модели Apple, нужно соблюдать ограничения использования для исследований, описанные в LICENSE_MODEL. Для запуска требуется современный десктопный браузер, например Chrome или Edge, и достаточное количество оперативной памяти, так как экспортированный модельный файл ONNX весит около 2.4 ГБ. Скрипт автоматически копирует активные ресурсы ONNX Runtime Web WASM в папку public/ort/, а затем запускает сервер через Vite на стандартном порту. При работе с моделями учитывайте, что SHARP обычно экспортирует два файла: основной graph sharp_web_predictor.onnx и данные весов sharp_web_predictor.onnx.data. Оба файла должны лежать в одной директории, например public/models/, иначе генерация не сработает. Браузер не сможет загрузить модель без sidecar-файла, содержащего веса. Для самостоятельного создания модели нужно сначала клонировать репозиторий Apple SHARP, настроить окружение Python с зависимостями и выполнить экспорт через команду python3 scripts/export_sharp_onnx.py. Можно указать путь к чекпоинту и выбрать GPU для экспорта. Сборка проекта через bun run build копирует все файлы из public/ в dist/, но размер архива сильно возрастает, если там лежат данные модели. В приложении используются React, TypeScript и рабочий процесс ONNX Runtime Web. Ошибку "expected magic word ... found 3c 21 64 6f 63" вызывают проблемы с загрузкой WASM, когда сервер отдает вместо бинарника HTML. Обычно это случается при открытии файла через протокол file://. Правильный запуск осуществляется через bun dev. Если генерация тормозит или падает, причина в ограниченном объёме памяти и специфике поддержки WebGPU и WASM в текущем браузере. Приложения работают в режиме прототипа, и их стабильность зависит от доступных ресурсов вашей машины и поддержки браузером этих технологий.