Повторить опыт с Super-agent

Открытый набор

Скачать полный набор ZIP. В архиве 15 неизменённых файлов ядра DeepSeek, лицензия MIT, генератор, стенд, данные, результаты и независимый пересчёт. Развертывать DeepSeek Harness или устанавливать npm-пакеты не нужно.

Команды после распаковки: Node.js 22.23.1 и Python 3 со стандартной библиотекой.

sha256sum -c SHA256SUMS
node --experimental-transform-types run.mjs
python3 audit.py

Флаг TypeScript экспериментальный в использованной версии Node. Перед запуском можно изучить все файлы. Скрипты работают с локальными синтетическими данными; соединения с моделью и внешними сервисами не создаются.

Проверить отдельные файлы

• Протокол, зафиксированный до исполнения
• Набор: 132 уникальных события, три порядка продолжений
• Результаты 36 конфигураций и 10 сценариев
• Журнал приёма, оценки и доставки (JSONL)
• Независимый пересчёт журнала
• Исполняемый тестовый стенд
• Воспроизводимый генератор данных
• Независимый оценщик
• Источник, версия и хеши файлов ядра
• Хеши входов и стенда перед запуском
• Контрольные суммы файлов внутри архива
• Контрольная сумма ZIP-архива
• Лицензия MIT и авторство DeepSeek Harness Team

Что эти данные не подтверждают

Проверялась маршрутизация в одном процессе с хранилищем в памяти и детерминированными адаптерами. Качество языковой модели, восстановление после аварии, безопасность реальных инструментов, время решения задач и стоимость не измерялись. Подробные условия и ограничения изложены в статье.