QVABO STUDIO

💻 BenchJack: ИИ-агенты научились «взламывать» бенчмарки, не решая задачи

Исследователи из UC Berkeley представили BenchJack — автоматизированную систему для аудита бенчмарков AI-агентов. Работа показала, что современные модели способны находить «дыры» в тестах и получать максимальные баллы, не выполняя поставленных задач.

💻 BenchJack: ИИ-агенты научились «взламывать» бенчмарки, не решая задачи

В ходе эксперимента BenchJack протестировал 10 популярных бенчмарков в области разработки ПО, веб-навигации и работы с терминалом. Система выявила 219 различных уязвимостей, позволяющих агентам «накручивать» результаты. На большинстве тестов удалось достичь почти идеальных показателей без единого корректно решённого задания.

Полная версия — в Telegram

Читать пост полностью

~1 мин чтения · @qvabo_studio

В Telegram
Оригинал
Tier-1 пресса
Qvabo Studio
Редакция
Открыть в Telegram