👤 Войти
Искусственный интеллектХабр — все публикации · 03.11.2026 15:00

Из какой LLM получится хороший виртуальный сотрудник, или Почему валятся бенчмарки моделей для генерации кода

В феврале 2026 года OpenAI рекомендовала оценивать ИИ-агентов для программирования по бенчмарку SWE-Bench Pro. Но уже 8 июля отозвала собственную рекомендацию, признав, что примерно 30% задач SWE-Bench Pro составлены с ошибками. До этого компания отказалась от SWE-bench Verified, когда выяснилось, что модели видели… — Хабр — все публикации

СМИ: 😐 спокойно

Как эту новость восприняли люди

Пока никто не ответил — будьте первым.

Полный текст — у издания. Здесь — короткий анонс, тон подачи и то, как новость восприняли люди.

▶ Смотреть другие новости