Открытая и прозрачная система оценки надежности моделей искусственного интеллекта.
K-BENCHMARK — это открытая методология ALPAR AI для оценки моделей ИИ по категориям безопасности, достоверности, справедливости, конфиденциальности, устойчивости и прозрачности. Оценки рассчитываются на основе верифицированных отчетов об инцидентах, результатов кросс-аудита и экспертных оценок с использованием доверительных интервалов Уилсона.
Оценка инцидентов ИИ в реальном мире на основе реестра ALPAR и тестирования на взлом (jailbreak).
Измерение недостоверных утверждений, математических и логических ошибок на стандартизированных тестах.
Оценка дискриминации, стереотипов и искаженной обработки информации в ответах моделей.
Аудит извлечения персональных данных (PII), утечек обучающих данных и нарушений авторских прав.
Устойчивость к инъекциям промптов, утечкам системных инструкций и изощренным атакам.
Раскрытие архитектуры модели, происхождения обучающих данных и соблюдения авторских прав.
Время непрерывной работы, стабильность задержки и выполнение соглашений об уровне обслуживания.
Соответствие Европейскому акту об ИИ (EU AI Act), классификация рисков и прозрачность управления.
Баллы рассчитываются по шкале от 0 до 100. Чем выше балл, тем выше уровень доверия к модели.
Wilson score = (p + z²/2n - z√(p(1-p)/n + z²/4n²)) / (1 + z²/n)
Доверительные интервалы рассчитываются по методу Уилсона для обеспечения статистической стабильности.
1. Отправка отчета об инциденте
2. Защита PII и анонимизация
3. Перекрестная проверка
4. Статистический расчет баллов
5. Публикация в реестре
K-BENCHMARK агрегирует подтвержденные инциденты сообщества ALPAR, независимые исследования и автоматизированные аудиты.
Отказ от ответственности: Баллы K-BENCHMARK основаны на эмпирических данных и не являются юридической сертификацией.