← К научному разделу
Сначала метод, затем вывод · кандидат
Контрольные наборыТестовый набор с ожидаемыми ответами, измеряющий эталонную реализацию, а не качество поиска в реальном мире.
Синтетические контрольные наборы проверяют только эталонную реализацию.
Текущий проверочный прогон
пройден
- Область проверки
synthetic-local-only- Хеш квитанции
cf2531890e5eb4955d62cebe1081e0bc6f8b20512cc580b8e72e30310b725cf6- Контроли
- 21
Сеть не использовалась · Закрытые данные не использовались
capture-policyВерсия 1.0.0
Проверка опасных адресов без выхода в сеть
Измерить соответствие цели сбора статическим правилам безопасности до открытия сетевого соединения.
Сценарии
Проверяются один публичный HTTPS-адрес и одиннадцать отрицательных контролей: локальные и облачные адреса, опасный порт, учётные данные и неоднозначность разбора.
Метрики
- точное совпадение с ожидаемым решением
- число допущенных и заблокированных контролей
- отсутствие сетевой активности
Ограничения карточки
- Статическая проверка не подтверждает последующее разрешение DNS или цепочку перенаправлений.
- Синтетические адреса не являются полным тестом исходящего доступа рабочего контура.
- Контроли
- 12 · 11 негативных языковых контролей
- Лицензия
NOASSERTION- Текущий проверочный прогон
pass
Командаpython scripts/verify_benchmarks.py --benchmark capture-policy
local-searchВерсия 1.0.0
Трёхъязычный поиск внутри кейса
Измерить детерминированный результат русских, казахских и английских запросов во временном синтетическом кейсе.
Сценарии
Для каждого языка выполняются два положительных и один отрицательный запрос; точные идентификаторы найденных записей сравниваются с ожидаемым набором.
Метрики
- доля точного совпадения записей
- доля пройденных положительных запросов
- доля пройденных отрицательных запросов
- доля пустых результатов
Ограничения карточки
- Девять синтетических запросов не представляют распределение запросов реальных пользователей.
- Проверка не измеряет морфологию, транслитерацию или семантическую релевантность.
- Контроли
- 9 · 3 негативных языковых контролей
- Лицензия
NOASSERTION- Текущий проверочный прогон
pass
Командаpython scripts/verify_benchmarks.py --benchmark local-search
Карта научного раздела
У каждой методической страницы есть собственное состояние; черновик не выдаётся за опубликованный материал.