← К научному разделу
Сначала метод, затем вывод
Контрольные наборыТестовый набор с ожидаемыми ответами, измеряющий эталонную реализацию, а не качество поиска в реальном мире.
Синтетические контрольные наборы проверяют только эталонную реализацию.
Проверка опасных адресов без выхода в сеть
Измерить соответствие цели сбора статическим правилам безопасности до открытия сетевого соединения.
Проверяются один публичный HTTPS-адрес и одиннадцать отрицательных контролей: локальные и облачные адреса, опасный порт, учётные данные и неоднозначность разбора.
- точное совпадение с ожидаемым решением
- число допущенных и заблокированных контролей
- отсутствие сетевой активности
Ограничения
- Статическая проверка не подтверждает последующее разрешение DNS или цепочку перенаправлений.
- Синтетические адреса не являются полным тестом исходящего доступа рабочего контура.
Трёхъязычный поиск внутри кейса
Измерить детерминированный результат русских, казахских и английских запросов во временном синтетическом кейсе.
Для каждого языка выполняются два положительных и один отрицательный запрос; точные идентификаторы найденных записей сравниваются с ожидаемым набором.
- доля точного совпадения записей
- доля пройденных положительных запросов
- доля пройденных отрицательных запросов
- доля пустых результатов
Ограничения
- Девять синтетических запросов не представляют распределение запросов реальных пользователей.
- Проверка не измеряет морфологию, транслитерацию или семантическую релевантность.