Питер Норвиг (Peter Norvig) директор по исследованию качества поиска компании Google ответил на вопрос, как Google узнёт о качестве результата поиска:

Для его проверки существует множество вариантов.
Рассмотрим самый грубый из них пользовательский – примитивная кликабельность с последующим визуальным анализом содержимого.
Другой способ – мы выбираем случайные запросы и нанимаем людей, которые готовы их обработать. Это обычные люди, мы обучаем, как определять спам и другие негативные моменты, а затем сохраняем результаты их работы и сравниваем со своими. Это в принципе и является “золотой серединой”, потому что результаты являются реальной точкой зрения.

Питер также описывает, как Google иногда приглашает людей в свои лаборатории или посещает их дома, чтобы понаблюдать за их поиском, поскольку это также предоставляет информацию о том, какие запросы им трудно найти.