На днях, отвечая на вопрос одного из вебмастеров, сотрудник Google Джон Мюллер заявил в Twitter, что индексировать весь интернет невозможно.
«Мы действительно не индексируем все страницы в файлах Sitemap или в интернете, это было бы невозможно сделать», — написал Мюллер.
Вебмастер спрашивал, почему Google не проиндексировал все
страницы в файле Sitemap для определённого сайта.
https://twitter.com/JohnMu/status/1199598039100469250
Google не может индексировать все страницы. Кроме того, в этом нет нужды: в интернете есть множество низкокачественных, спамных, вспомогательных и других страниц, на обработку которых явно не стоит тратить ресурсы.
Напомним, ранее Google заявил, что точный подсчёт ссылок в интернете также технически невозможен.
Источник: searchengines.ru