Компанія Google представила два спеціалізованих доповнення GoogleOther-Image і GoogleOther-Video до свого сімейства пошукових сканерів Googlebot.
Ці нові сканери є спеціалізованими версіями GoogleOther, бота, представленого у квітні 2023 року. Він допомагає внутрішнім командам Google сканувати загальнодоступні ресурси та зменшує навантаження на основних пошукових роботів Googlebot.
GoogleOther-Image налаштований на пошук загальнодоступних зображень в Інтернеті, які можна ідентифікувати за токенами агента користувача «GoogleOther-Image» та «GoogleOther». Працює під рядком агента користувача «GoogleOther-Image/1.0».
GoogleOther-Video націлений на відеоконтент, використовуючи токени «GoogleOther-Video» і «GoogleOther» з рядком агента користувача «GoogleOther-Video/1.0».
Розгортання цих ботів, як пояснює Google, спрямоване на «кращу підтримку сканування двійкових даних для цілей досліджень і розробок».
Набір пошукових роботів Google включає основного Googlebot, який відповідає за основні пошукові функції пошукового гіганта і дотримується правил robots.txt. Інші спеціалізовані боти, такі як AdsBot, а також користувацькі фетчери, такі як Google Site Verifier і деякі інструменти Google Search Console, відіграють специфічні ролі, іноді працюючи поза межами стандартного управління robots.txt.
Для вебмайстрів і SEO-фахівців поява цих нових пошукових роботів підкреслює важливість моніторингу логів сайтів на предмет активності ботів, щоб зрозуміти, як Google взаємодіє з їхнім контентом.
Джерело: Search Engine Land
