گوگل اخیراً یک خزنده (Crawler) وب جدید به نام «GoogleOther» را معرفی کرده است که برای کاهش فشار بر Googlebot، خزنده فهرست اصلی جستجوی آن طراحی شده است.
خزنده های وب، همچنین به عنوان روبات یا عنکبوت شناخته می‌شوند، به طور خودکار وبسایت ها را کشف و اسکن می‌کنند.
Googlebot مسئول ایجاد فهرست برای جستجوی گوگل است.
GoogleOther یک خزنده وب عمومی است که توسط تیم های مختلف محصول در Google برای واکشی محتوای قابل دسترس عموم از وبسایت ها استفاده می‌شود.
در یک پست لینکدین، Gary Illyes، تحلیلگر جستجوی گوگل، جزئیات بیشتری را به اشتراک می‌گذارد.
تقسیم مسئولیت ها بین Googlebot و GoogleOther
هدف اصلی خزنده GoogleOther جدید، به عهده گرفتن وظایف غیر ضروری است که در حال حاضر توسط Googlebot انجام می‌شود.
با انجام این کار، Googlebot اکنون می‌تواند صرفاً بر روی ایجاد فهرست جستجوی مورد استفاده توسط جستجوی Google تمرکز کند.
در همین حال، GoogleOther مشاغل دیگری مانند خزیدن تحقیق و توسعه (R&D) را که مستقیماً به نمایه سازی جستجو مرتبط نیستند، انجام خواهد داد.
Illyes در لینکدین بیان می‌کند:
ما یک خزنده جدید به نام GoogleOther را به لیست خزنده های خود اضافه کردیم که در نهایت فشاری را از Googlebot کم می‌کند. این یک تغییر بدون عملیات برای شما است، اما با این وجود به نظر من جالب است.
همانطور که ما نحوه و مواردی را که Googlebot در آنها می‌خزد بهینه می‌کنیم، چیزی که می‌خواستیم اطمینان حاصل کنیم این است که کارهای خزیدن Googlebot فقط به صورت داخلی برای ایجاد فهرستی که توسط جستجو ایجاد می‌شوند استفاده می‌شود. برای این کار ما یک خزنده جدید به نام GoogleOther اضافه کردیم که جایگزین برخی از کارهای دیگر Googlebot مانند خزیدن تحقیق و توسعه خواهد شد تا مقداری ظرفیت خزیدن را برای Googlebot آزاد کند.
GoogleOther زیرساخت Googlebot را به ارث می‌برد
GoogleOther زیرساخت مشابه Googlebot را به اشتراک می‌گذارد، به این معنی که دارای محدودیت ها و ویژگی های یکسانی است، از جمله محدودیت های بار میزبان، robots.txt (البته با توکن عامل کاربر متفاوت)، نسخه پروتکل HTTP و اندازه واکشی.
در اصل، GoogleOther یک Googlebot است که با نام دیگری کار می‌کند.
مفاهیم برای سئو و صاحبان سایت
معرفی GoogleOther نباید تأثیر قابل توجهی روی وبسایت ها بگذارد، زیرا با استفاده از زیرساخت ها و محدودیت های مشابه Googlebot عمل می‌کند.
با این وجود، این یک پیشرفت قابل توجه در تلاش های مداوم Google برای بهینه سازی و ساده سازی فرآیندهای خزیدن وب آن است.
اگر در مورد GoogleOther نگران هستید، می‌توانید آن را به روش های زیر نظارت کنید:
گزارش های سرور را تجزیه و تحلیل کنید: به طور منظم گزارش های سرور را بررسی کنید تا درخواست های GoogleOther را شناسایی کنید. این به شما کمک می‌کند بفهمید که چقدر در وبسایت شما می‌خزد و از کدام صفحات بازدید می‌کند.
به‌روزرسانی robots.txt: مطمئن شوید که فایل robots.txt شما به‌روز شده است تا در صورت لزوم قوانین خاصی را برای GoogleOther لحاظ کند. این به شما کمک می‌کند دسترسی و رفتار خزیدن آن در وبسایت خود را کنترل کنید.
نظارت بر آمار خزیدن در کنسول جستجوی Google: مراقب آمار خزیدن در کنسول جستجوی Google باشید تا هرگونه تغییر در فرکانس خزیدن، بودجه خزیدن یا تعداد صفحات فهرست شده از زمان معرفی GoogleOther را مشاهده کنید.
عملکرد وبسایت را ردیابی کنید: به طور منظم معیارهای عملکرد وبسایت خود را نظارت کنید، مانند زمان بارگذاری، نرخ پرش و تعامل کاربر، تا هرگونه ارتباط احتمالی با فعالیت های خزیدن GoogleOther را شناسایی کنید. این به شما کمک می کند تشخیص دهید که آیا خزنده جدید باعث ایجاد مشکلات پیش بینی نشده در وب سایت شما می شود.
نظرات کاربران