رباتها در همه جای اینترنت وجود دارند و تقریباً ۴۰٪ از ترافیک اینترنت را اشغال کردند. خوشبختانه Cloudflare ابزاری را ارائه می‌دهد که می تواند ربات های ناپسند شما را شناسایی و مسدود کند ما آن را مدیریت Bot می‌نامیم. در واقع ، Cloudflare همیشه نوعی تشخیص ربات را ارائه داده است که این ابزار جدیدترین ابزار این شرکت است و در این مقاله هم به این موضوع می‌پردازیم آنالیز و تشخیص حمله ربات توسط کلودفلر (Cloudflare) چیست و چگونه به شما کمک می‌کند ترافیک خودکار خود را کنترل کنید.
ربات مخرب چیست
بسیاری از وب سایت‌ها انتظار رفتار معمولی مانند سایر افراد را دارند که به آن رفتار انسانی می‌گویند. مثلا وقتی می‌خوایم خرید اینترنتی کنیم چنین رفتاری خواهی داشت:
ممکن است چند مورد را جستجو کنیم، وقتی چیز جالبی پیدا کردیم، بررسی‌ها را بخوانم و در نهایت یک سفارش را کامل کنیم. این رفتار یک استفاده استاندارد از اینترنت برای خرید است. اما در موارد مخرب با ورود رباتی به وبسایت، موجودی کالایی را در لحظه‌ای صفر می‌کند.
می‌بینید که تفاوت رفتار عادی از رفتار مخرب چگونه است. در حالی که اکثر انسانها از اینترنت به خوبی استفاده می‌کنند ، برخی از آنها از ابزارهای خودکار برای سوء استفاده می‌کنند. به عنوان مثال، مهاجمان با استفاده از ربات‌های خودکار برای بررسی سریع، موجودی کفش را در سایتی تمام می‌کنند.
وقتی انسان روی “افزودن به سبد خرید” کلیک کند، رباتها قبلاً هزینه حمل و نقل را پرداخت کرده‌اند. اشخاص حقیقی امکان خرید پیدا نمی‌کنند، کسب و کارهای آنلاین برای جلوگیری از این اتفاق از ارزیابی رباتها کمک می‌گیرند تا ترافیک های مزاحم را کنار بزنند.
هنگامی که یک خرده فروش، قیمت کتاب را به ۱۰ دلار کاهش می‌دهد، ربات خرده فروش دیگری با قیمت ۹/۹۹ دلار پاسخ می‌دهد. اینگونه است که ما در نهایت با قیمت‌های عجیب و غریب مواجه می‌شویم. بدتر از همه اینکه ربات‌های مخرب برای پنهان کردن خود، هویت جعلی ایجاد می‌کنند. آنها در میان ما در محیط اینترنت پنهان شده‌اند.
ربات تایید شده چیست
همه رباتها بد نیستند. Cloudflare لیستی از ربات‌های خوب تأیید شده را نگه می‌دارد که در حقیقت از بقیه جدا می‌شوند. ربات‌های تأیید شده معمولاً در مورد اینکه چه کسی هستند شفاف هستند:
به عنوان مثال DuckDuckGo آدرس های IP مورد استفاده خود را برای موتور جستجو به صورت عمومی لیست می‌کند. این یک سرویس مفید است که اتفاقاً خودکار عمل می‌کند، بنابراین این رباتها تایید شده هستند. کلودفلر همچنین رباتها را برای نظارت بر خطا و استفاده از سایر ابزارها تأیید می‌کند.
آنالیز و تشخیص حمله ربات توسط کلودفلر
۱) وارد bot Analytics شوید
همانطور که قبلاً بحث شد، کلودفلر یک پلتفرم مدیریت Bot ساخته است که رباتها را به صورت هوشمند در اینترنت شناسایی می‌کند و به مشتریان اجازه می‌دهد موارد بد را مسدود کرده و موارد خوب را نگه‌دارند.
این رباتها را می توانید با ابزار جدیدی به نام Bot Analytics مشاهده کنید. سیستم سریع ، دقیق و پر از اطلاعات است. می‌توانید داده‌ها را حداکثر تا یک ماه در گذشته و بدون تأخیر قابل توجه بررسی کنید. برای رسیدن به این هدف، داده‌ها را با GraphQL در معرض دید قرار داده و با فناوری bitrate adaptive (ABR) جفت کرده‌اند تا محتوای آن به صورت پویا بارگیری شود. اگر از قبل مدیریت اکانت کلودفلر، Bot را به حساب Cloudflare خود اضافه کرده‌اید ، Bot Analytics در سرویس شما گنجانده شده است.
۲) محل قرار گیری Bot Analytics
اول به کجا برویم؟ Bot Analytics در زیر صفحه Firewall نوار زمینه قرار دارد. پس از ورود به Firewall، به «نمای کلی» بروید و تصویر کوچک دوم را در سمت چپ انتخاب کنید. به یاد داشته باشید برای دسترسی کامل به تجزیه و تحلیل‌ها، مدیریت ربات باید به حساب شما اضافه شود.
شایان ذکر است که سایت‌های تجاری بدون مدیریت Bot، می‌توانند بررسی ترافیک ربات خود را مشاهده کنند. این داده‌ها در زمان واقعی به روز می‌شوند و باید به شما کمک کنند تا مشکل بوت را تشخیص دهید. به طور کلی، اگر شما یک درصد دو رقمی از ترافیک خودکار داشته باشید، ممکن است بیشتر از هزینه‌های قبلی برای هزینه‌های مبدا هزینه کنید. از همه مهمتر، ممکن است در معرض از دست دادن درآمد یا اطلاعات حساس به احتکار موجودی کالا باشید.
“درخواست‌ها بر اساس نمره ربات” اولین بخش در صفحه است. در اینجا ، کلودفلر ترافیک را با گذشت زمان نشان می‌دهد، اما آن را به صورت عمودی بر اساس نوع ترافیک تقسیم می‌کند. بخشهای سبز، ربات‌های تأیید شده را نشان می‌دهند، در حالی که سایه‌های بنفش و آبی درجات مختلف احتمال ربات یا انسان را نشان می‌دهد.
“توزیع امتیاز ربات” گزینه بعدی است. این مورد داده‌های مشابه را نشان می‌دهد، اما کلودفلر آنها را به صورت افقی و بدون مفهوم زمان نمایش می‌دهد. از نوار لغزنده زیر برای فیلتر کردن زیر مجموعه‌های ترافیک و مشاهده سازگاری استفاده کنید.
توصیه می‌شود برای یافتن آستانه ربات ایده آل خود، از نوار پیمایش استفاده کنید. به طور کلی ترافیک زیر ۳۰٪ را خودکار در نظر می‌گیرند، اما ممکن است مشتریان انتخاب کنند که ترافیک زیر ۴۰ را به چالش بکشند یا ترافیک زیر ۱۰ را مسدود کنند (حتی می‌توانید هر دو را انجام دهید!). شما باید آستانه‌ای برای خود را تعیین کنید.
“منبع نمره ربات” در پایین صفحه قرار دارد. در اینجا می‌توانید موتورهای ردیابی را که مسئول امتیاز دهی به ترافیک شما هستند را بررسی کنید. اگر نمی‌توانید هدف هر موتور را بخاطر بسپارید، کافیست بر روی راهنمای ابزار حرکت کنید تا شرح مختصری را مشاهده نمایید.
ممکن است مشتریان تعجب کنند که چرا برخی از درخواست‌ها به عنوان “محاسبه نشده” علامت گذاری می‌شوند! این امر معمولاً زمانی اتفاق می‌افتد که Cloudflare از طرف شما صفحه خطایی صادر کرده باشد. شاید درخواست بازدید کننده با (خطای 504) مواجه شده باشد، در این حالت Cloudflare با یک صفحه خطای مارک پاسخ داده است. صفحه خطا نمی‌تواند یک چالش یا بلوک را تأیید کند، بنابراین کلودفلر وقت خود را صرف محاسبه نمره ربات نمی‌کند، بلکه با پست دیگری این کار را دور می‌زند.
“درخواست های برتر از طریق منبع” آخرین قسمت Bot Analytics است. اگرچه به اندازه بخشهای بالا کاملاً رنگارنگ نیست، اما این بخش Bot Analytics داده‌های کاملاً خاص ایجاد می‌کند. می‌توانید ویژگی‌های درخواست، از جمله آدرس IP، ورود‌های کاربر و ASN را فیلتر یا حذف کنید.
۳) شناسایی حمله ربات
بیایید یک حمله ربات را مشاهده کنیم!
ابتدا از ابزار “منبع نمره ربات” برای انتخاب واضح ترین درخواست‌های ربات – آنهایی که توسط موتور اکتشافی کلودفلر شناسایی شده‌اند ، استفاده می‌کنیم. ربات اطلاعات زیر را در اختیار کلودفلر قرار می‌دهد، به عنوان مثال:
قبلاً کلودفلر در مورد همبستگی بین چند مورد از این ویژگی‌ها شک کرده است. اول آدرس‌های IP همه درخواست‌های بسیار مشابهی دارند. هیچ انسانی ۲۲ هزار بار به سایتی وارد نمی‌شود و یکنواختی در IPهای ۵ تا ۲ نشان دهنده ربات مخرب است. جای تعجب نیست که همین الگو برای نماینده کاربر در سمت راست رخ می‌دهد. وقتی Bot Analytics این یکنواختی را نشان می‌دهد و ناهنجاری‌های واضح را در حوزه و ASN نشان می‌دهد، هر کسی مشکوک می‌شود.
مثلا اگر بخواهیم این ناهنجاری‌ها را فیلتر کنیم؛ جدول را به طور خلاصه نمایش می‌دهیم و ۹ آدرس IP جداگانه یافتیم که رفتار مشابهی را نشان می‌دهند. این احتمالاً یک scraper آسیب رسان است که محتوای تهاجمی دارد. قابل توجه است به عنوان یک ربات تأیید شده، علامت گذاری نشده است، بنابراین مدیریت ربات کمترین امتیاز ممکن را صادر کرده و آن را به عنوان “خودکار” پرچم گذاری می‌کند. اگر در بالای Bot Analytics، ترافیک را کاهش دهیم و مدت زمان را ۲۴ ساعت نگه داریم:
شدیدترین حملات می‌آیند و می‌روند. این ترافیک به وضوح پایدار است و بهترین حدس این است که شخصی مرتباً صفحه اصلی را هدف قرار می‌دهد. این مخرب ترین حمله نیست، اما همچنان محتوا گرفته می‌شود. اگر مایل باشیم، می توانم یک فیلتر firewall تعیین کنیم که این نمره ربات یا هر فیلتر دیگری را که استفاده کرده‌ایم هدف قرار دهد.
۳) امتحان کنید
اگر وبسایت دارید ولی با استفاده از رباتها از آن محافظت نمی‌کنید، bot analytics را امتحان کنید و صفحه‌ای امن برای کاربران و سایتتان بسازید. خطر نکنید، شاید یک مشتری که با مشکلی در سایت شما مواجه شده است دیگر به وبسایت شما برنگردد که ضرر بزرگی برای شما است.
حالا که با آنالیز و تشخیص حمله ربات توسط کلودفلر (Cloudflare) آشنا شدید، پیشنهاد می‌شود که برای پرداخت هزینه پریمیوم کلودفر از خدمات پرداخت ارزی با پی پال مجموعه اول پرداخت استفاده نمایید.
نظرات کاربران