Већину времена, када морате да блокирате приступ SeekportBot или други crawl bots са веб-сајтом, разлози су једноставни. Веб паук врши превише приступа у кратком временском периоду и захтева ресурсе веб сервера, или долази из претраживача у којем не желите да се ваша веб локација индексира.
Веома је корисно за веб локацију коју посећује цrawНалетео сам на њега. Ови веб паукови су дизајнирани да истражују, обрађују и индексирају садржај веб страница у претраживачима. Гоогле и Бинг користе такве вrawНалетео сам на њега. Међутим, постоје и претраживачи који користе роботе за прикупљање података са веб страница. Seekport је један од ових претраживача, који користи цrawСеекпортБот лер за индексирање веб страница. Нажалост, понекад га превише користи и ствара непотребан саобраћај.
Цупринс
Шта је СеекпортБот?
SeekportBot је web crawler које је развила компанија Seekport, који се налази у Немачкој (али користи ИП адресе из неколико земаља, укључујући Финску). Овај бот се користи за пописивање и индексирање веб локација тако да се могу приказати у резултатима претраге претраживача Seekport. Нефункционални претраживач, колико знам. Бар ми није дао резултате ни за једну кључну фразу.
SeekportBot користи user agent:
"Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)"Како блокирати приступ СеекпортБот-у или другом вrawКликнуо сам на веб локацију
Ако сте дошли до закључка да овај или други веб паук није потребно скенирати целу веб страницу и правити непотребан саобраћај на веб серверу, имате неколико метода помоћу којих можете блокирати њихов приступ.
Заштитни зид на нивоу веб сервера
То су апликације заштитног зида open-source који се могу инсталирати на оперативним системима Linux и може се конфигурисати да блокира саобраћај на основу неколико критеријума. ИП адреса, локација, портови, протоколи или кориснички агент.
APF (Advanced Policy Firewall) је такав софтвер преко којег можете блокирати нежељене ботове, на нивоу сервера.
Пошто СеекпортБот и други веб пауци користе више блокова ИП адреса, најефикасније правило блокирања је засновано на „user agent„. Дакле, ако желите да блокирате приступ SeekportBot посредством APF, све што треба да урадите је да се повежете са веб сервером преко SSH, и додајте правило филтера у конфигурациону датотеку.
1. Отворите конфигурациону датотеку са nano (или другог издавача).
sudo nano /etc/apf/conf.apf2. Потражите ред који почиње са „IG_TCP_CPORTS” и додајте кориснички агент који желите да блокирате на крају овог реда, након чега следи зарез. На пример, ако желите да блокирате user agent "SeekportBot", линија би требало да изгледа овако:
IG_TCP_CPORTS="80,443,22" && IG_TCP_CPORTS="$IG_TCP_CPORTS,SeekportBot"3. Сачувајте датотеку и поново покрените АПФ сервис.
sudo systemctl restart apf.serviceПриступ „СеекпортБот-у“ ће бити блокиран.
Филтер web crawls уз помоћ Цлоудфларе – Блокирајте приступ СеекпортБот-у
Уз помоћ Цлоудфларе-а, чини ми се најсигурнијим и најпогоднијим методом којим можете на различите начине ограничити приступ неких ботова веб страници. Метода коју сам такође користио у случају SeekportBot за филтрирање саобраћаја до продавнице на мрежи.
Под претпоставком да већ имате веб локацију додату у Цлоудфларе и да су ДНС услуге активиране (то јест, саобраћај ка веб локацији иде преко Цлоудфлареа), следите доле наведене кораке:
1. Отворите свој Цлоуфларе налог и идите на веб локацију за коју желите да ограничите приступ.
2. Идите на: Security → WAF и додајте ново правило. Create rule.
3. Изаберите име за ново правило, Field: User Agent - Operator: Contains - Value: SeekportBot (или друго име бота) – Choose action: Block - Deploy.
За само неколико секунди, ново правило WAF (Web Application Firewall) почиње да ступа на снагу.
У теорији, учесталост са којом веб паук приступа сајту се може подесити robots.txt, али... то је само у теорији.
User-agent: SeekportBot
Crawl-delay: 4Многи web crawlerии (осим Бинг-а и Гоогле-а) не поштују ова правила.
У закључку, ако идентификујете веб цrawл ко претерано приступа вашем сајту, најбоље је да му потпуно блокирате приступ. Наравно, ако овај бот није из претраживача у коме сте заинтересовани да будете присутни.
