Çoğu zaman, erişimi engellemeniz gerektiğinde SeekportBot veya diğerleri crawl bots bir web sitesi ile nedenleri basittir. Web örümceği kısa sürede çok fazla erişim yaparak web sunucusunun kaynaklarını ister veya web sitenizin dizine eklenmesini istemediğiniz bir arama motorundan gelir.
Tarama botları tarafından ziyaret edilen bir web sitesi için çok faydalıdır. Bu web örümcekleri, arama motorlarındaki web sayfalarının içeriğini keşfetmek, işlemek ve dizine eklemek için tasarlanmıştır. Google ve Bing bu tür tarama botlarını kullanıyor. Ancak web sayfalarından veri toplamak için robotları kullanan arama motorları da vardır. Seekport web sayfalarını dizine eklemek için SeekportBot tarayıcısını kullanan bu arama motorlarından biridir. Ne yazık ki bazen aşırı derecede kullanıyor ve gereksiz trafik yaratıyor.
Içerik
SeekportBot nedir?
SeekportBot bir web crawler şirket tarafından geliştirilen Seekport, Almanya merkezli (ancak Finlandiya dahil olmak üzere birçok ülkeden IP kullanıyor). Bu bot, arama motoru sonuçlarında görüntülenebilmeleri için web sitelerini taramak ve dizine eklemek için kullanılır. Seekport. Anlayabildiğim kadarıyla işlevsel olmayan bir arama motoru. En azından, herhangi bir anahtar kelime öbeği için benim için herhangi bir sonuç döndürmedi.
SeekportBot Kullanmak user agent:
"Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)"SeekportBot veya diğer tarama botlarının bir web sitesine erişimi nasıl engellenir?
Bu veya başka bir web örümceğinin tüm web sitenizi taramanız ve web sunucusuna gereksiz trafik yapmanız gerekmediği sonucuna vardıysanız, erişimlerini engelleyebileceğiniz birkaç yönteminiz vardır.
Web sunucusu düzeyinde güvenlik duvarı
Bunlar güvenlik duvarı uygulamalarıdır. open-source işletim sistemleri üzerine kurulabilen Linux ve birkaç kritere göre trafiği engelleyecek şekilde yapılandırılabilir. IP adresi, konum, bağlantı noktaları, protokoller veya kullanıcı aracısı.
APF (Advanced Policy Firewall) istenmeyen botları sunucu düzeyinde engelleyebileceğiniz bir yazılımdır.
SeekportBot ve diğer web örümcekleri birden çok IP bloğu kullandığından, en etkili engelleme kuralı "user agent". Yani, erişimi engellemek istiyorsanız SeekportBot vasıtasıyla APF, tek yapmanız gereken web sunucusuna bağlanmak SSH, ve yapılandırma dosyasına filtre kuralını ekleyin.
1. Konfigürasyon dosyasını ile açın. nano (veya başka bir yayıncı).
sudo nano /etc/apf/conf.apf2. “ ile başlayan satırı arayın.IG_TCP_CPORTS” ve engellemek istediğiniz kullanıcı aracısını bu satırın sonuna virgülle ekleyin. Örneğin, engellemek istiyorsanız user agent "SeekportBot", satır şöyle görünmelidir:
IG_TCP_CPORTS="80,443,22" && IG_TCP_CPORTS="$IG_TCP_CPORTS,SeekportBot"3. Dosyayı kaydedin ve APF hizmetini yeniden başlatın.
sudo systemctl restart apf.service"SeekportBot" erişimi engellenecektir.
Filtrele web crawls Cloudflare yardımıyla – SeekportBot'un erişimini engelleyin
Cloudflare'nin yardımıyla, bazı botların bir web sitesine erişimini çeşitli şekillerde sınırlandırabileceğiniz en güvenli ve en uygun yöntem gibi görünüyor. Bu durumda da kullandığım yöntem SeekportBot bir çevrimiçi mağazaya giden trafiği filtrelemek için.
Web sitenizin zaten Cloudflare'a eklendiğini ve DNS hizmetlerinin etkinleştirildiğini (yani web sitesine giden trafiğin Cloudflare üzerinden geçtiğini) varsayarsak, aşağıdaki adımları izleyin:
1. Clouflare hesabınızı açın ve erişimi sınırlamak istediğiniz web sitesine gidin.
2. Şuraya gidin: Security → WAF ve yeni bir kural ekleyin. Create rule.
3. Yeni kural için bir isim seçin, Field: User Agent - Operator: Contains - Value: SeekportBot (veya başka bir bot adı) – Choose action: Block - Deploy.
Sadece birkaç saniye içinde, yeni kural WAF (Web Application Firewall) etkisini göstermeye başlar.
Teorik olarak, bir web örümceğinin bir siteye erişme sıklığı robots.txt, ama... bu sadece teoride.
User-agent: SeekportBot
Crawl-delay: 4çok web crawlerii (Bing ve Google hariç) bu kurallara uymaz.
Sonuç olarak, sitenize aşırı derecede erişen bir web taraması tespit ederseniz, onun toplam erişimini engellemek en iyisidir. Tabii ki, eğer bu bot, içinde bulunmak istediğiniz bir arama motorundan değilse.
