Çoğu zaman, erişimi engellemeniz gerektiğinde SeekportBot veya diğerleri crawl bots bir web sitesi ile nedenleri basittir. Web örümceği kısa sürede çok fazla erişim yaparak web sunucusunun kaynaklarını ister veya web sitenizin dizine eklenmesini istemediğiniz bir arama motorundan gelir.
C tarafından ziyaret edilen bir web sitesi için çok faydalıdır.rawOna çarptım. Bu web örümcekleri, arama motorlarında web sayfalarının içeriğini keşfetmek, işlemek ve dizine eklemek için tasarlanmıştır. Google ve Bing böyle c kullanırrawOna çarptım. Ancak, web sayfalarından veri toplamak için robotları kullanan arama motorları da vardır. Seekport c kullanan bu arama motorlarından biridir.rawweb sayfalarını indekslemek için SeekportBotlar. Ne yazık ki bazen aşırı derecede kullanıyor ve gereksiz trafik oluşturuyor.
Içerik
SeekportBot nedir?
SeekportBot bir web crawler şirket tarafından geliştirilen Seekport, Almanya merkezli (ancak Finlandiya dahil olmak üzere birçok ülkeden IP kullanıyor). Bu bot, arama motoru sonuçlarında görüntülenebilmeleri için web sitelerini taramak ve dizine eklemek için kullanılır. Seekport. Anlayabildiğim kadarıyla işlevsel olmayan bir arama motoru. En azından, herhangi bir anahtar kelime öbeği için benim için herhangi bir sonuç döndürmedi.
SeekportBot Kullanmak user agent:
"Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)"SeekportBot veya diğer c'ye erişim nasıl engellenir?rawbir siteye tıkladım
Bu veya başka bir web örümceğinin tüm web sitenizi taramanız ve web sunucusuna gereksiz trafik yapmanız gerekmediği sonucuna vardıysanız, erişimlerini engelleyebileceğiniz birkaç yönteminiz vardır.
Web sunucusu düzeyinde güvenlik duvarı
Bunlar güvenlik duvarı uygulamalarıdır. open-source işletim sistemleri üzerine kurulabilen Linux ve birkaç kritere göre trafiği engelleyecek şekilde yapılandırılabilir. IP adresi, konum, bağlantı noktaları, protokoller veya kullanıcı aracısı.
APF (Advanced Policy Firewall) istenmeyen botları sunucu düzeyinde engelleyebileceğiniz bir yazılımdır.
SeekportBot ve diğer web örümcekleri birden çok IP bloğu kullandığından, en etkili engelleme kuralı "user agent". Yani, erişimi engellemek istiyorsanız SeekportBot vasıtasıyla APF, tek yapmanız gereken web sunucusuna bağlanmak SSH, ve yapılandırma dosyasına filtre kuralını ekleyin.
1. Konfigürasyon dosyasını ile açın. nano (veya başka bir yayıncı).
sudo nano /etc/apf/conf.apf2. “ ile başlayan satırı arayın.IG_TCP_CPORTS” ve engellemek istediğiniz kullanıcı aracısını bu satırın sonuna virgülle ekleyin. Örneğin, engellemek istiyorsanız user agent "SeekportBot", satır şöyle görünmelidir:
IG_TCP_CPORTS="80,443,22" && IG_TCP_CPORTS="$IG_TCP_CPORTS,SeekportBot"3. Dosyayı kaydedin ve APF hizmetini yeniden başlatın.
sudo systemctl restart apf.service"SeekportBot" erişimi engellenecektir.
Filtrele web crawls Cloudflare yardımıyla – SeekportBot'un erişimini engelleyin
Cloudflare'nin yardımıyla, bazı botların bir web sitesine erişimini çeşitli şekillerde sınırlandırabileceğiniz en güvenli ve en uygun yöntem gibi görünüyor. Bu durumda da kullandığım yöntem SeekportBot bir çevrimiçi mağazaya giden trafiği filtrelemek için.
Web sitenizin zaten Cloudflare'a eklendiğini ve DNS hizmetlerinin etkinleştirildiğini (yani web sitesine giden trafiğin Cloudflare üzerinden geçtiğini) varsayarsak, aşağıdaki adımları izleyin:
1. Clouflare hesabınızı açın ve erişimi sınırlamak istediğiniz web sitesine gidin.
2. Şuraya gidin: Security → WAF ve yeni bir kural ekleyin. Create rule.
3. Yeni kural için bir isim seçin, Field: User Agent - Operator: Contains - Value: SeekportBot (veya başka bir bot adı) – Choose action: Block - Deploy.
Sadece birkaç saniye içinde, yeni kural WAF (Web Application Firewall) etkisini göstermeye başlar.
Teorik olarak, bir web örümceğinin bir siteye erişme sıklığı robots.txt, ama... bu sadece teoride.
User-agent: SeekportBot
Crawl-delay: 4çok web crawlerii (Bing ve Google hariç) bu kurallara uymaz.
Sonuç olarak, bir web c tanımlarsanızrawl sitenize aşırı erişim sağlayan kişinin erişimini tamamen engellemek en iyisidir. Tabii ki, bu bot, içinde yer almakla ilgilendiğiniz bir arama motorundan değilse.
