Forum
Aktif konular
Üyeler
Kurallar
Arama
Tahribat.com Forumları 
Web sitesi Güvenliği, DOS - DDOS Saldırıları... 
Botla Veri Çekmelerini Engellemek Botla Veri Çekmelerini Engellemek
-
Web sitemdeki içerikleri botlar çekmesin diye yanlış veya düzensiz veri çekmeleri için nasıl manupule edebilirim.
Flood , ip blok gibi korumalarım mevcut çok yavaş yavaş verilerimi çekebilirler manupule etmek istiyorum.
Dil önemli değil mantık yada kod örnekleri olursa çok sevinirim. Botları kandıran bir mantık çok teşekkür ederim.
-
güncel proxy list'leri takip ederek, kullanıcı saniyede belli bir istekten fazla atıyorsa captcha çıkarmak. 90% çözüme ulaştırır.
sahibindeni inceleyebilirsin, bot yazıp. Davranışlarını.
Ama kökten çözümü yok
patata tarafından 17/Ağu/17 04:03 tarihinde düzenlenmiştir -
cookies , flood , ip blok bunlar klasik yöntemler. Ben bazen veri çekmek istediğimde bunlarla karşılaşınca sinirim bozuluyor ama illa çözüm bulunabiliyor. Adsense ile ilgili bir döküman okurken mouse hareketlerini takip eder google ona göre tık sayar yada saymaz falan diyordu tam hatırlamıyorum ama şimdi sen sorunca aklıma geldi (JS ile yapılabilir) mouse hareketlerine bakarsın bot mu insan mı diye ona göre tepki verebilirsin. Bir ara mouse sayfanın altına doğru gelince sayfanın otomatik aşağı inmesi olayını yapmıştım eğer bulursam kodları paylaşırım.
-
Sayfayı ajax ile yüklemek de bir çözüm olabilir. Çoğu bot HTML olarak çekip işlem yapıyor ancak browser gibi js yorumlamadığı için sayfada veri bulamayacaktır.
SEO'ya etkisi kötü olabilir, bilmiyorum.
-
patata bunu yazdı
güncel proxy list'leri takip ederek, kullanıcı saniyede belli bir istekten fazla atıyorsa captcha çıkarmak. 90% çözüme ulaştırır.
sahibindeni inceleyebilirsin, bot yazıp. Davranışlarını.
Ama kökten çözümü yok
Hocam olay kısa sürede çok istek atmak değil. botla sitedeki veri çekiliyor,
Senin elinde 18,000 tane sahibinden urli olsun sen gunde 100 tane random aralıklarda ilanı sahibinden.com'a nanik yaparak çekebilirsin. hatta öyle ki nodejs'te bir tane window açarsın urlini yazar bağlanır fetch edersin çaktırmadan
Sen bir gecede her şeyi almaya çalışırsan elbette yakalanırsın. 18,000 içerik 3 ayda gelebilir ancak 10 gün sonra elinde 2,000 içerik olacağını unutma.
Açıkçası, ben de uğraştığım birçok proje için birçok site ve sayfa fetch ettim (bilgi dahilinde), henuz oyle bir sayfa görmedim ki fetch edilemesin.
Ha yapılamaz mı yapılabilir! Ancak günümüzde kimsenin de umrunda değil açıkçası çünkü bu işlerde yasal yol açık. sitendeki bilgiler seninse ve çalınmasını istemiyorsan içeriklerini internette takip eder şikayet edersin -
Surekli etiketleri, id'leri, sinif isimlerini degistir, tasarimi bozmayacak bos eklemeler yap.
Tek seferlik ceker ama her seferinde siteye tekrar tekrar bot yazmak bezdirecegi icin bir yerden sonra bikacaklardir..
-
Tamamen engelleyebileceğini sanmıyorum hocam hiç bişe olmadı phantomjs, selenium vs. gibi kütüphaneler kullanılarak browser çalıştırılıp yine çekilir.
Hiç denemedim ama içeriği canvasa gömmek belki gözüm olur
-
amazonun kullanıcı yorumları çekilmiyordu en son bizim kullandıgımız app ile. ayrıca neden data çekilmesini istemiyorsun? ben işimi data çekmekten kazanıyorum :D
-
banada lazım bu tarz engellemeler.
-
Cevdet bunu yazdıpatata bunu yazdı
güncel proxy list'leri takip ederek, kullanıcı saniyede belli bir istekten fazla atıyorsa captcha çıkarmak. 90% çözüme ulaştırır.
sahibindeni inceleyebilirsin, bot yazıp. Davranışlarını.
Ama kökten çözümü yok
Hocam olay kısa sürede çok istek atmak değil. botla sitedeki veri çekiliyor,
Senin elinde 18,000 tane sahibinden urli olsun sen gunde 100 tane random aralıklarda ilanı sahibinden.com'a nanik yaparak çekebilirsin. hatta öyle ki nodejs'te bir tane window açarsın urlini yazar bağlanır fetch edersin çaktırmadan
Sen bir gecede her şeyi almaya çalışırsan elbette yakalanırsın. 18,000 içerik 3 ayda gelebilir ancak 10 gün sonra elinde 2,000 içerik olacağını unutma.
Açıkçası, ben de uğraştığım birçok proje için birçok site ve sayfa fetch ettim (bilgi dahilinde), henuz oyle bir sayfa görmedim ki fetch edilemesin.
Ha yapılamaz mı yapılabilir! Ancak günümüzde kimsenin de umrunda değil açıkçası çünkü bu işlerde yasal yol açık. sitendeki bilgiler seninse ve çalınmasını istemiyorsan içeriklerini internette takip eder şikayet edersinSahibinden de belirttiğim datayı 10 günde 2000 içerik çek, bu sözümü yutucam.
Tüm ip'leri biliyorlar, nasıl oluyor bilmiyorum ama.
Genel yerinde izin veriyo ama detayını çektirtmiyor sahibinden. Bak dene günde 100 tane bile çekemezsin, eğer elinde fazladan ip'in yoksa. (proxy listler bi işe yaramıyor)
Hatta yapabilirsen çok para kazanırsın, bir sürü iş ilanı var. Sahibinden den data çektirtmek isteyen adam kaynıyor ortalık.
Adamların bot engelleme sistemi muazzam çalışıyor.
patata tarafından 17/Ağu/17 13:47 tarihinde düzenlenmiştir -
Bu sahibinden için para verecek olan varsa ben yazarım engellerde aşarım bi şekilde o tonla adam kaynayan yer neresi 😀
Kısayol
Şikayet
Özel Mesaj
Alıntı yap
Cevapla