Ankara genelinde geniş bir tarama planlıyorum. Tek oturumda gerçekçi ilan sayısı nedir, üstünü zorlamanın bir bedeli var mı?
İnşaat firmasında satış müdürüyüm. Ankara’da üç ilçede konut projelerimiz var ve çevredeki ikinci el fiyatlarını düzenli izlemek istiyorum. İlk denememde tek ilçe için tarama başlattım, 600 küsur kayıt geldi ve rapor sorunsuz düştü. İştahım kabardı, üç ilçeyi birleştirip tek seferde çalıştırdım. Bu sefer sayaç ilerledi ama tarama beklediğimden çok uzun sürdü ve sonlara doğru bazı kayıtlarda alanların boş geldiğini fark ettim. Hata mesajı almadım, sadece bazı satırlar eksikti. Merak ettiğim Tek oturum için gerçekçi üst sınır nedir? Sınırı zorlayınca bot mu yavaşlıyor, site mi kısıtlıyor? Taramayı ilçe ilçe bölmek sonucu değiştirir mi? Eksik gelen satırlar sonradan tamamlanabiliyor mu? Amacım rekor kırmak değil, haftalık düzenli ve güvenilir bir tablo. Her hafta pazartesi sabahı elimde aynı yapıda bir dosya olsun, yönetim toplantısına onunla gireyim istiyorum. Eksik satırlı bir tabloyla girdiğim ilk toplantıda rakamlar sorulunca cevap veremedim, bir daha o duruma düşmek istemiyorum. Üç ilçeyi tek dosyada mı tutmalıyım yoksa ayrı ayrı mı, o konuda da fikir alırım.
Ben araç tarafında çalışıyorum ama mantık aynı. Tek büyük tarama yerine küçük parçalar her zaman daha temiz sonuç veriyor. Ben marka bazında ayırdım, sen ilçe bazında ayır. Bir de şu var: uzun taramalarda site sayfaları yavaşlatmaya başlıyor. Bot bozulmuyor ama her adımda daha çok bekliyor, bu da toplam süreyi katlıyor. Parçalara bölünce her oturum taze başlıyor. Bende marka başına ayırınca hem süre kısaldı hem eksik satır kalmadı. Kapasite tarafını açalım. Oturum başına 1.000’in üzerinde ilan standart kapasitedir ve oturum sayısında bir sınır yoktur. Yani günde beş oturum çalıştırmanızın önünde engel yok; asıl mesele tek oturuma ne kadar yüklediğiniz. Yavaşlamanın kaynağı bot değil, sitenin yoğun trafikte sayfa yanıtını geciktirmesidir. Bot her adımda beklediği için toplam süre uzar. Eksik gelen alanlar genellikle sayfa tam yüklenmeden bir sonraki adıma geçilen durumlardan doğar. Bu satırlar rapora eksik yazılır ama işaretlenir. Panelde "eksik kayıtları yeniden dene" seçeneği var; yalnızca boş alanlı satırlar için hedefli ikinci bir tur yapar, baştan taramaya gerek kalmaz. Geniş bölge taramalarında kategori veya ilçe bazında bölmek hem süreyi kısaltır hem eksik satır oranını belirgin şekilde düşürür. Sizin senaryo için öneri Üç ilçeyi tek planda değil, üç ayrı plan olarak tanımlayıp arka arkaya zamanlayın. Toplam süre benzer olur ama her oturum ayrı biter ve bir tanesi aksarsa yalnızca o tekrarlanır. Buna bir de veri tarafından bakayım. Tek oturumda 3.000 satır çekmek ile üç oturumda 1.000’er satır çekmek sizin için aynı değil. Çünkü tek oturum aksarsa elinizde yarım bir tablo kalıyor ve o tablonun nerede kesildiğini sonradan anlamak zor. Parçalı çalıştığınızda her dosyanın kapsamı belli: hangi ilçe, hangi tarih, kaç kayıt. Haftalık karşılaştırma yapacaksanız bu netlik altın değerinde. Ben tam da bu yüzden büyük taramaları hiç sevmiyorum, hız kazandırdığı kadar güven kaybettiriyor. Üç ayrı plan kurdum, sabah altıdan itibaren birer saat arayla çalışacak şekilde zamanladım. İlk gün sonucu temiz geldi, eksik satır sayısı neredeyse sıfır. Toplam süre de tek plandakine göre kısaldı, bunu hiç beklemiyordum. Bir sorum var: bu üç ayrı Excel dosyasını her hafta elle birleştiriyorum. Panelde bunları tek dosyada toplayan bir seçenek var mı, yoksa bunu kendim mi halletmem gerekiyor?