Veri Kazıma Botu: Kurulum, İlk Tarama ve Bakım Rutini

Bu sayfa bir ürün tanıtımı değil, uygulayıcı için yazılmış bir işletme kılavuzudur. Veri kazıma botunu kuracak, ilk taramayı doğrulayacak, zamanlamayı ayarlayacak ve bir şeyler ters gittiğinde ilk müdahaleyi yapacak kişiyi hedefler. Kazımanın makine tarafında ne olduğunu merak ediyorsanız teknik anlatım ayrı sayfada; burada anlatılan şey aracın günlük hayatta nasıl ayakta tutulduğu.

Sahibinden Pro — yıllık lisans ₺12.500 (KDV dahil). ₺300 karşılığı 1 günlük deneme lisansı alınabilir. Satın al: Sahibinden Pro

Kurduğunuz şey bir betik değil, bir düzen

Bir sayfayı okuyup dosyaya yazan kod parçası ile bot dediğimiz şey aynı değildir ve bu ayrımı baştan yapmak kurulum beklentisini doğru ayarlar. Kod parçası çalıştırıldığında bir kez işini yapar. Bot ise dört şey daha taşır. Birincisi durum bilgisidir: nereye kadar gidildiği, hangi kayıtların daha önce alındığı diskte tutulur, böylece kesinti sonrası baştan başlanmaz. İkincisi çalıştırma günlüğüdür: hangi turda kaç kayıt geldiği, hangi hatanın alındığı kayıt altındadır; bu olmadan “dün neden az geldi” sorusuna cevap veremezsiniz. Üçüncüsü zamanlamadır: işin sizin başlatmanızı beklemeden belirlenen saatte kendi kendine kalkması. Dördüncüsü arayüzdür: kriterleri kod değiştirmeden ayarlayabilmeniz. Kurulum yaparken bu dördünün nerede durduğunu öğrenin — özellikle günlüklerin hangi klasöre yazıldığını, çünkü sorun çıktığında bakacağınız ilk yer orasıdır. Bir botun değeri, ilk turu sorunsuz tamamlamasında değil, yüzüncü turda hâlâ aynı tabloyu üretiyor olmasındadır.

Kurulum: makine, tarayıcı profili, lisans

Kurulum üç kararla başlar. Birincisi makinedir: ürünlerimiz Windows 10 ve 11 (64-bit) üzerinde çalışır, kurulacağı bilgisayarın tarama saatlerinde açık ve uyanık kalması gerekir. Bu yüzden dizüstü bilgisayarınızı akşam kapatıyorsanız, düzenli tarama için ya saati mesai içine çekin ya da ayrı bir makine ayırın. İkincisi tarayıcı profilidir: bot sizin zaten giriş yapmış olduğunuz gerçek profili kullanır, yani programa parola girmezsiniz. Kurulumdan önce o profilde hedef siteye elle giriş yapın ve “beni hatırla” seçeneğini işaretleyin; ilk gün yaşanan sorunların önemli bir kısmı bu adımın atlanmasından çıkar. Üçüncüsü lisanstır: lisans cihaz bazlıdır, yani ikinci bir bilgisayarda çalıştırmak ayrı bir kalemdir; cihaz değiştirdiğinizde ise destek talebiyle taşınır, yeniden satın almanız gerekmez. Kurulum sırasında güvenlik yazılımının uyarı vermesi olağandır, çünkü tarayıcıyı dışarıdan yöneten programlar bu yazılımlar tarafından temkinli karşılanır. Yapılacak şey uyarıyı görmezden gelmek değil, kurulum klasörünü istisna listesine eklemektir.

İlk tarama: küçük parti, gözle doğrulama, sonra ölçek

İlk gün yapılan en yaygın hata, botu en geniş kriterle çalıştırıp binlerce satırlık bir dosya üretmek ve o dosyaya bakarak “çalışıyor” demektir. Doğru sıra tersidir. Bir pazaryeri ürün listesi üzerinden anlatalım. Önce kriteri daraltın: tek kategori, tek fiyat bandı, yirmi civarı sonuç verecek kadar. Turu çalıştırın ve çıkan dosyayı açın. Şimdi asıl adım: rastgele beş kaydı seçin, o kayıtların sayfasını tarayıcıda elle açın ve dosyadaki değerlerle karşılaştırın. Başlık aynı mı, fiyat aynı mı, bağlantı doğru kayda mı gidiyor, birim ve para birimi doğru okunmuş mu. Beş kayıt kulağa az geliyorsa şunu düşünün: kural yanlışsa beşinde de yanlış çıkar, kural doğruysa beşi de tutar. Bu adım geçildikten sonra kapsamı bir kademe genişletin, ikinci turu çalıştırın ve bu kez satır sayısına bakın — beklediğiniz büyüklük mertebesinde mi? Ancak üçüncü turda tam kapsama geçin. Bu üç aşamalı ısınma yarım saatinizi alır ve karşılığında haftalarca yanlış veriyle çalışma riskini ortadan kaldırır.

Zamanlama ve makine: bot çalışırken bilgisayarınız

Zamanlanmış çalıştırma, botu bir araçtan bir düzene çeviren şeydir; ama beraberinde makineyle ilgili birkaç pratik kural getirir. Bot gerçek bir tarayıcı açtığı için, o tarayıcı çalışırken bilgisayarınızı kullanmaya devam edebilirsiniz; yalnızca bot penceresini kapatmayın ve içinde elle gezinmeyin, çünkü sayfayı değiştirmeniz o anki okumayı bozar. İkinci konu uyku modudur: makine uykuya geçtiğinde tarama durur ve o tur atlanır. Zamanlanmış kullanımda uyku ayarını taramanın süresini kapsayacak şekilde kapatın. Ekran kilidi genellikle sorun değildir, ancak bazı kurumsal kilit politikaları oturumu tamamen kapatır; böyle bir ortamda ayrı bir makine ayırmak en temiz çözümdür. Saat seçiminde iki değerlendirme var. Gece saatleri makineyi meşgul etmez ama bazı sitelerde sonuç sayısı ve sayfa davranışı gündüzden farklı olabilir, bu yüzden ilk hafta gece ve gündüz turlarının satır sayısını karşılaştırın. Son olarak, tarama süresi kapsamla doğru orantılıdır; günlük bir tur kuruyorsanız bir sonraki turun başlangıcına kadar bitecek bir kapsam seçin, aksi hâlde turlar üst üste biner.

Bakım takvimi: haftalık, aylık ve arayüz değiştiğinde

Bakım, bir şey bozulduğunda yapılan iş değil; bozulduğunu erken fark etmek için kurulan rutindir. Haftalık bakım beş dakikadır ve iki sayıya bakar: bu haftanın turlarında gelen ortalama satır sayısı geçen haftaya göre belirgin biçimde düştü mü, ve sütun bazında boş oranı arttı mı. İkisinden biri kaymışsa bir şey değişmiştir; hangi tarafta olduğunu bulmak, veriyi iki hafta sonra kullanırken fark etmekten çok daha ucuzdur. Aylık bakım yarım saattir ve üç iş içerir: kayıtlı arama kriterlerini gözden geçirmek — piyasa değişmiş, filtreniz eskimiş olabilir; biriken çıktı dosyalarını arşivlemek, çünkü aynı klasörde yüzlerce dosya birikmesi zamanla hangi dosyanın güncel olduğunu belirsizleştirir; ve programın güncel sürümde olduğunu doğrulamak. Üçüncü bakım türü takvime bağlı değildir: hedef site arayüzünü değiştirdiğinde. Bu durumda yapılacak ilk şey botu daha çok çalıştırmak değil, durdurmaktır. Bozuk kuralla üretilen veri, hiç veri olmamasından daha zararlıdır çünkü ona güvenirsiniz. Uyum yaması abonelik boyunca ücretsizdir; yama gelene kadar kapsamı daraltıp yalnızca doğruluğunu teyit ettiğiniz alanlarla devam edebilirsiniz.

Altı tipik durum ve ilk yapılacak

Sahada en sık karşılaşılan altı durum ve doğru ilk hamleleri. Bir: bir sütun bomboş geliyor. İlk hamle programı yeniden kurmak değil, o sayfayı tarayıcıda elle açıp o alanın gerçekten görünüp görünmediğine bakmaktır; birçok kaynakta iletişim alanları ancak tıklamayla açılır ya da hiç gösterilmez. İki: sonuç sayısı düne göre belirgin düştü. Sırayla kontrol edin — filtre elle değiştirilmiş mi, oturum düşmüş mü, site sayfalama davranışını değiştirmiş mi. Üç: oturum sürekli düşüyor. Bot profilinde elle giriş yapın, oturumu açık bırakın ve aynı profili başka bir pencerede paralel kullanmayın. Dört: uzun listede belli bir noktadan sonra ilerlemiyor. Bu genellikle arıza değil, kaynağın sayfalama tavanıdır; çözüm işi filtreyle bölmektir — ilçe ilçe, fiyat bandı bandı. Beş: dosyada Türkçe harfler bozuk. Düz metin yerine elektronik tablo biçiminde çıktı alın ya da içe aktarırken kodlamayı elle seçin. Altı: güncelleme sonrası program açılmıyor. Çoğunlukla güvenlik yazılımı yeni sürümü karantinaya almıştır; karantinayı kontrol edip klasör istisnasını yenileyin. Altısında da ortak kural şudur: müdahaleden önce günlüğe bakın.

Botu ekibe devretmek: çalıştırma defteri

Botu kuran kişiyle onu her gün çalıştıracak kişi çoğu zaman aynı değildir ve devir yapılmadığında araç, kuran kişi izne ayrıldığı hafta durur. Devir için karmaşık bir belge gerekmiyor; tek sayfalık bir çalıştırma defteri yeterli. İçinde şunlar olsun: turun tarihi ve saati, çalıştıran kişi, kullanılan kriter, gelen satır sayısı, gözle kontrol yapıldı mı ve varsa not. Bu defterin iki işlevi var. Birincisi, satır sayısı sütunu zamanla bir referans çizgisi oluşturur; bir hafta sonra “bu az mı geldi” sorusuna tahminle değil, kendi geçmişinize bakarak cevap verirsiniz. İkincisi, kriter sütunu sayesinde iki farklı kişinin farklı filtrelerle çalıştırıp birbirinin sonucunu “bozuk” sanması engellenir. Devrin ikinci parçası yetki ve sorumluluk netliğidir: kriteri kim değiştirebilir, çıktıyı kim paylaşır, arıza durumunda kim destek açar. Bu üç soru yazılı değilse bot teknik olarak çalışsa bile kurumsal olarak sahipsiz kalır ve sahipsiz araçlar birkaç ay içinde kullanımdan düşer.

Sık sorulan sorular

Kurulum ne kadar sürer, teknik bilgi gerekir mi?

Kurulumun kendisi kısa; asıl süre ilk taramanın doğrulanmasında geçer ve bunu aceleye getirmemenizi öneririz. Kod yazmanız gerekmez, ama bir Windows bilgisayarda program kurabilecek ve klasör ayarı yapabilecek kadar rahat olmanız gerekir. Kurulum desteği veriyoruz; ekranı paylaşarak birlikte yapmak ilk gün için en hızlı yol.

Bot çalışırken bilgisayarımda başka işlerimi yapabilir miyim?

Evet. Bot kendi tarayıcı penceresinde çalışır; siz başka programlarda çalışmaya devam edebilirsiniz. İki kural var: bot penceresini kapatmayın ve içinde elle gezinmeyin. Makinenin uykuya geçmemesi de gerekir, aksi hâlde tur yarıda kalır.

Aynı lisansı iki bilgisayarda kullanabilir miyim?

Lisans cihaz bazlıdır, yani iki bilgisayarda eşzamanlı kullanım ayrı bir lisans gerektirir. Buna karşılık cihaz değiştirdiğinizde — bilgisayar yenilendi, format atıldı — lisans destek talebiyle yeni cihaza taşınır ve bunun için tekrar satın alma yapmanız gerekmez.

Güvenlik yazılımı programı engellerse ne yapmalıyım?

Bu uyarı, tarayıcıyı dışarıdan yöneten programlarda olağandır ve tek başına bir tehdit göstergesi değildir. Doğru hamle koruma yazılımını kapatmak değil, yalnızca kurulum klasörü için istisna tanımlamaktır. Güncelleme sonrası uyarı tekrarlarsa istisnanın yeni sürüm dosyalarını kapsadığını kontrol edin.

Hedef site arayüzünü değiştirirse bot ne kadar sürede tekrar çalışır?

Uyum yaması yayınlanana kadar geçen süre değişimin büyüklüğüne bağlıdır ve baştan gün olarak söz veremeyiz. Söyleyebileceğimiz şu: yama abonelik boyunca ek ücretsizdir ve bu süre içinde botu durdurup kapsamı daraltmanızı öneririz. Bozuk kuralla toplanan veri sonradan ayıklanamaz.

Bir gece tarama çalışmazsa o günün verisi kaybolur mu?

Kaynakta anlık olan bilgi — o gün geçerli olan fiyat gibi — geriye dönük alınamaz, bu yüzden atlanan tur telafi edilemez. Buna karşılık kayıt listesinin kendisi bir sonraki turda güncel hâliyle gelir, yani liste eksik kalmaz. Kritik takiplerde makinenin gece açık kalmasını garanti altına almak, bu maddeyi tamamen ortadan kaldırır.