HOŞGELDİNİZ

Web scraping, doğru yapıldığında; fiyat takibi, içerik envanteri çıkarma, rakip analizi, haber/ilan toplama, ürün kataloğu güncelleme gibi işlerde ciddi zaman kazandırır. Ancak işin iki yüzü vardır: etik ve yasal sınırlar ile teknik sürdürülebilirlik. Bu yazıda Python ile Web Scraping konusunu “Nedir?”, “Nasıl yapılır?”, “En iyi yöntem hangisi?”, “2026 güncel yöntem var mı?” ve “Hata alırsam ne yapmalıyım?” sorularına net cevap verecek şekilde ele alıyorum. Ayrıca scraping yaparken sık karşılaşılan engelleri, siteye zarar vermeden ve kurallara uyarak azaltmaya dönük anti-block stratejilerini (etik çerçevede) pratik adımlarla anlatacağım.

Bu rehber Datalife.Dev içerik standardına göre hazırlanmıştır. Hedef kitle; bilişim sektörü çalışanları, webmaster’lar, web site yöneticileri ve web yazılım kullanıcıları olduğu için, hem “kod mantığı” hem de “operasyon/iş akışı” tarafına birlikte bakacağız.

Web Scraping Nedir?

Web scraping, web sayfalarındaki veriyi otomatik olarak alıp yapılandırılmış hale getirme sürecidir. Genellikle şu çıktılar hedeflenir:

• HTML’den veri çekip tablo/JSON üretmek

• Birden fazla sayfayı dolaşıp (pagination) veri biriktirmek

• Veriyi temizleyip veritabanına kaydetmek

• Periyodik çalıştırıp güncel tutmak (cron / scheduler)

Scraping ile crawling aynı şey mi?

• Scraping: Sayfanın içeriğinden veri çıkarma (parse/transform).

• Crawling: Sayfalar arasında gezme, keşif ve link toplama.

İpucu: Site yöneticileri için pratik ayrım: “Sayfa sayfa gezip” veri çıkarıyorsanız crawling + scraping birlikte çalışıyordur.

Etik ve Yasal Çerçeve: Nerede Durmalısınız? ⚖️

Bu bölüm kritik çünkü “anti-block” konuşurken çizgiyi doğru çizmek gerekir.

Etik scraping kontrol listesi

• Sitelerin robots.txt ve kullanım koşullarını gözden geçirin.

• Kişisel veri (PII) topluyorsanız açık rıza/amaç/saklama gibi yükümlülükleri değerlendirin.

• Siteyi yormayacak hızda istek atın (rate limit).

• Mümkünse resmî API veya veri export seçeneklerini tercih edin.

• Telifli içerik/ücretli içerik (paywall) gibi alanlarda veri kullanımı risklidir.

Dikkat: CAPTCHA, giriş duvarı, paywall veya erişim kısıtlarını aşmaya yönelik yöntemler etik ve hukuki risk taşır. Bu yazı, bu tür korumaları delmeye yönelik talimat vermez; bunun yerine izinli, ölçülü ve sürdürülebilir scraping yaklaşımı sunar.

Bu rehber Datalife.Dev yaklaşımıyla, “veri toplayayım” değil “sürdürülebilir ve kurallı veri iş akışı kurayım” bakışını öne çıkarır.

2026 Güncel Yöntem Var mı?

Evet. 2026’da scraping’de iki trend öne çıkıyor:

1. jаvascript ağırlıklı siteler arttı
   Yani yalnızca requests + BeautifulSoup her zaman yetmeyebilir. Headless tarayıcı (Playwright/Selenium) ile “render edilmiş DOM” üzerinden veri almak gerekebilir.

2. Bot korumaları daha akıllı hale geldi
   Bu da “blok yememek için hile” yerine; iyi vatandaş gibi davranmayı (düşük hız, doğru header’lar, caching, schedule, hata yönetimi) ve mümkünse resmî entegrasyon kullanmayı daha değerli kılıyor.

İpucu: 2026’da “en iyi yöntem” çoğu zaman tek bir kütüphane değil; doğru strateji + doğru araç seçimi oluyor.

Nasıl Yapılır? Uçtan Uca Scraping İş Akışı

Aşağıdaki akış, gerçek projelerde en çok kullanılan “temiz” şablondur:

1) Hedef veri şemasını belirleyin

Önce ne toplayacağınızı netleştirin:

• Ürün adı, fiyat, stok, kategori, URL

• Haber başlığı, tarih, etiket, yazar

• İlan başlığı, şehir, fiyat, tarih

Sık hata: “Toplayabildiğim her şeyi toplayayım” yaklaşımı. Sonra veri temizleme ve bakım maliyeti artar.

2) Sayfa tipini sınıflandırın

• Statik HTML mi?

• JS ile render mı oluyor?

• Veri sayfaya JSON olarak mı gömülü (JSON-LD / script tag)?

3) Uygun aracı seçin (Requests mi, tarayıcı mı?)

Aşağıdaki tablo hızlı karar için:

İpucu: Eğer sayfada veriler “API çağrısından” geliyorsa, çoğu zaman tarayıcı yerine aynı veriyi sunan izinli endpoint mantığını değerlendirmek daha stabil olur (ama kullanım koşullarını yine kontrol edin).

4) Veri çekme → ayrıştırma → kaydetme döngüsü kurun

• Çekme: HTTP isteği / tarayıcı render

• Ayrıştırma: CSS selector / XPath / JSON parse

• Kaydetme: CSV/JSON/SQLite/PostgreSQL

• Tekrarlama: pagination / kategori dolaşımı

Teknik Temel: Sağlam Bir Scraper’ın Yapı Taşları

İstek atarken dikkat edilecekler

• Zaman aşımı (timeout) tanımlayın

• Retry + exponential backoff planlayın

• Yanıt kodlarını sınıflandırın (200/301/403/429/500)

Dikkat: “Sonsuz retry” sistemi kilitler. Retry sayısı sınırlı olmalı.

Parse stratejileri

• CSS selector: Hızlı ve pratik

• XPath: Karmaşık DOM’larda güçlü

• JSON-LD / script içi JSON: En stabil seçeneklerden biri

İpucu: HTML sınıfları sık değişiyorsa, “metin etrafı/label bazlı” selector yaklaşımı daha dayanıklı olabilir.

Veri kalitesi kuralları

• Boş alanları normalize edin (null/empty)

• Fiyat/tarih gibi alanları standardize edin

• Yinelenen kayıtları engelleyin (unique key: URL + tarih gibi)

Anti-Block Stratejileri: Etik Çerçevede “Engel Yememeyi” Azaltmak 🛡️

Bu bölümün amacı, sitelerin korumalarını delmek değil; meşru ve ölçülü kullanım ile gereksiz blokları azaltmaktır.

1) Trafiği insan ölçeğinde tutun (Rate limiting)

• İstekleri aralıklı gönderin

• Ani patlamalardan kaçının

• Kategori bazlı zamanlama yapın

İpucu: “Dakikada 30 istek” gibi sabit bir sayı yerine, sitenin yanıt süresi artınca otomatik yavaşlayan adaptif hız daha sağlıklıdır.

2) Caching ve “değişeni çekme” yaklaşımı

• Aynı URL’yi tekrar tekrar çekmeyin

• ETag/Last-Modified gibi sinyaller varsa değerlendirin

• Değişmeyen sayfaları haftalık/aylık çekin

Sık hata: Her çalıştırmada tüm katalogu yeniden indirmek. Hem etik değil hem maliyetli.

3) Doğru header ve kimlik bilgisi

• Tutarlı bir User-Agent kullanın

• Accept-Language gibi alanları mantıklı tutun

• İsteklerinizi şeffaf ve stabil hale getirin

Dikkat: Kendinizi “başkası gibi göstermeye” çalışmak yerine, tutarlı ve ölçülü davranmak daha sürdürülebilirdir. Kimlik gizlemeye odaklı yöntemler hem riskli hem de çoğu durumda gereksizdir.

4) Robotik davranışları azaltın (tekniğin içinde etik)

• Aynı saniyede aynı endpoint’e yüzlerce istek atmayın

• Paralelliği sınırlayın

• Yoğun saatlerde scraping’i azaltın

5) En iyi anti-block: Alternatif veri yolu

• Resmî API varsa onu kullanın

• Veri sağlayıcıdan izin isteyin

• RSS/Export gibi kanallar varsa tercih edin

Bu rehber Datalife.Dev içerik standardına göre hazırlanmıştır: “blok yememek” hedefi, “siteyi zorlamadan veri almak” hedefinin alt kümesidir.

En İyi Yöntem Hangisi? (Pratik Karar Rehberi)

Aşağıdaki karar ağacı çoğu projede işe yarar:

1. Veri HTML’de mi?

   • Evet → requests/httpx + parser

   • Hayır → 2’ye geç

2. Veri sayfada JSON olarak gömülü mü?

   • Evet → JSON parse (genellikle en stabil)

   • Hayır → 3’e geç

3. JS render gerekiyor mu?

   • Evet → Playwright/Selenium ile render + parse

   • Hayır → Selector stratejisini gözden geçir

İpucu: “Tarayıcıya geçmek”, genellikle maliyeti artırır. Önce gömülü JSON veya daha basit kaynak olup olmadığını kontrol etmek kazandırır.

Hata Alırsam Ne Yapmalıyım? (Hızlı Teşhis Tablosu)

Dikkat: Sürekli 403/429 alıyorsanız “daha agresif denemek” yerine, frekansı düşürmek ve alternatif veri yolunu değerlendirmek daha doğrudur.

Uygulanabilir Mini Plan: 1 Günde Kurulacak Scraping Sistemi

Aşağıdaki plan, özellikle webmaster ve site yöneticileri için hızlı bir başlangıç sağlar:

A) Gün 1: MVP

1. 20–50 URL belirleyin

2. Alanları seçin: başlık, fiyat, tarih, URL

3. Basit çekme + parse yazın

4. Sonucu CSV/JSON’a kaydedin

5. Log ekleyin: kaç sayfa, kaç kayıt

B) Gün 2–3: Sağlamlaştırma

• Retry/backoff ekleyin

• Duplicate kontrolü ekleyin (URL unique)

• Schedule ekleyin (günlük/haftalık)

C) 1. hafta: Sürdürülebilirlik

• Değişen/veri güncellenen sayfaları daha sık, sabit sayfaları daha seyrek çekin

• Selector kırılmalarını yakalamak için basit test (ör. “başlık boş gelirse uyar”)

İpucu: İlk hedef “mükemmel scraper” değil; “çalışan + ölçülü + bakım yapılabilir” sistem kurmaktır. Bu yaklaşım Datalife.Dev pratiklerinde sık kullanılır.

Yayına Hazır Operasyon Kontrol Listesi ✅

• Robots ve kullanım koşulları değerlendirildi

• İstek hızı ve paralellik sınırlı

• Timeout + retry + backoff var

• Veri şeması net

• Duplicate kontrolü var

• Log/rapor var (çalışma sonucu)

• Caching stratejisi var

• Selector değişimlerine karşı alarm/uyarı var

Sonuç: Etik + Teknik Dengesiyle Uzun Ömürlü Scraping

Python ile Web Scraping doğru kurgulandığında, web verisini sürdürülebilir bir iş akışına dönüştürür. 2026’da başarıyı belirleyen şey; daha agresif davranmak değil, etik sınırlar içinde doğru aracı seçmek, trafiği ölçülü tutmak, değişeni çekmek ve hata yönetimini olgunlaştırmaktır. Datalife.Dev yaklaşımıyla bakarsak; iyi bir scraper “bugün çalışan” değil, yarın da çalışacak şekilde tasarlanandır. Siz de küçük bir MVP ile başlayıp log, hız kontrolü ve veri kalitesi adımlarını ekledikçe stabil bir sisteme ilerleyebilirsiniz.