cyucel.trWeb Scraping · Veri Otomasyonu
Web Scraping ve Veri Kazıma: İhtiyacınız Olan Veriyi Otomatik Toplayın
Rakip fiyatları, ürün listeleri, ilanlar, stok durumları veya kamuya açık herhangi bir veri… Elle kopyalamak yerine; düzenli çalışan, hataya dayanıklı ve temiz veri üreten özel scraper botları geliştiriyorum.
Web scraping (veri kazıma), web sitelerindeki kamuya açık bilgilerin yazılım ile otomatik olarak toplanıp yapılandırılmış bir formata (Excel, CSV, veritabanı veya API) dönüştürülmesidir. Doğru kurgulandığında saatler süren manuel işi dakikalara indirir ve karar almak için güncel veri sağlar.
Basit HTML sayfalarından JavaScript ile yüklenen dinamik sitelere, sayfalama ve filtrelemeden oturum gerektiren akışlara kadar farklı yapıdaki siteler için Python, Playwright ve benzeri araçlarla çözümler üretiyorum. Toplanan veri temizlenir, tekilleştirilir ve kullanacağınız formata göre teslim edilir.
Her projede sitelerin kullanım koşullarına, robots.txt kurallarına ve kişisel verilerin korunması mevzuatına (KVKK/GDPR) uygun çalışırım. Hedef siteleri yormayan, makul hızda çalışan ve değişikliklere karşı izlenen sistemler kurarım.
Neler Yapabilirim?
Fiyat ve stok takibi
E-ticaret sitelerindeki rakip fiyatlarını ve stok durumlarını düzenli izleyip değişiklikleri raporlayan botlar.
Ürün ve ilan verisi
Katalog, emlak, araç veya iş ilanı gibi listeleri tüm detaylarıyla toplayıp tek bir tabloda birleştirme.
Pazar ve rakip analizi
Toplanan veriyi grafik ve raporlara dönüştürerek pazar trendlerini görünür kılma.
Zamanlanmış çalışma
Saatlik, günlük veya haftalık otomatik çalışan; sonuçları e-posta, Telegram ya da panel üzerinden ileten sistemler.
API ve entegrasyon
Toplanan veriyi kendi yazılımınıza, ERP’nize veya Google Sheets’e aktaran servisler.
Dayanıklı ve yasal
Hata yakalama, yeniden deneme ve site değişikliği uyarıları; kullanım koşullarına ve KVKK’ya uygun çalışma.
Süreç
- 1
İhtiyaç analizi
Hangi siteden, hangi alanların, hangi sıklıkla ve hangi formatta toplanacağını netleştiririz; yasal uygunluğu kontrol ederim.
- 2
Örnek veri
Kısa bir prototiple birkaç sayfadan örnek veri çıkarıp format üzerinde anlaşırız.
- 3
Geliştirme
Tam kapsamlı scraper, veri temizleme ve kayıt katmanı geliştirilir.
- 4
Otomasyon ve teslim
Zamanlama, bildirimler ve çıktı entegrasyonu kurulur; veri istediğiniz formatta teslim edilir.
- 5
İzleme ve bakım
Hedef site değiştiğinde bot güncellenir. Tipik geliştirme süresi 3-10 gün.
Teknolojiler
- Python
- Playwright
- Selenium
- BeautifulSoup
- Scrapy
- FastAPI
- PostgreSQL
- Pandas
- Docker
- Cron
Otomasyon ve Veri Projelerim
Web Test Automation
Bir web sitesini otomatik tarayıp temel SEO ve güvenlik kontrollerini puanlayan hafif analiz aracı. Playwright ile sayfayı gerçek tarayıcıda işler; başlık, meta, H1, canonical, kırık linkler, görsel alt metinleri, JSON-LD, erişilebilirlik ve performans metriklerini raporlar. Node.js, Express ve Nuxt ile geliştirildi.
WhatsApp Automation Tool
Python ve Selenium ile WhatsApp Web üzerinde tekrarlayan işleri otomatikleştiren araç: planlı mesaj gönderimi, liste bazlı bildirimler ve basit senaryolar. Hata yakalama ve yeniden deneme mantığıyla dayanıklı bir iş akışı sunar; küçük işletmelerin müşteri iletişiminde zaman kazanmasına yardımcı olur.
Customer Segmentation Web App
Müşteri verilerini analiz edip benzer davranış gösteren grupları (segmentleri) ortaya çıkaran ve sonuçları grafiklerle görselleştiren Python/Flask web uygulaması. Veri hazırlama, kümeleme analizi ve REST API tasarımını bir araya getirerek pazarlama kararlarını veriyle desteklemeyi amaçlar.
Sık Sorulan Sorular
Web scraping yasal mı?
Kamuya açık verinin, sitenin kullanım koşullarına ve kişisel verilerin korunması mevzuatına uygun şekilde toplanması genellikle yasaldır. Her projede bu uygunluğu baştan değerlendiriyorum; uygun olmayan işleri kabul etmiyorum.
JavaScript ile yüklenen sitelerden veri çekilebilir mi?
Evet. Playwright gibi gerçek tarayıcı kullanan araçlarla dinamik içerikli sitelerden de veri toplanabilir.
Site tasarımı değişirse ne olur?
Bot hata verdiğinde bildirim gönderecek şekilde kurulur; bakım kapsamında hızla güncellenir.
Veriyi hangi formatta alırım?
Excel, CSV, JSON, Google Sheets, veritabanı veya doğrudan kendi sisteminize API ile.
Ne kadar sürede hazır olur?
Tek siteli basit bir scraper birkaç gün, çok kaynaklı ve panelli sistemler 1-3 hafta sürer.
Hangi veriye ihtiyacınız var?
Veriyi toplamak istediğiniz siteyi ve alanları yazın; uygunluğu değerlendirip örnek veri ve teklifle dönüş yapayım.