Basit, özelleştirilebilir ve günlük veri çekme işlerini otomatikleştirmek için hazırlanmış bir Python scraper örneğidir. Hedef siteyi düzenleyip istediğiniz veriyi çekmek ve data/ klasörüne kaydetmek üzere tasarlanmıştır.
Değişiklikler: Repoya temel bir scraper.py, requirements.txt, .gitignore, data/.gitkeep ve bu README'nin iyileştirilmiş hali eklendi. Ayrıca LICENSE (MIT), basit bir CI workflow ve katkı yönergeleri de eklendi.
Öne Çıkanlar:
scraper.py:https://example.comörneğini çeker vedata/output.csviledata/output.jsonekler.- Kolayca hedef URL ve parsing mantığını değiştirerek özelleştirilebilir.
Hızlı Başlangıç (Windows PowerShell)
python -m venv .venv
.\.venv\Scripts\Activate.ps1
python -m pip install -r .\requirements.txt
python .\scraper.pyÇalıştırdıktan sonra data/output.csv ve data/output.json oluşacaktır.
Neler eklendi / yapılabilir geliştirmeler
- CI: Syntax kontrol için GitHub Actions workflow (
.github/workflows/ci.yml). - Lisans:
LICENSE(MIT). - Katkı:
CONTRIBUTING.mdeklendi. - İyileştirme önerileri: CLI argümanları, logging, retry/backoff, hedeflenen scraper sınıfları, testler.
Bu proje MIT lisansı ile lisanslanmıştır — ayrıntılar için LICENSE dosyasına bakınız.
Part 2, klasik scraper’ın ötesine geçiyor. Artık sadece veriyi çekmekle kalmıyor, onu akıllıca yönetiyor, analiz ediyor ve görselleştiriyor.
- 📅 Zaman damgası ve geçmiş kayıt takibi – artık günlük, haftalık ve aylık trendleri gözlemleyebilirsin.
- 📊 Basit istatistik ve analiz – kelime sayısı, en çok tekrar eden başlıklar, artış/azalış trendleri.
- 🌈 Renkli ve okunabilir CSV/Excel çıktıları – verin hem kullanışlı hem göze hoş.
- 🤖 Otomatik tekrar çekme & loglama – hata aldığında tekrar deniyor, başarılı çekimleri logluyor.
- 🔗 Çoklu site desteği – tek script ile farklı sitelerden veri çekebilirsin.
- Repo’yu klonla:
git clone https://github.com/yourusername/daily-data-scraper.git
cd daily-data-scraper- Gerekli paketleri yükle:
pip install -r requirements.txt- Scripti çalıştır:
python scraper_part2.py- Opsiyonel parametreler:
--site→ Hangi siteyi çekmek istediğini belirle--format→ CSV veya JSON çıktısı seç--daily→ Günlük otomatik çekme aktif/pasif
- Günlük teknoloji haberleri trend tablosu
- Döviz kurlarının haftalık değişim grafiği
- Hava durumu geçmiş kaydı ile analiz
- Python 3.x – güçlü ve esnek
- Requests & BeautifulSoup – veri çekme kralı
- pandas & openpyxl – veriyi düzenle ve Excel’e aktar
- matplotlib / seaborn – basit görselleştirme
- logging – hata ve süreç takibi
- Yeni siteler ekle, scraping algoritmasını geliştir
- Analiz ve görselleştirme modüllerini ekle
- Pull request ile projeyi büyüt