Skip to content

arch-yunus/daily-data-scraper

Repository files navigation

🚀 Daily Data Scraper

Python License CI

Basit, özelleştirilebilir ve günlük veri çekme işlerini otomatikleştirmek için hazırlanmış bir Python scraper örneğidir. Hedef siteyi düzenleyip istediğiniz veriyi çekmek ve data/ klasörüne kaydetmek üzere tasarlanmıştır.

Değişiklikler: Repoya temel bir scraper.py, requirements.txt, .gitignore, data/.gitkeep ve bu README'nin iyileştirilmiş hali eklendi. Ayrıca LICENSE (MIT), basit bir CI workflow ve katkı yönergeleri de eklendi.


Öne Çıkanlar:

  • scraper.py: https://example.com örneğini çeker ve data/output.csv ile data/output.json ekler.
  • Kolayca hedef URL ve parsing mantığını değiştirerek özelleştirilebilir.

Hızlı Başlangıç (Windows PowerShell)

python -m venv .venv
.\.venv\Scripts\Activate.ps1
python -m pip install -r .\requirements.txt
python .\scraper.py

Çalıştırdıktan sonra data/output.csv ve data/output.json oluşacaktır.


Neler eklendi / yapılabilir geliştirmeler

  • CI: Syntax kontrol için GitHub Actions workflow (.github/workflows/ci.yml).
  • Lisans: LICENSE (MIT).
  • Katkı: CONTRIBUTING.md eklendi.
  • İyileştirme önerileri: CLI argümanları, logging, retry/backoff, hedeflenen scraper sınıfları, testler.

Lisans

Bu proje MIT lisansı ile lisanslanmıştır — ayrıntılar için LICENSE dosyasına bakınız.

🌐 Daily Data Scraper – Part 2: Web Veri Avcısının Gücü Artıyor

Python Status License


🚀 Yeni Özellikler ve Gelişmeler

Part 2, klasik scraper’ın ötesine geçiyor. Artık sadece veriyi çekmekle kalmıyor, onu akıllıca yönetiyor, analiz ediyor ve görselleştiriyor.

  • 📅 Zaman damgası ve geçmiş kayıt takibi – artık günlük, haftalık ve aylık trendleri gözlemleyebilirsin.
  • 📊 Basit istatistik ve analiz – kelime sayısı, en çok tekrar eden başlıklar, artış/azalış trendleri.
  • 🌈 Renkli ve okunabilir CSV/Excel çıktıları – verin hem kullanışlı hem göze hoş.
  • 🤖 Otomatik tekrar çekme & loglama – hata aldığında tekrar deniyor, başarılı çekimleri logluyor.
  • 🔗 Çoklu site desteği – tek script ile farklı sitelerden veri çekebilirsin.

💻 Gelişmiş Kullanım

  1. Repo’yu klonla:
git clone https://github.com/yourusername/daily-data-scraper.git
cd daily-data-scraper
  1. Gerekli paketleri yükle:
pip install -r requirements.txt
  1. Scripti çalıştır:
python scraper_part2.py
  1. Opsiyonel parametreler:
  • --site → Hangi siteyi çekmek istediğini belirle
  • --format → CSV veya JSON çıktısı seç
  • --daily → Günlük otomatik çekme aktif/pasif

🔥 Örnek Çıktılar

  • Günlük teknoloji haberleri trend tablosu
  • Döviz kurlarının haftalık değişim grafiği
  • Hava durumu geçmiş kaydı ile analiz

🛠️ Tech Stack (Enhanced)

  • Python 3.x – güçlü ve esnek
  • Requests & BeautifulSoup – veri çekme kralı
  • pandas & openpyxl – veriyi düzenle ve Excel’e aktar
  • matplotlib / seaborn – basit görselleştirme
  • logging – hata ve süreç takibi

🌟 Katkıda Bulunmak

  • Yeni siteler ekle, scraping algoritmasını geliştir
  • Analiz ve görselleştirme modüllerini ekle
  • Pull request ile projeyi büyüt

About

Çoklu site desteği, otomatik loglama ve veri görselleştirme özelliklerine sahip; Python, Pandas ve BeautifulSoup tabanlı gelişmiş günlük veri kazıma (scraping) ve analiz aracı. 🕷️📊

Topics

Resources

License

Contributing

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages