Veri & Yapay Zeka · 2026
Gerçek Zamanlı Tweet Duygu Analizi
1,6 milyon tweet üzerinde PySpark MLlib ile eğitilen duygu sınıflandırıcısını Kafka ve Spark Structured Streaming ile gerçek zamanlı çalıştıran uçtan uca büyük veri hattı.
Neler yaptım
- Sentiment140 veri seti (1,6 milyon etiketli tweet) üzerinde PySpark MLlib ile Logistic Regression modeli eğittim.
- Kafka producer tweetleri bir Kafka topic'ine akıtıyor, Spark Structured Streaming bunları anlık olarak sınıflandırıyor.
- Tahminler MongoDB'ye yazılıyor ve Flask API üzerinden canlı bir dashboard'da gösteriliyor.
- Tüm sistem Docker Compose ile ayağa kalkıyor.
Kullanılan teknolojiler
- Python
- PySpark
- Spark Streaming
- Apache Kafka
- MongoDB
- Flask
- Docker Compose
Benzer projeler
Next.jsHugging FaceTailwind CSS
Veri & Yapay Zeka · 2025
Yapay Zeka ile Metin Sınıflandırma
Hugging Face'in facebook/bart-large-mnli modeliyle metinleri kullanıcının verdiği etiketlere göre sınıflandıran, Türkçe ve İngilizce destekli Next.js uygulaması.
Detaylar →PythonHadoopHadoop Streaming
Veri & Yapay Zeka · 2026
MapReduce ile İteratif K-Means Kümeleme
K-Means kümeleme algoritmasının, Mahout veya Spark gibi kütüphaneler olmadan Python ve Hadoop Streaming ile yazılmış Mapper/Reducer'larla dağıtık Hadoop kümesinde çalıştırılması.
Detaylar →Apache PigPig LatinDocker Compose
Veri & Yapay Zeka · 2026
Docker Üzerinde Apache Pig WordCount
Docker ortamında çalışan Apache Pig 0.17 ile Python'la üretilen veri üzerinde kelime sayma ve gruplama işlemi.
Detaylar →