Log Aggregation System: Pub-Sub Pattern with FastAPI, Asyncio, and Docker

Description

[Overview] Video ini mendemonstrasikan sistem agregasi log yang dirancang untuk efisiensi tinggi menggunakan pola Publish-Subscribe. Sistem ini menangani pemrosesan secara asinkron untuk memastikan skalabilitas dan menggunakan SQLite untuk dedupikasi data agar tidak ada log ganda. [Key Features] - Pub-Sub Pattern: Pemisahan antara pengirim log (publisher) dan pengolah log (subscriber). - Async Processing: Memanfaatkan asyncio Python 3.11 untuk menangani I/O intensif tanpa blocking. - Smart Deduplication: Mekanisme pengecekan hash berbasis SQLite untuk menghindari redundansi data. - Monitoring Dashboard API: Endpoint FastAPI untuk mengecek /health, statistik sistem, dan riwayat kejadian (events). - Dockerized: Deployment mudah menggunakan Docker & Docker Compose. [Tech Stack] - Python 3.11 - FastAPI (Web Framework & API) - Asyncio (Asynchronous I/O) - SQLite (Deduplication Layer) - Docker & Docker Compose (Containerization)