Kiến trúc pipeline dữ liệu
Kiến trúc sư hệ thống • Đang hoạt động
Tôi cần một pipeline dữ liệu thời gian thực để xử lý số liệu cảm biến từ hàng nghìn thiết bị IoT.
Navic Architect • Agent kiến trúc hệ thống
Tôi đã dựng pipeline thời gian thực: nhận sự kiện qua các broker MQTT, gom dữ liệu chuỗi thời gian trong Apache Kafka rồi đẩy chỉ số thẳng vào cụm lưu trữ TimescaleDB.
Mã sinh tự động • Cấu hình pipeline python
def process_sensor_stream(kafka_topic):
stream = SparkSession.readStream(kafka_topic)
metrics = stream.groupBy(window("5 minutes")).avg("temp")
return metrics.writeStream("db_cluster")09:12
