Horizontal Pod Autoscaler (HPA) cho n8n Workers trên Kubernetes: Hướng dẫn cấu hình HPA tự động tăng – giảm Worker dựa trên CPU – Queue Size

Tóm tắt nội dung chính
Bài viết này sẽ đưa các bạn qua toàn bộ quy trình cấu hình Horizontal Pod Autoscaler (HPA) cho các n8n Workers chạy trên Kubernetes. Từ việc nhận diện vấn đề thực tế (CPU cao, queue size bùng phát) → thiết kế giải pháp tự động scale → thực hiện từng bước cấu hình HPA, tạo template quy trình, xử lý lỗi thường gặp, mở rộng quy mô lớn, tính toán chi phí, và cuối cùng so sánh số liệu “trước – sau” khi HPA được bật. Ngoài ra, mình sẽ chia sẻ ba câu chuyện thực tế: một lỗi “nghẹt” khiến khách hàng mất hàng chục nghìn USD, một dự án tiết kiệm 30 % chi phí hạ tầng nhờ HPA, và một khách hàng nhỏ muốn tự host nhưng không biết bắt đầu từ đâu.

1. Vấn đề thật mà mình và khách hay gặp mỗi ngày

⚠️ Best Practice: Đừng để “cứ chạy” một worker duy nhất trong môi trường production. Khi CPU > 80 % hoặc queue > 1000, hệ thống đã sẵn sàng để scale.

Mình thường gặp những tình huống này khi khách hàng vừa tự host n8n trên một cluster Kubernetes nhỏ, rồi đột nhiên nhu cầu xử lý tăng lên (ví dụ: chiến dịch marketing, tích hợp ERP). Khi không có cơ chế tự động mở rộng, họ phải “đánh tay” tăng replica thủ công, gây ra thời gian chết và chi phí nhân công không cần thiết.

2. Giải pháp tổng quan (text art)

+-------------------+        +-------------------+
|   n8n Scheduler   | ---->  |   n8n Worker(s)   |
+-------------------+        +-------------------+
          |                           |
          |  CPU > 80% hoặc Queue > 1000
          v                           v
+-------------------+        +-------------------+
|       HPA         | <----> |   Kubernetes API |
+-------------------+        +-------------------+
          |                           |
          |  Tự động tạo / xóa Pod
          v                           v
+-------------------+        +-------------------+
|   Autoscaled Pods | <----> |   Load Balancer   |
+-------------------+        +-------------------+

HPA sẽ liên tục đọc metric (CPU, custom metric queue_size) từ Metrics Server và Custom Metrics API, sau đó tính toán số replica cần thiết và gửi yêu cầu tới Kubernetes Scheduler. Khi tải giảm, HPA sẽ giảm số pod, giúp tiết kiệm tài nguyên.

3. Hướng dẫn chi tiết từng bước

Bước 1: Chuẩn bị môi trường

1. Cluster Kubernetes (v1.21+).
2. Metrics Server đã được cài đặt (`kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml`).
3. n8n được triển khai dưới dạng Deployment n8n-worker.
4. Custom Metrics Adapter (ví dụ: Prometheus Adapter) để expose queue_size.

# Kiểm tra Metrics Server
kubectl get deployment metrics-server -n kube-system
# Kiểm tra n8n worker
kubectl get deployment n8n-worker -n n8n

Bước 2: Định nghĩa Custom Metric queue_size

Giả sử bạn đang dùng Prometheus để thu thập metric n8n_queue_size. Thêm rule sau vào PrometheusRule:

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: n8n-queue-size
  namespace: monitoring
spec:
  groups:
  - name: n8n.rules
    rules:
    - record: n8n_queue_size
      expr: sum by (instance) (n8n_queue_length)

Sau đó, cấu hình Prometheus Adapter để expose metric:

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-adapter-config
  namespace: monitoring
data:
  config.yaml: |
    rules:
    - seriesQuery: 'n8n_queue_size{instance!=""}'
      resources:
        overrides:
          instance:
            resource: pod
      metricsQuery: sum(rate(n8n_queue_size[1m])) by (pod)

⚡ Lưu ý: Đảm bảo metric queue_size trả về giá trị số nguyên và có label pod để HPA có thể liên kết.

Bước 3: Tạo HPA cho n8n Worker

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: n8n-worker-hpa
  namespace: n8n
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: n8n-worker
  minReplicas: 2
  maxReplicas: 20
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 70   # mục tiêu CPU %
  - type: External
    external:
      metric:
        name: queue_size
        selector:
          matchLabels:
            pod: n8n-worker
      target:
        type: AverageValue
        averageValue: "500"      # khi queue trung bình >500, scale lên

Công thức tính số replica (tiếng Việt, không LaTeX)

DesiredReplicas = ceil( (CurrentCPUUtilization / TargetCPUUtilization) × CurrentReplicas )

Trong thực tế, HPA sẽ áp dụng công thức này cho mỗi metric và lấy giá trị lớn nhất để quyết định replica mới.

Công thức ROI (LaTeX, tiếng Anh)

Giải thích: ROI tính phần trăm lợi nhuận thu được so với chi phí đầu tư vào HPA (chi phí hạ tầng, thời gian triển khai).

Bước 4: Kiểm tra và giám sát

# Xem trạng thái HPA
kubectl get hpa n8n-worker-hpa -n n8n

# Xem lịch sử scaling events
kubectl describe hpa n8n-worker-hpa -n n8n | grep Events -A5

Bạn sẽ thấy các event như Scaled up replica set n8n-worker-xxxxx to 5 khi CPU hoặc queue vượt ngưỡng.

4. Template quy trình tham khảo

Bạn có thể lưu lại file hpa-n8n.yaml và chạy:

kubectl apply -f hpa-n8n.yaml

5. Những lỗi phổ biến & cách sửa

behavior:
  scaleDown:
    stabilizationWindowSeconds: 300
    policies:
    - type: Percent
      value: 50
      periodSeconds: 60

6. Khi muốn scale lớn thì làm sao

1. Tăng maxReplicas lên mức cần thiết (ví dụ 100).
2. Sử dụng Cluster Autoscaler để tự động thêm node khi pod vượt quá capacity.
3. Partitioned Queue: Chia queue thành nhiều topic (Kafka, RabbitMQ) để giảm tải trên một worker duy nhất.
4. Node Affinity & Taints: Đặt worker lên các node có GPU hoặc CPU mạnh hơn nếu cần xử lý heavy‑compute.

⚡ Lưu ý: Khi scale lên > 50 pod, hãy kiểm tra IP address limit của cloud provider và service load balancer có hỗ trợ “session affinity” không.

7. Chi phí thực tế

ROI = (115 - 85) / 85 × 100 = 35,3 %
Như công thức trên, việc bật HPA giúp giảm chi phí khoảng 30 %, tương đương ROI > 35 %.

8. Số liệu trước – sau

⚡ Kết quả: Thời gian phản hồi giảm 65 %, queue trung bình giảm 60 %, chi phí giảm 26 %.

9. FAQ hay gặp nhất

Q1: HPA có thể dùng metric nào ngoài CPU?
A: HPA v2 hỗ trợ Resource, External, và Object metrics. Bạn có thể dùng memory, custom queue_size, hoặc thậm chí http_requests_per_second qua Prometheus Adapter.

Q2: Nếu Prometheus down, HPA sẽ ngừng hoạt động?
A: Đúng, vì custom metric không còn được cung cấp. Đảm bảo Prometheus có high availability (replica ≥ 2).

Q3: Có cần restart pod khi HPA thay đổi replica?
A: Không, Kubernetes sẽ tự tạo hoặc xóa pod mà không gây downtime nếu Deployment có readinessProbe đúng.

Q4: Làm sao để giới hạn tốc độ scale lên?
A: Dùng behavior trong HPA để đặt stabilizationWindowSeconds và policies như trong phần lỗi “flapping”.

Q5: HPA có ảnh hưởng tới SLA?
A: Khi cấu hình đúng (hysteresis, health checks), HPA thường cải thiện SLA vì hệ thống luôn đáp ứng tải thực tế.

10. Giờ tới lượt bạn

• Kiểm tra môi trường hiện tại: Đảm bảo Metrics Server và Prometheus Adapter đang chạy.
• Xác định ngưỡng CPU và queue size phù hợp với workload của bạn (ví dụ: CPU 70 %, queue 500).
• Áp dụng template HPA ở trên, sau đó theo dõi qua Grafana hoặc kubectl describe hpa.
• Nếu muốn scale lớn hơn, bật Cluster Autoscaler và cân nhắc phân tách queue.
• Đánh giá chi phí sau một tuần hoạt động để tính ROI thực tế.

Nếu anh em đang cần giải pháp trên, thử ngó qua con Serimi App xem, mình thấy API bên đó khá ổn cho việc scale. Hoặc liên hệ mình để được trao đổi nhanh hơn nhé.