Unit Test và Integration Test cho Workflow: Hướng dẫn tự động hóa kiểm thử từng node và toàn bộ workflow.

Tóm tắt nội dung chính
– Testing Automation cho workflow: tại sao Unit Test và Integration Test lại quan trọng?
– Các kịch bản kiểm thử tự động cho từng node và toàn bộ workflow.
– Quy trình chuẩn, mẫu template, và cách scale khi workflow tăng trưởng.
– Chi phí thực tế, số liệu trước‑sau, và các lỗi phổ biến cùng cách khắc phục.
– FAQ nhanh, và hành động bạn có thể thực hiện ngay hôm nay.

1. Vấn đề thật mà mình và khách hay gặp mỗi ngày

Mình làm việc chủ yếu với các công ty fintech và startup logistics ở Sài Gòn. Hàng ngày mình gặp ba vấn đề “đau đầu” nhất:

⚠️ Best Practice: Đừng chỉ “test” một node riêng lẻ, mà luôn đặt nó vào ngữ cảnh workflow để phát hiện lỗi giao tiếp sớm.

2. Giải pháp tổng quan (text art)

+-------------------+      +-------------------+      +-------------------+
|   Unit Test       | ---> |   Mocked Node     | ---> |   Integration Test|
| (per node)        |      | (isolated)        |      | (full flow)       |
+-------------------+      +-------------------+      +-------------------+
        |                         |                         |
        |   ✅  Kiểm tra logic      |   ✅  Kiểm tra API      |   ✅  Kiểm tra luồng
        |   riêng biệt             |   giả lập               |   toàn bộ
        v                         v                         v
+---------------------------------------------------------------+
|                 Automated CI/CD Pipeline                     |
|  (GitHub Actions / GitLab CI) → Run Unit → Run Integration → |
|  Deploy nếu mọi test PASS                                    |
+---------------------------------------------------------------+

3. Hướng dẫn chi tiết từng bước

Bước 1: Xác định các node cần test

1. Node A – Nhận dữ liệu (REST API).
2. Node B – Xử lý nghiệp vụ (Python script).
3. Node C – Gửi kết quả (Kafka producer).

Bước 2: Viết Unit Test cho mỗi node

# test_node_a.py
import unittest
from node_a import validate_payload

class TestNodeA(unittest.TestCase):
    def test_valid_payload(self):
        payload = {"amount": 100, "currency": "VND"}
        self.assertTrue(validate_payload(payload))

    def test_missing_field(self):
        payload = {"amount": 100}
        self.assertFalse(validate_payload(payload))

if __name__ == '__main__':
    unittest.main()

⚡ Lưu ý: Đặt coverage ≥ 80 % cho mỗi file.

Bước 3: Tạo môi trường mock cho Integration Test

• Dùng Docker Compose để khởi tạo các service phụ (DB, Kafka).
• Sử dụng pytest‑asyncio để chạy các test bất đồng bộ.

# test_integration.py
import asyncio
import pytest
from aiohttp import ClientSession

@pytest.mark.asyncio
async def test_full_workflow():
    async with ClientSession() as session:
        # Gửi request tới Node A
        async with session.post('http://localhost:8000/api', json={"amount": 200}) as resp:
            assert resp.status == 200
            data = await resp.json()
            # Kiểm tra output của Node C qua Kafka mock
            assert data['status'] == 'processed'

Bước 4: Tích hợp vào CI/CD

• GitHub Actions workflow:

name: CI

on: [push, pull_request]

jobs:
  test:
    runs-on: ubuntu-latest
    services:
      kafka:
        image: wurstmeister/kafka
        ports: ["9092:9092"]
    steps:
      - uses: actions/checkout@v2
      - name: Set up Python
        uses: actions/setup-python@v2
        with:
          python-version: '3.9'
      - name: Install deps
        run: pip install -r requirements.txt
      - name: Run Unit Tests
        run: pytest tests/unit --cov=src
      - name: Run Integration Tests
        run: pytest tests/integration

🛡️ Bảo mật: Không để secret trong file yaml, dùng GitHub Secrets.

Bước 5: Đánh giá kết quả và báo cáo

• Coverage Report (HTML).
• Test Duration (đánh dấu ⚡ nếu < 2 phút).

4. Template qui trình tham khảo

5. Những lỗi phổ biến & cách sửa

6. Khi muốn scale lớn thì làm sao

1. Phân tách test suite:
   • Unit → chạy trên mỗi commit.
   • Integration → chạy trên nightly build hoặc pull request lớn.
2. Sử dụng test matrix trong CI để chạy trên nhiều phiên bản Python/Node.

3. Cache dependencies để giảm thời gian khởi động môi trường.

4. Parallelism:

   • Với GitHub Actions, strategy.matrix cho phép chạy đồng thời 5 job.
   • Với GitLab, parallel: 5 trong .gitlab-ci.yml.
5. Reporting: Kết hợp Allure hoặc JUnit XML để tổng hợp kết quả, dễ dàng lọc lỗi.

⚡ Tip: Khi workflow có > 20 node, hãy group các node thành sub‑workflow và test từng sub‑workflow riêng, rồi cuối cùng test toàn bộ.

7. Chi phí thực tế

ROI = (Tổng lợi ích – Chi phí đầu tư) / Chi phí đầu tư × 100%

Giải thích: Nếu giảm downtime 30 % → lợi ích 12 triệu/tháng, ROI ≈ 150 %.

8. Số liệu trước – sau

⚡ Kết quả: Đội ngũ giảm 80 % thời gian kiểm thử, đồng thời tăng coverage lên 85 %, giúp giảm chi phí downtime hơn 90 %.

9. FAQ hay gặp nhất

Q1: Unit test có cần chạy trên môi trường production không?
A: Không. Unit test chỉ chạy trên môi trường isolated (local/Docker). Production chỉ chạy integration và smoke test.

Q2: Làm sao mock Kafka trong integration test?
A: Dùng testcontainers‑kafka hoặc Confluent‑Platform Docker image, sau đó tạo topic tạm thời trong test setup.

Q3: Có nên dùng BDD (Behave) thay cho pytest?
A: Nếu team muốn readable test cho non‑technical stakeholder, BDD là lựa chọn tốt. Tuy nhiên, pytest vẫn mạnh hơn về fixture và parallelism.

Q4: Làm sao đo hiệu năng của test suite?
A: Sử dụng pytest‑benchmark để ghi lại thời gian mỗi test, sau đó tạo biểu đồ trong Grafana.

Q5: Nếu có 100 node, có nên viết test cho từng node?
A: Đúng, nhưng group các node có logic tương đồng và dùng parameterized tests để giảm số lượng file.

10. Giờ tới lượt bạn

• Bước 1: Kiểm tra repo hiện tại, liệt kê tất cả các node trong workflow.
• Bước 2: Tạo một thư mục tests/unit và viết ít nhất 2 unit test cho mỗi node mới.
• Bước 3: Thiết lập Docker‑Compose với các service phụ (DB, Kafka) và viết một integration test cho toàn bộ flow.
• Bước 4: Đưa pipeline vào GitHub Actions và bật code coverage.
• Bước 5: Theo dõi KPI trong 30 ngày, so sánh với bảng “Số liệu trước – sau” ở trên.

Nếu anh em đang cần giải pháp trên, thử ngó qua con Serimi App xem, mình thấy API bên đó khá ổn cho việc scale. Hoặc liên hệ mình để được trao đổi nhanh hơn nhé.