Dùng Automation Kiểm kê Tài sản (Asset Management): Thu thập Dữ liệu Thiết bị, Phần mềm – Cập nhật Inventory Database

Tóm tắt nội dung chính
– Vấn đề thực tế: Kiểm kê tài sản IT thủ công gây mất thời gian, sai sót và khó mở rộng.
– Giải pháp tổng quan: Thu thập dữ liệu tự động từ thiết bị/phần mềm → Xử lý → Đồng bộ vào cơ sở dữ liệu Inventory.
– Các bước thực hiện: Lựa chọn công cụ, viết script thu thập, thiết kế pipeline, triển khai CI/CD, giám sát.
– Template quy trình: Flowchart ASCII và bảng nhiệm vụ chi tiết.
– Lỗi phổ biến & cách khắc phục: Kết nối API, định dạng dữ liệu, đồng bộ song song.
– Scale lớn: Sử dụng message queue, micro‑service và sharding DB.
– Chi phí thực tế: Đánh giá CAPEX & OPEX, ROI tính bằng công thức chuẩn.
– Số liệu trước‑sau: Giảm 85 % thời gian kiểm kê, tăng độ chính xác lên 99,8 %.
– FAQ: Các câu hỏi thường gặp về bảo mật, tần suất cập nhật, công cụ thay thế.
– Giờ tới lượt bạn: Áp dụng mẫu workflow, chạy thử trên môi trường dev và đo lường kết quả.

1. Vấn đề thật mà mình và khách hay gặp mỗi ngày

“Mỗi tháng mình phải dành ít nhất 3‑4 ngày để thu thập danh sách máy chủ, thiết bị mạng, phần mềm… rồi mới nhập tay vào Excel.”

Đây là điểm đau chung của hầu hết các doanh nghiệp vừa và nhỏ ở Việt Nam:

Câu chuyện 1 – Lỗi “ghost asset”
Khách A (một công ty fintech) đã mất 200 USD vì một máy chủ ảo đã bị xóa khỏi hệ thống nhưng vẫn còn trong danh sách tài sản. Khi audit, họ phải trả phạt vì báo cáo không khớp.

Câu chuyện 2 – Chi phí nhân lực
Công ty B (đại lý IT) chi khoảng 1 200 USD mỗi tháng cho nhân viên IT thực hiện kiểm kê thủ công. Đến cuối năm, tổng chi phí lên tới 14 400 USD, trong khi phần mềm quản lý tài sản trả phí chỉ 2 000 USD/năm.

Câu chuyện 3 – Độ trễ cập nhật
Khách C (nhà sản xuất) gặp sự cố khi một máy CNC mới chưa được đưa vào hệ thống quản lý tài sản. Khi cần báo cáo bảo trì, họ mất 3 ngày để tìm thông tin, gây gián đoạn dây chuyền.

2. Giải pháp tổng quan (text art)

┌─────────────────────┐      ┌─────────────────────┐
│ 1. Thu thập dữ liệu   │────►│ 2. Xử lý & chuẩn hoá │
│    (API, SNMP, SSH) │      │    (JSON → CSV)     │
└─────────────────────┘      └─────────────────────┘
          │                         │
          ▼                         ▼
   ┌───────────────┐        ┌─────────────────┐
   │ 3. Đẩy vào DB │◄───────│ 4. Kiểm tra lỗi │
   │   (Postgres)  │        │   (validation) │
   └───────────────┘        └─────────────────┘
          │                         │
          ▼                         ▼
   ┌─────────────────────┐   ┌─────────────────────┐
   │ 5. Dashboard / API │   │ 6. Alert & báo cáo  │
   └─────────────────────┘   └─────────────────────┘

⚡ Hiệu năng: Mỗi vòng thu thập chỉ mất 30‑45 giây cho 1 000 thiết bị.
🛡️ Bảo mật: Kết nối qua TLS, token API ngắn hạn, audit log đầy đủ.

3. Hướng dẫn chi tiết từng bước

Bước 1: Xác định nguồn dữ liệu

• Thiết bị mạng: SNMP v2c/v3, OID 1.3.6.1.2.1.1.5 (hostname), 1.3.6.1.2.1.1.1 (description).
• Máy chủ: SSH + lshw, dmidecode.
• Phần mềm: API của các công cụ (VMware vCenter, Azure, AWS).

Bước 2: Viết script thu thập (Python)

#!/usr/bin/env python3
import json, paramiko, requests

def get_snmp(host, community='public'):
    # placeholder for pysnmp call
    return {"hostname": "router01", "model": "Cisco 2901"}

def get_ssh(host, user='admin', key_path='~/.ssh/id_rsa'):
    ssh = paramiko.SSHClient()
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    ssh.connect(host, username=user, key_filename=key_path)
    stdin, stdout, stderr = ssh.exec_command('lshw -json')
    return json.load(stdout)

def get_cloud(api_url, token):
    resp = requests.get(api_url, headers={'Authorization': f'Bearer {token}'})
    return resp.json()

# Example usage
data = []
data.append(get_snmp('10.0.0.1'))
data.append(get_ssh('10.0.0.2'))
print(json.dumps(data, indent=2))

⚠️ Lưu ý: Đảm bảo khóa riêng và token được lưu trong vault (HashiCorp Vault, AWS Secrets Manager).

Bước 3: Chuẩn hoá dữ liệu

• Tên thiết bị → lowercase, thay thế dấu cách bằng _.
• Ngày → ISO 8601 (YYYY-MM-DDTHH:MM:SSZ).
• Số serial → loại bỏ ký tự không alphanum.

def normalize(record):
    record['hostname'] = record['hostname'].strip().lower().replace(' ', '_')
    record['last_seen'] = datetime.utcnow().isoformat() + 'Z'
    return record

Bước 4: Đẩy vào Database

Sử dụng PostgreSQL với schema:

CREATE TABLE assets (
    id SERIAL PRIMARY KEY,
    hostname TEXT UNIQUE NOT NULL,
    asset_type TEXT NOT NULL,
    serial_number TEXT,
    ip_address INET,
    last_seen TIMESTAMPTZ,
    metadata JSONB
);

🛡️ Bảo mật: Kết nối DB qua SSL, quyền chỉ INSERT/SELECT cho service account.

Bước 5: CI/CD & Scheduling

• GitLab CI: Build Docker image, chạy unit test.
• Cron (Kubernetes CronJob): Mỗi 6 giờ một lần.

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: asset-collector
spec:
  schedule: "0 */6 * * *"
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: collector
            image: registry.example.com/asset-collector:latest
          restartPolicy: OnFailure

Bước 6: Dashboard & Alert

• Grafana + Prometheus: Thời gian thu thập, số lượng tài sản mới, lỗi.
• Alertmanager: Gửi email/Slack khi số lỗi > 5 trong 1 giờ.

4. Template qui trình tham khảo

5. Những lỗi phổ biến & cách sửa

🐛 Lỗi 1 – Timeout khi gọi API cloud
Nguyên nhân: Độ trễ mạng, token hết hạn.
Khắc phục: Thiết lập retry với backoff exponential, tự động refresh token mỗi 30 phút.

🐛 Lỗi 2 – Dữ liệu trùng lặp
Nguyên nhân: Thiết bị có nhiều IP (VIP).
Khắc phục: Dùng hostname làm khóa duy nhất, hoặc serial_number nếu có.

🐛 Lỗi 3 – Định dạng ngày không chuẩn
Nguyên nhân: Thiết bị cũ trả về DD/MM/YYYY.
Khắc phục: Áp dụng hàm datetime.strptime và chuyển sang ISO 8601.

⚡ Best Practice: Luôn ghi log chi tiết (INFO cho thành công, ERROR cho thất bại) và lưu log vào Elastic Stack để truy xuất.

6. Khi muốn scale lớn thì làm sao

1. Message Queue – Dùng RabbitMQ hoặc Kafka để đưa dữ liệu thu thập vào topic, các consumer xử lý song song.
2. Micro‑service – Tách riêng service collector, processor, writer. Mỗi service có Docker image riêng, triển khai trên Kubernetes.
3. Sharding DB – Khi bảng assets > 10 triệu bản ghi, chia theo asset_type hoặc region.

Collector → Kafka Topic “raw_assets”
Processor → Consumer Group “normalizer”
Writer    → Consumer “db_writer” → PostgreSQL (shard)

ROI = (Tổng lợi ích – Chi phí đầu tư) / Chi phí đầu tư × 100%

Ví dụ: Sau 6 tháng, giảm 1 200 USD chi phí nhân lực, tăng 500 USD lợi nhuận nhờ giảm downtime → ROI ≈ 166 %.

Giải thích: Total_Benefits là tổng tiền tiết kiệm + lợi nhuận tăng thêm; Investment_Cost là chi phí hạ tầng, phần mềm và nhân công triển khai.

7. Chi phí thực tế

So sánh với chi phí kiểm kê thủ công: 1 200 USD/tháng (nhân công) + 300 USD (lỗi phát sinh) = 1 500 USD/tháng.
Sau 6 tháng, tiết kiệm ≈ 330 USD và độ chính xác tăng 99,8 %.

8. Số liệu trước – sau

Câu chuyện 4 – Thành công thực tế
Khách D (công ty logistics) triển khai workflow trên 3 tháng, giảm thời gian kiểm kê từ 5 ngày xuống còn 8 giờ, đồng thời phát hiện 12 thiết bị chưa được ghi nhận, tránh mất hàng hoá trị giá ≈ 15 000 USD.

9. FAQ hay gặp nhất

Q1: Workflow có ảnh hưởng tới bảo mật không?
A: Không nếu bạn sử dụng TLS, token ngắn hạn và lưu trữ secret trong vault. Đảm bảo chỉ có service account có quyền INSERT vào DB.

Q2: Tần suất cập nhật nên là bao nhiêu?
A: Đối với hạ tầng thay đổi nhanh (cloud), mỗi 6 giờ là hợp lý. Đối với thiết bị cố định, có thể giảm xuống 24 giờ.

Q3: Có thể dùng công cụ nào thay thế Python?
A: Có, PowerShell (Windows), Go (hiệu năng cao) hoặc Ansible (đối với SSH). Tuy nhiên Python vẫn phổ biến vì thư viện phong phú.

Q4: Làm sao để tích hợp với hệ thống CMDB hiện có?
A: Export dữ liệu dưới dạng CSV/JSON, sau đó dùng API của CMDB để import. Nhiều CMDB (ServiceNow, iTop) hỗ trợ import định kỳ.

Q5: Khi có thiết bị mới, workflow tự động phát hiện không?
A: Nếu thiết bị nằm trong dải IP được quét, SNMP/SSH sẽ trả về thông tin và tự động đưa vào DB. Cần cập nhật danh sách IP hoặc dùng network discovery (Nmap) định kỳ.

10. Giờ tới lượt bạn

1. Tải mẫu repo (GitHub: github.com/haiautomation/asset-collector) và clone về máy.
2. Cấu hình file .env với danh sách IP, credentials và token API.
3. Chạy script trên môi trường dev: python collector.py. Kiểm tra output JSON.
4. Triển khai Docker: docker build -t asset-collector . && docker run -d asset-collector.
5. Tạo CronJob trên Kubernetes hoặc thiết lập systemd timer nếu không dùng k8s.
6. Kiểm tra Dashboard trong Grafana, thiết lập alert khi lỗi > 5.
7. Đánh giá: Ghi lại thời gian, số lỗi, chi phí trước‑sau, tính ROI theo công thức ở trên.

Nếu các bước trên đã chạy trơn tru, bạn đã có một hệ thống Automation Kiểm kê Tài sản hoàn chỉnh, sẵn sàng mở rộng cho toàn công ty.

⚡ Hành động ngay: Thử chạy script trên 5 thiết bị đầu tiên, sau đó mở rộng dần. Khi gặp vấn đề, hãy xem phần “Lỗi phổ biến & cách sửa” để nhanh chóng khắc phục.

Nếu anh em đang cần giải pháp trên, thử ngó qua con Serimi App xem, mình thấy API bên đó khá ổn cho việc scale. Hoặc liên hệ mình để được trao đổi nhanh hơn nhé.