Mai Văn Hải

Latency-Sensitive Design: Techniques & Trade-offs Early Exit, Cascade Models, và Async Retrieval – Đừng Để User Chờ Đói ⚡ Chào anh em dev, anh Hải “Performance” đây – thằng cha ám ảnh với latency p95 dưới 100ms và RPS vọt…

Tối Ưu Chi Phí Inference LLM: Spot Instances, Mixed Precision Và Các Chiến Thuật Caching Giảm Bill GPU Xuống Còn 1/3 Chào anh em dev, anh Hải đây – thằng cha ám ảnh với performance từ hồi code PHP thuần…

Serving LLMs at Scale: Architecture & Patterns Chào anh em dev, anh Hải đây. Hôm nay ngồi cà phê, nghĩ về chuyện serve LLM ở scale lớn. Không phải kiểu toy project chạy local trên RTX 4090 đâu, mà là…

⚡ Model Compilation & Optimized Kernels: XLA vs TVM – Giảm Latency Inference Từ 250ms Xuống 38ms Chào anh em dev, hôm nay anh Hải “Performance” đây. Ai từng build hệ thống ML inference mà latency cứ ùn tắc như…

⚡ Pruning & Sparse Models: Giảm Memory 70%, Inference Latency Từ 250ms Xuống 78ms Với Magnitude Và Movement Pruning Chào anh em dev, anh Hải đây – thằng cha nghiện performance từ thời PHP 5.4 giờ chuyển sang torch 2.1.…