Sự phát triển của dòng mô hình DeepSeek cùng các LLM mã nguồn mở chi phí thấp đã mở ra cơ hội lớn cho các doanh nghiệp Việt Nam muốn tự chủ giải pháp AI mà không bị phụ thuộc hoàn toàn vào các API đắt đỏ. Dù vậy, khoảng cách từ việc gọi thử một API mô hình đến việc tích hợp nó vào quy trình nghiệp vụ đòi hỏi độ tin cậy 99.9% là rất lớn. Để giải quyết bài toán đó, đội ngũ kỹ sư Tekino xây dựng tầng kiến trúc trung gian gọi là LLM Pipeline Harness.

Tại sao không nên nối thẳng ứng dụng nghiệp vụ vào LLM?

Trong môi trường thực tế, đầu ra của LLM mang tính xác suất: cùng một câu lệnh nhưng đôi khi mô hình trả về cấu trúc JSON bị thiếu trường, suy diễn quá đà ngoài dữ liệu cho phép, hoặc gặp tình trạng quá tải máy chủ dẫn đến phản hồi chậm. Một tầng Harness đóng vai trò như bộ điều phối và kiểm định chất lượng nằm giữa ứng dụng doanh nghiệp và các mô hình AI.

"Mô hình ngôn ngữ cung cấp năng lực suy luận, nhưng chính tầng Harness bao quanh mới là yếu tố quyết định hệ thống có đủ độ tin cậy để chạy trong môi trường doanh nghiệp hay không."

3 Lớp kiểm soát cốt lõi trong DeepSeek Harness tại Tekino

1. Tiền xử lý và Làm sạch đầu vào (Input Sanitization & Context Assembly)

Trước khi yêu cầu được gửi tới mô hình, tầng Harness thực hiện ba nhiệm vụ: lọc bỏ các mẫu câu lệnh có dấu hiệu tấn công thao túng (Prompt Injection), ẩn danh các thông tin định danh nhạy cảm (PII Masking) nếu gọi qua hạ tầng bên ngoài, và lắp ghép ngữ cảnh nghiệp vụ từ cơ sở dữ liệu Vector (Supabase pgvector / PostgreSQL) theo khuôn mẫu chuẩn.

2. Kiểm định cấu trúc và Đối chiếu ngữ nghĩa (Output Validation)

Khi mô hình trả về kết quả, hệ thống không hiển thị ngay cho người dùng hoặc đẩy thẳng vào ERP mà đi qua bước kiểm tra tự động:

  • Kiểm tra định dạng (Schema Enforcement): Đảm bảo dữ liệu trích xuất tuân thủ tuyệt đối kiểu dữ liệu (Pydantic/Zod schema) mà hệ thống đích yêu cầu.
  • Kiểm tra độ trung thực (Groundedness Check): Đối chiếu các con số (như tổng tiền hóa đơn, mã hợp đồng, ngày tháng) trong câu trả lời của AI với văn bản gốc để chặn các lỗi sai số học.

3. Cơ chế chuyển hướng dự phòng (Adaptive Fallback Router)

Nếu mô hình chính gặp độ trễ cao bất thường hoặc kết quả đầu ra không vượt qua được bài kiểm tra Schema sau 1 lần thử lại (retry), bộ định tuyến sẽ tự động chuyển yêu cầu đó sang mô hình dự phòng (như Gemini Flash hoặc GPT-4o mini) một cách trong suốt, đảm bảo luồng công việc của người dùng cuối không bị gián đoạn.

Hiệu quả thực tế từ các dự án triển khai

  • Tối ưu 65% chi phí vận hành: Nhờ giao 80% khối lượng tác vụ phân tích và trích xuất tiêu chuẩn cho cụm mô hình DeepSeek chi phí thấp xử lý.
  • Giảm thiểu tối đa lỗi định dạng tích hợp: Các API nghiệp vụ phía sau luôn nhận được dữ liệu JSON chuẩn xác, loại bỏ tình trạng gãy luồng tự động hóa.
  • Dễ dàng nâng cấp mô hình: Khi có một phiên bản LLM mới tốt hơn ra mắt, đội ngũ kỹ thuật chỉ cần thay đổi cấu hình tại tầng Harness mà không phải sửa lại mã nguồn của các ứng dụng nghiệp vụ.