Khi xây dựng bản mẫu (prototype) cho một tính năng AI, chi phí vài xu cho mỗi lần gọi API dường như không đáng kể. Nhưng khi hệ thống đi vào vận hành thực tế (Production) với hàng nghìn người dùng hoặc xử lý hàng chục nghìn tài liệu mỗi ngày, hóa đơn API cùng độ trễ phản hồi (latency) có thể nhanh chóng vượt ngưỡng ngân sách dự kiến.

Hiểu đúng về đặc thù Token trong tiếng Việt

Các nhà cung cấp LLM tính phí dựa trên số lượng token đầu vào (input) và đầu ra (output). Một điểm kỹ thuật mà các đội ngũ phát triển tại Việt Nam cần đặc biệt lưu ý là bộ tách từ (tokenizer) của hầu hết các mô hình lớn đều được tối ưu trước tiên cho tiếng Anh. Cùng một nội dung ngữ nghĩa, văn bản tiếng Việt có dấu thường tiêu tốn nhiều hơn từ 1.5 đến 2.2 lần số lượng token so với tiếng Anh.

  • Chi phí nhân đôi ở phần Context: Nếu mỗi lượt gọi đều đính kèm lịch sử hội thoại dài và hàng chục trang tài liệu tiếng Việt, lượng input token sẽ tăng theo cấp số nhân.
  • Độ trễ Time-to-First-Token (TTFT): Prompt đầu vào càng dài, thời gian mô hình xử lý trước khi sinh ra ký tự đầu tiên càng lâu, ảnh hưởng trực tiếp đến trải nghiệm người dùng.

4 Kỹ thuật tối ưu hóa Token đội ngũ Tekino đang áp dụng

1. Cấu trúc hóa System Prompt và loại bỏ từ ngữ thừa

Thay vì viết các đoạn văn mô tả dài dòng trong System Prompt, hãy sử dụng cấu trúc cô đọng, phân tách rõ ràng bằng thẻ định danh hoặc gạch đầu dòng ngắn gọn. Đối với các chỉ thị điều hướng logic nội bộ (không hiển thị cho người dùng cuối), việc viết System Prompt bằng tiếng Anh chuẩn xác và yêu cầu mô hình chỉ trả lời đầu ra bằng tiếng Việt có thể giảm ngay 25–35% lượng token chỉ thị cố định.

2. Tối ưu hóa phân đoạn dữ liệu trong RAG (Chunking & Reranking)

Sai lầm phổ biến nhất khi làm RAG là lấy top 10–15 đoạn văn bản dài từ Vector Database rồi đưa toàn bộ vào prompt. Thay vào đó, hãy kết hợp tìm kiếm lai (Hybrid Search: BM25 + Vector) cùng một tầng Reranker nhẹ để lọc lại đúng 3–4 đoạn văn bản sát nghĩa nhất. Việc đưa ít ngữ cảnh nhiễu hơn không chỉ giảm chi phí token mà còn giúp mô hình trả lời chính xác hơn.

3. Tận dụng triệt để cơ chế Prompt Caching

Hầu hết các nền tảng LLM hiện nay đều hỗ trợ Prompt Caching với mức giảm giá từ 50% đến 90% cho phần tiền tố (prefix) không thay đổi. Hãy thiết kế cấu trúc prompt sao cho toàn bộ phần tĩnh (System Prompt, danh sách công cụ/Tools, tài liệu quy chuẩn chung) luôn nằm cố định ở đầu, và đẩy toàn bộ phần biến động (câu hỏi của người dùng, dữ liệu thời gian thực) xuống cuối prompt.

4. Định tuyến mô hình theo độ phức tạp (Model Routing)

Không phải tác vụ nào cũng cần đến những mô hình suy luận lớn nhất. Với các bước phân loại ý định (intent classification), trích xuất trường thông tin cơ bản từ hóa đơn hay chuẩn hóa định dạng JSON, các mô hình nhỏ (Small Language Models hoặc dòng Flash/Mini) hoàn toàn đáp ứng tốt với mức giá rẻ hơn từ 10 đến 15 lần và tốc độ phản hồi dưới 1 giây.

"Tối ưu hóa token không phải là cắt bớt tính năng, mà là đặt đúng lượng thông tin cần thiết vào đúng mô hình ở đúng thời điểm."

Tổng kết

Quản trị chi phí token là một phần bắt buộc trong kiến trúc phần mềm AI hiện đại. Việc theo dõi sát các chỉ số token trên từng endpoint ngay từ ngày đầu sẽ giúp doanh nghiệp duy trì biên lợi nhuận lành mạnh khi mở rộng quy mô người dùng.