Một trong những bài toán kỹ thuật khó nhất khi ứng dụng LLM vào môi trường doanh nghiệp là xử lý các bộ tài liệu có độ dài hàng trăm trang — chẳng hạn như hồ sơ mời thầu (RFP), báo cáo kiểm toán hợp nhất, hoặc toàn bộ một module mã nguồn legacy. Trước đây, việc cắt nhỏ văn bản (chunking) thường làm đứt gãy mạch liên kết chéo giữa các chương mục. Sự trưởng thành của các kiến trúc mô hình ngữ cảnh siêu dài (Long-Context LLM) như thế hệ Kimi mới đang mở ra cách tiếp cận trực diện hơn.

Điểm khác biệt của kiến trúc Long-Context thế hệ mới

Không chỉ mở rộng giới hạn cửa sổ ngữ cảnh (context window) lên hàng triệu token trên lý thuyết, các thế hệ mô hình mới tập trung giải quyết bài toán "Lost in the Middle" — hiện tượng mô hình thường bỏ sót thông tin nằm ở phần giữa của một tài liệu dài:

  • Độ chính xác truy xuất cao (Needle-in-a-Haystack): Khả năng tìm kiếm và liên kết các điều khoản phụ lục nằm rải rác ở trang 20 và trang 180 của cùng một bộ hợp đồng mà không làm sai lệch số liệu.
  • Tối ưu hóa bộ nhớ KV Cache: Giảm đáng kể thời gian chờ phản hồi từ lần hỏi thứ hai trở đi trên cùng một bộ tài liệu lớn.
  • Xử lý tốt ngữ pháp và thuật ngữ tiếng Việt: Khả năng duy trì văn phong chuyên ngành (pháp lý, tài chính, kỹ thuật phần mềm) ổn định xuyên suốt các báo cáo tổng hợp dài.

Bài toán ứng dụng thực tế tại Tekino AI Lab

Tại phòng R&D của Tekino, chúng tôi đưa các mô hình ngữ cảnh dài vào thử nghiệm và vận hành cho hai kịch bản đòi hỏi độ toàn vẹn ngữ cảnh cao:

"Đối với bài toán phân tích hồ sơ dự thầu hoặc rà soát mã nguồn liên thông nhiều module, việc giữ nguyên toàn bộ ngữ cảnh trong một lần suy luận mang lại độ chính xác vượt trội so với việc cắt nhỏ tài liệu bằng RAG truyền thống." — Đỗ Hoàng Nam, Head of Technology Strategy @ Tekino

1. Rà soát và đối chiếu hồ sơ kỹ thuật (Pre-sales & Bidding Analysis)

Một bộ hồ sơ yêu cầu kỹ thuật của các dự án chuyển đổi số thường gồm nhiều tệp đính kèm với hàng trăm tiêu chí đánh giá. Bằng cách nạp toàn bộ hồ sơ vào cửa sổ ngữ cảnh của mô hình, đội ngũ tư vấn giải pháp có thể nhanh chóng trích xuất ma trận tuân thủ (Compliance Matrix), phát hiện các yêu cầu kỹ thuật mâu thuẫn nhau và đối chiếu với năng lực đáp ứng hiện có của hệ thống.

2. Phân tích mã nguồn Legacy phục vụ nâng cấp ERP

Khi tiếp nhận các hệ thống ERP đã qua nhiều năm tùy chỉnh (custom code), việc đọc hiểu luồng dữ liệu chạy qua hàng chục tệp mã nguồn liên kết với nhau là một cực hình. Mô hình ngữ cảnh dài cho phép kỹ sư nạp toàn bộ cụm module liên quan để vẽ lại sơ đồ luồng dữ liệu (data flow) và đánh giá phạm vi ảnh hưởng (impact analysis) trước khi chỉnh sửa.

Khi nào nên dùng Long-Context, khi nào nên dùng RAG?

Dù mạnh mẽ, Long-Context không thay thế hoàn toàn RAG. Kinh nghiệm thực tế tại Tekino cho thấy sự kết hợp hiệu quả nhất là: dùng RAG để lọc ra đúng bộ 3–5 tài liệu liên quan từ kho dữ liệu hàng chục nghìn tệp của công ty, sau đó đưa nguyên vẹn toàn bộ nội dung của 3–5 tài liệu đó vào cửa sổ Long-Context để mô hình phân tích sâu mà không làm mất ngữ cảnh cục bộ.