Tóm tắt review tự động có vòng phản hồi: LLM chạy production tại Grab

Trong bài này
Hệ thống Automated Merchant Review Summary System biến các đánh giá viết tay về cửa hàng thành bản tóm tắt ngắn gọn. Người tiêu dùng có thể xem tóm tắt tổng thể hoặc chọn một chủ đề cụ thể, còn merchant (cửa hàng, đối tác bán hàng) nhận biết được điều khách hàng đánh giá cao và khâu nào cần cải thiện. Pipeline kết hợp representative sampling (lấy mẫu đại diện), tóm tắt bằng large language model (LLM, mô hình ngôn ngữ lớn), kiểm tra chất lượng tự động và phản hồi từ người dùng.
Vấn đề của danh sách đánh giá dài
Một danh sách đánh giá dài và thiếu cấu trúc gây ra hai vấn đề liên quan nhau. Người tiêu dùng mất thời gian tìm những nhận xét khớp với ưu tiên của mình, trong khi merchant phải tự gộp từng bình luận để nhận ra các chủ đề lặp lại. Một cửa hàng có thể có hàng trăm hoặc hàng nghìn đánh giá; chỉ đọc vài đánh giá đầu dễ cho bức tranh thiếu đầy đủ, còn điểm sao trung bình cho rất ít ngữ cảnh. Hai nhà hàng cùng số sao vẫn có thể khác nhau về chất lượng món ăn, trải nghiệm giao hàng, khẩu phần hoặc giá trị nhận được.
Về phía merchant, việc đọc và phân loại mọi đánh giá tốn thời gian và càng khó khi số lượng tăng. Những lời phàn nàn lặp lại hay các điểm tích cực có thể bị chìm giữa các bình luận riêng lẻ.
Ba cách tiếp cận hiện có đều có giới hạn:
Phân tích thủ công: đọc từng đánh giá rồi tự rút kết luận. Kết luận phụ thuộc vào việc người đọc chọn đọc đánh giá nào và diễn giải ra sao, và cách này không khả thi khi số lượng tăng.
Điểm sao tổng hợp: cho biết nhanh ý kiến chung nhưng không giải thích lý do, nên merchant thấy hiệu suất tổng thể mà không thấy các chủ đề cần chú ý.
Tìm kiếm theo từ khóa và bộ lọc: hữu ích khi người đọc đã biết cần tìm gì, nhưng không làm lộ các chủ đề bất ngờ, và việc khớp theo nghĩa đen có thể tách rời những cụm từ cùng ý. Chẳng hạn, ba cụm từ "too cold", "not warm enough" và "lukewarm" đều nói về vấn đề nhiệt độ món ăn.
Kiến trúc pipeline tạo tóm tắt
Pipeline sinh tóm tắt chuẩn bị dữ liệu đánh giá nguồn, tạo bản tóm tắt rồi kiểm tra đầu ra trước khi công bố. Hệ thống tạo một bản tóm tắt tổng thể và các bản tóm tắt theo chủ đề như hương vị, bao bì và khẩu phần. Toàn bộ hệ thống gồm ba luồng: tạo và xác thực tóm tắt; duy trì tóm tắt; hiển thị tóm tắt và thu phản hồi.
Bước đầu tiên là chuẩn bị dữ liệu và lấy mẫu đại diện. Pipeline tính phân phối điểm đánh giá của merchant, và một mô hình sentiment (phân tích cảm xúc) gán cho mỗi đánh giá viết tay một điểm từ một đến năm. Sau đó stratified sampling (lấy mẫu phân tầng) chọn ra một tập nhỏ hơn bám theo phân phối này, giúp giảm nguy cơ một nhóm điểm chi phối bản tóm tắt. Tuy vậy, khớp phân phối điểm không đảm bảo mẫu đại diện cho mọi giai đoạn, ngôn ngữ, nhóm khách hàng hay khía cạnh trải nghiệm của merchant.
Tiếp theo, hệ thống gửi các đánh giá đã lấy mẫu tới một LLM kèm hướng dẫn tạo ra hai loại đầu ra:
Một bản tóm tắt ngắn gọn về các đánh giá được lấy mẫu.
Các bản tóm tắt theo chủ đề cho những nhóm như hương vị, bao bì và khẩu phần.
Hệ thống cũng có thể cập nhật tập chủ đề khi xuất hiện chủ đề mới trong phản hồi của người tiêu dùng.
Kiểm soát chất lượng bằng LLM
Ở bước quality control (QC), một LLM riêng biệt nhận bản tóm tắt đã tạo cùng các đánh giá đã lấy mẫu, rồi kiểm tra xem các đánh giá nguồn có hỗ trợ từng nhận định hay không. Bản tóm tắt không đạt tiêu chí xác thực sẽ bị giữ lại, không được công bố. Vượt qua bước đánh giá tự động này làm giảm, nhưng không loại bỏ, rủi ro xuất hiện nhận định không có căn cứ.
Duy trì tóm tắt theo thời gian
Luồng duy trì cập nhật các bản tóm tắt đã lưu khi có đánh giá mới và phản hồi từ người tiêu dùng. Hệ thống theo dõi cả hai nguồn và tạo lại bản tóm tắt khi một trong hai chạm ngưỡng đã cấu hình. Có hai trigger (cơ chế kích hoạt):
Trigger theo đánh giá mới: một dịch vụ giám sát đếm số đánh giá gửi lên sau bản tóm tắt gần nhất. Khi số đếm đạt ngưỡng cấu hình, dịch vụ khởi động luồng tạo và xác thực.
Trigger theo phản hồi người dùng: giao diện ghi nhận việc người tiêu dùng thấy bản tóm tắt có hữu ích hay không. Khi phản hồi tiêu cực đạt ngưỡng cấu hình, hệ thống tạo và xác thực một bản tóm tắt mới.
Về phía hiển thị, giao diện lấy bản tóm tắt đã được xác thực cho trang đánh giá của merchant và ghi lại việc người tiêu dùng có thấy nó hữu ích hay không.
Tác động và bài học rút ra
Bài học chính là chất lượng tóm tắt không chỉ phụ thuộc vào khâu sinh văn bản. Mẫu nguồn phải phản ánh đúng tập đối tượng mong muốn, mỗi nhận định phải bám vào đánh giá nguồn, và đầu ra phải thay đổi theo phản hồi bên dưới. Việc xác thực bằng LLM tự động chỉ là một lớp phòng vệ chứ không phải bằng chứng duy nhất về độ chính xác, và cơ chế tạo lại dựa trên phản hồi cần có biện pháp chống lạm dụng để giữ được độ tin cậy.
Phạm vi của pipeline này là các bản tóm tắt hướng tới người tiêu dùng. Một bản tóm tắt gây hiểu lầm hoặc thiếu sót có thể ảnh hưởng đến cách người tiêu dùng nhìn nhận merchant, nhưng cơ chế khiếu nại và tranh chấp dành cho merchant nằm ngoài pipeline và không thuộc luồng được mô tả.
Điểm chính
Nguồn tham khảo
Các nguồn mà bài viết này dựa vào.


