Chatbot AI trả lời sai, xưng hô lộn xộn: 9 nguyên nhân và cách sửa

Chatbot AI trả lời sai chủ yếu nằm ở một trong ba chỗ: tài liệu đào tạo chatbot, chỉ dẫn bạn viết cho bot (prompt), và cách bot được dạy để xử lý hội thoại (phần này thường thuộc prompt nhưng này sẽ tách riêng thành 1 phần để diễn giải cụ thể hơn).

Bài viết này tổng hợp 9 nguyên nhân chatbot Ai trả lời sai hay gặp nhất, kèm dấu hiệu nhận biết và cách sửa đúng chỗ, để bạn không phải thêm hàng chục câu mẫu hay đổi sang phần mềm khác.

Vì sao chatbot AI trả lời sai, và lỗi nằm ở đâu?

Chatbot AI không tự biết gì về doanh nghiệp của bạn. Mỗi lần khách nhắn, bot tìm trong tài liệu bạn nạp, đọc chỉ dẫn bạn viết, rồi soạn câu trả lời. Khi tài liệu không có câu trả lời, bot vẫn có xu hướng viết ra một câu nghe rất hợp lý. Hiện tượng này gọi là AI Hallucination (ảo giác AI). Nghiên cứu của OpenAI giải thích: các mô hình ngôn ngữ bịa ra thông tin không có thật do quy trình huấn luyện và đánh giá tiêu chuẩn thường khuyến khích đoán mò thay vì thừa nhận việc thiếu chắc chắn về câu trả lời.

Nhiều doanh nghiệp nghĩ bot sẽ tự học từ hội thoại và tự sửa sai. Thực tế, chatbot AI chăm sóc khách hàng không tự học như vậy, trừ trường hợp nhà cung cấp chatbot AI cung cấp tính năng này. Hiện tại, hầu hết hoạt động học tập của chatbot AI là học từ tài liệu huấn luyện AI được nạp vào, và chỉ dẫn AI do doanh nghiệp soạn (còn gọi là prompt).

Vì vậy, việc đầu tiên là xác định lỗi thuộc nhóm nào. Intercom, đơn vị làm chatbot AI Fin, tách rõ hai lớp: kiến thức là thứ AI biết, chỉ dẫn là cách AI cư xử. Tài liệu ghi sai giá thì viết thêm bao nhiêu chỉ dẫn, bot vẫn báo sai giá. Bảng dưới đây giúp bạn khoanh vùng nhanh từ triệu chứng khách thấy:

Nhóm 1: Lỗi từ kiến thức nạp cho chatbot AI

Đây là nguyên nhân của phần lớn câu trả lời “bịa”. Một spa vừa quảng cáo liệu trình trị nám công nghệ mới nhưng chưa nạp bảng giá. Khách hỏi, bot trả lời “dạ khoảng 1,5–2 triệu/ buổi ạ”, một khoảng giá do bot tự nghĩ ra, có thể đến từ việc tham khảo các các liệu trình nám cũ. Khách đến nơi thấy giá khác, và người chịu trận là nhân viên quầy.

Cách sửa: bổ sung đúng những câu đang thiếu, ưu tiên câu khách đã hỏi thật trong hội thoại. Trong chỉ dẫn, ghi rõ bot chỉ trả lời theo tài liệu được cung cấp; không có thông tin thì nói chưa có và hẹn nhân viên phản hồi.

Lỗi này làm bot lúc đúng lúc sai, nên rất khó bắt. Có ba dạng hay gặp:

• Nạp thông tin mới nhưng không xóa thông tin cũ. Bot có hai nguồn cho cùng một câu hỏi, nên cùng một khách hỏi hai lần có thể nhận hai 2 thông tin. Trường hợp này rất phổ biến khi thay đổi thông tin bảng giá, lịch trình, khóa học…
• Sửa tài liệu xong nhưng không kiểm tra bot đã đọc bản mới chưa.
• Giá, tồn kho trên website đã đổi nhưng dữ liệu bot đọc chưa cập nhật, nên bot báo còn hàng khi đã hết.

Cách sửa: mỗi thông tin chỉ nằm ở một tài liệu. Đổi giá thì xóa bản cũ, không nạp chồng bản mới lên. Ghi ngày cập nhật ở đầu mỗi tài liệu và giao một người phụ trách việc này. Sau mỗi lần sửa, hỏi lại bot đúng câu đó. Với shop bán online, nên cho bot đọc trực tiếp danh mục sản phẩm trên website để cập nhật thường xuyên sản phẩm, tồn kho.

Bot đọc chữ. Bảng giá để dạng ảnh chụp, file PDF 40 trang trộn đủ chủ đề, hay câu trả lời quá ngắn thiếu ngữ cảnh kiểu “có hỗ trợ đổi trả” đều khiến bot trả lời thiếu ý hoặc lấy nhầm đoạn.

Một kiểu lỗi khác là tài liệu viết bằng từ của doanh nghiệp, còn khách nhắn bằng từ của khách. Đại lý bảo hiểm ghi “bảo hiểm vật chất xe (BHVC)”, còn khách nhắn “bh thân vỏ xe bn tiền”.

Hướng dẫn viết tài liệu cho AI của Zendesk gợi ý mấy cách sửa đơn giản:

• Mỗi tài liệu một chủ đề: chính sách đổi trả riêng, bảng giá riêng.
• Chuyển nội dung trong ảnh thành chữ. Bảng giá mỗi dòng một sản phẩm, không gộp ô.
• Câu trả lời chi tiết hơn, ví dụ: hãy viết tài liệu “đổi size trong 7 ngày nếu còn tem” thay cho “có hỗ trợ đổi”.
• Ghi kèm cách khách hay gọi và các từ viết tắt phổ biến. Sau đó thử hỏi bot bằng câu không dấu, viết tắt.

Nhóm 2: Lỗi từ chỉ dẫn, xưng hô và câu mẫu

Đây là lời phàn nàn Subiz nghe nhiều nhất từ doanh nghiệp đang dùng chatbot AI. Bot lúc xưng “em – chị”, lúc gọi “bạn”, có khi tự xưng “mình” ngay giữa cuộc chat. Với khách Việt, xưng hô sai làm cuộc trò chuyện mất thiện cảm hay tính tin cậy, dù thông tin bot đưa ra hoàn toàn đúng.

Nguyên nhân thường không phải do chưa cài xưng hô, mà do xưng hô nằm ở quá nhiều nơi. Phần cài đặt ghi “em – anh/chị”, câu trả lời mẫu có chỗ viết “bạn”, hội thoại cho boty tham khảo từ fanpage thì xưng “shop”…

Bot lấy giọng từ tất cả các nguồn đó và trộn vào nhau. Intercom cũng ghi nhận: giọng điệu của bot sai thường là do hai chỉ dẫn về giọng điệu triệt tiêu nhau.

Cách sửa: đặt quy tắc xưng hô ở một chỗ duy nhất, rồi rà lại câu mẫu và tài liệu cho cùng một cách xưng. Thêm 1–2 câu trả lời mẫu đúng giọng, vì bot bắt chước ví dụ tốt hơn là làm theo mô tả kiểu “thân thiện, lịch sự”. Bạn có thể dùng đoạn chỉ dẫn sau:

# Xưng hô

• Luôn xưng “em”.

• Gọi khách theo cách khách tự xưng: khách xưng “anh” thì gọi “anh”, khách xưng “chị” thì gọi “chị”. Chưa rõ thì gọi “anh/chị”.

• Giữ nguyên cách gọi từ đầu đến cuối cuộc trò chuyện.

• Ví dụ: “Dạ, em gửi anh/chị bảng giá liệu trình ạ. Anh/chị muốn đặt lịch buổi sáng hay buổi chiều để em giữ chỗ ạ?”

Khi bot sai, phản xạ tự nhiên là thêm một dòng vào chỉ dẫn. Vài tháng sau, chỉ dẫn dài ba trang và có những quy tắc ngược nhau mà không ai nhận ra. Một trung tâm tiếng Anh vừa ghi “luôn trả lời ngắn, tối đa 3 câu”, vừa ghi “giải thích đầy đủ học phí, lịch học và ưu đãi”. Bot không biết theo quy tắc nào, nên lúc theo cái này, lúc theo cái kia. Hướng dẫn viết chỉ dẫn của OpenAI cũng cảnh báo: chỉ dẫn mâu thuẫn hoặc mơ hồ làm mô hình hoạt động kém đi.

Cách sửa: định kỳ đọc lại toàn bộ chỉ dẫn, chỉ giữ các phần chính là vai trò, giọng điệu, quy tắc và giới hạn. Mỗi quy tắc một mục đích, xóa quy tắc trùng. Khi hai quy tắc có thể đụng nhau, nói rõ trường hợp nào theo quy tắc nào, ví dụ: “Trả lời tối đa 3 câu. Riêng khi khách hỏi học phí, gửi bảng học phí đầy đủ.”

Thấy bot trả lời chưa ổn, nhiều doanh nghiệp soạn thêm câu trả lời mẫu cho từng tình huống. Có doanh nghiệp đã soạn hơn 40 câu mà bot vẫn trả lời chưa đúng. Lý do là các câu mẫu trùng ý nhưng khác số liệu, khác cách xưng, nên bot chọn lẫn lộn. Câu mẫu cũ còn có thể “chặn” câu trả lời đúng từ tài liệu, vì chatbot Ai thường ưu tiên dùng thông tin ở mẫu câu hỏi- câu trả lời trong tài liệu. Microsoft lưu ý điều tương tự với chatbot Copilot Studio: kịch bản cũ có thể được gọi ra trước cả nguồn kiến thức.

Cách sửa: gộp các câu mẫu trùng ý, xóa câu đã lỗi thời. Bot sai thông tin thì sửa tài liệu gốc thay vì thêm câu mẫu. Chỉ giữ câu mẫu cho tình huống cần nói đúng từng chữ, như cam kết bảo hành hay thông báo chính sách.

Nhóm 3: Lỗi trong cách bot xử lý hội thoại

Khách nhắn “giá sao em”, bot không biết khách hỏi sản phẩm nào nhưng vẫn báo một giá. Khách của phòng khám nha khoa hỏi nên uống thuốc giảm đau gì, bot tư vấn luôn. Khách mặc cả “giảm 20% thì chị lấy”, bot đồng ý. Nặng hơn, có khách cố tình dụ bot xác nhận một ưu đãi không có để sau đó đòi quyền lợi. Bốn tình huống chung một gốc: bot không được dạy cách xử lý khi không chắc, nên nó chọn cách dễ nhất là cứ trả lời.

OpenAI và Anthropic đều khuyến nghị để AI nói “chưa biết” hoặc hỏi lại, thay vì trả lời sai một cách tự tin. Áp vào chatbot chăm sóc khách hàng, hãy dạy bot ba cách xử lý theo thứ tự:

1. Hỏi lại khi câu hỏi chưa rõ: “Dạ anh/chị đang hỏi giá dòng sản phẩm nào ạ?”
2. Nói chưa có thông tin khi tài liệu không có, và hẹn nhân viên phản hồi.
3. Chuyển nhân viên ngay khi rủi ro cao: khiếu nại, tư vấn y tế, giá sỉ, yêu cầu ngoài chính sách.

Kèm theo đó, liệt kê rõ những điều bot không được nói hoặc hứa: giá và khuyến mãi chưa duyệt, tư vấn y tế, cam kết kết quả, ưu đãi ngoài chính sách…

Ban đêm là lúc chatbot AI có ích nhất, nhưng cũng là lúc lỗi khó phát hiện nhất, vì không ai đọc hội thoại cho tới sáng hôm sau. Lỗi hay gặp là giờ làm việc ghi ở hai nơi khác nhau. Chỉ dẫn ghi “mở cửa 8h–22h” là giờ CSKH hỗ trợ, còn phần cài đặt giờ làm việc vẫn để 8h–17h30 là giờ công ty mở cửa nhưng không giải thích rõ cho bot, nên 19h khách nhắn bot báo khách “hiện đang ngoài giờ làm việc”.

• Kiểm tra giờ làm việc ở cả phần cài đặt lẫn chỉ dẫn và tài liệu, chỉ để một nơi làm chuẩn. Nếu giờ mở cửa địa chỉ địa lý và giờ hỗ trợ online khác nhau, chỉ cho vào một nơi (ví dụ như kho tri thức) và giải thích rõ cho bot, hướng dẫn bot trả lời như thế nào khi khách nhắn những khung giờ khác nhàu.
• Soạn sẵn cách xử lý ngoài giờ: bot vẫn trả lời các câu có trong tài liệu, còn việc cần người thì ghi nhận và hẹn giờ liên hệ lại cụ thể. Mỗi sáng, người trực đầu ca đọc nhanh hội thoại đêm qua để xứ lý các phiếu ghi do bot tạo, hãy các hội thoại chưa hoàn thành.

Khách nhắn trung tâm IELTS rằng muốn học lớp buổi tối và để lại số điện thoại. Năm tin sau, bot hỏi “Anh/chị quan tâm khóa học nào ạ?” rồi xin số thêm lần nữa. Khách bực vì cảm thấy không được lắng nghe. Lỗi này hay gặp ở hội thoại dài, nhiều chủ đề. Anthropic giải thích rằng ngữ cảnh càng dài, khả năng AI nhớ chính xác từng chi tiết trong đó càng giảm.

• Thêm vào chỉ dẫn: trước khi hỏi thông tin, kiểm tra xem khách đã cung cấp chưa.
• Lưu thông tin khách (tên, số điện thoại, nhu cầu) vào hồ sơ khách hàng để bot và nhân viên cùng thấy.
• Khách phải nhắc lại cùng một điều lần thứ hai, hoặc hội thoại đã kéo dài hơn 10 tin nhắn, thì chuyển nhân viên.

Quy trình sửa chatbot AI trả lời sai

Chín lỗi trên thường lặp đi lặp lại chỉ vì không ai được giao việc theo dõi và sửa. Khi phát hiện bot trả lời sai, hãy làm theo thứ tự:

1. Gom hội thoại bot trả lời sai trong tuần và sửa 1 lần, thay vì sửa ngay theo một hội thoại lẻ. Nhiều lỗi trông khác nhau nhưng chung một nguyên nhân.
2. Xác định nhóm lỗi bằng bảng ở đầu bài. Mẹo kiểm tra: nếu đưa đúng tài liệu và chỉ dẫn đó cho một nhân viên mới, họ có trả lời đúng không? Nếu họ cũng sai, lỗi nằm ở tài liệu hoặc chỉ dẫn, không phải ở AI.
3. Sửa ở một chỗ, đúng nhóm lỗi. Đừng vừa sửa tài liệu vừa thêm chỉ dẫn vừa thêm câu mẫu cho cùng một lỗi.
4. Hỏi lại bot đúng câu khách đã hỏi, thêm 2–3 cách diễn đạt khác. Bot trả lời nhất quán thì mới chuyển sang lỗi tiếp theo.

Khi đánh giá bot, đừng chỉ đếm bot trả lời được bao nhiêu câu. Một bot trả lời nhiều nhưng sai nhiều gây hại hơn một bot biết nói “dạ em chưa có thông tin này, em nhờ bạn tư vấn kiểm tra giúp anh/chị nhé”. Hãy phân loại và đánh giá dựa trên mực độ thành công của hội thoại. Hội thoại được cho là thành công khi bot trả lời đúng các câu hỏi của khách hàng, chuyển giao nhân viên kịp thời, không gây khó chịu cho khách, không khiến khách rời bỏ.

Nên liên hệ đội hỗ trợ của nhà cung cấp phần mềm khi:

• Đã sửa tài liệu và chỉ dẫn mà bot vẫn sai cùng một kiểu.
• Bot không trả lời, trả lời chậm bất thường hoặc báo lỗi.
• Bot không đọc được file đã nạp, hoặc không nhận dữ liệu mới từ website.

Sửa lỗi Nhân viên AI trên Subiz: chỉnh ở mục nào?

Nếu bạn dùng Nhân viên AI của Subiz, mỗi nhóm lỗi ở trên có một chỗ sửa riêng trong phần cài đặt bot:

Vì hội thoại do bot xử lý nằm chung hộp thư với tin nhắn của nhân viên, trưởng nhóm có thể gắn nhãn những hội thoại AI trả lời chưa đạt, cuối tuần lọc lại để sửa theo quy trình 4 bước ở trên.

Đăng ký trải nghiệm chatbot AI Subiz ngay

Câu hỏi thường gặp

Thường do tài liệu có sử trùng lặp thông tin, có các bản khác nhau, nội dung nằm trong ảnh hoặc file quá dài, hoặc chỉ dẫn và câu mẫu đang mâu thuẫn với tài liệu. Hãy kiểm tra theo bảng chẩn đoán ở đầu bài.

Đặt quy tắc xưng hô ở một chỗ duy nhất, rà lại câu mẫu và tài liệu cho cùng một cách xưng, và thêm 1–2 câu trả lời mẫu đúng giọng.

Trong hội thoại dài, bot dễ bỏ sót chi tiết khách nói từ trước. Thêm chỉ dẫn kiểm tra thông tin đã có trước khi hỏi, và lưu thông tin khách vào hồ sơ để bot đọc lại.

Thường là không. Nếu lỗi nằm ở tài liệu và chỉ dẫn, bot mới cũng sẽ sai đúng như vậy. Hãy sửa nguồn trước, rồi mới so sánh phần mềm.

Chưa thể. Các nhà phát triển AI đều cho rằng lỗi chỉ giảm được chứ không về 0. Vì vậy, bot cần có quy tắc chuyển nhân viên khi không chắc, và cần một người theo dõi hội thoại định kỳ.