Kinh nghiệm huấn luyện và làm chủ AI của dự án Chatbot

Đôi nét về Chatbot

Chatbot là 1 BX Platform (BX) - trải nghiệm thương hiệu, cung cấp hệ thống BOT tự động chat với khách hàng từ bước thực hiện Ad-marketing, thuyết phục khách hàng mua hàng, tái sử dụng sản phẩm và giữ chân khi khách hàng có ý định dừng sử dụng dịch vụ (trên nhiều nền tảng Website, Facebook, Instagram, Line…). Sử dụng hệ thống Chatbot sẽ giúp cho khách hàng và doanh nghiệp tăng tỉ lệ đặt hàng (CVR), tỉ lệ giữ chân khách hàng (CRR) và tối ưu hóa giá trị trọn đời khách hàng (LTV).

Khách hàng là 1 startup trong lĩnh vực Web Marketing. Khoảng cuối năm 2016, khi có trào lưu về sử dụng bot chat tự động dựa trên các kịch bản đơn giản, team khách hàng đã xây dựng con bot để phục vụ chính cho việc marketing của công ty trên nền tảng Facebook. Sau một khoảng thời gian cộng tác với một đối tác phát triển ở Việt Nam, để đảm bảo nguồn nhân lực cho hướng phát triển bền vững và dài lâu, đầu năm 2020, khách hàng tìm đến Sun* để tiếp tục ý tưởng sản phẩm của mình, Với thương hiệu đã khẳng định qua năm tháng, khách hàng đã lựa chọn và đặt tin tưởng vào đội ngũ phát triển Sun* của chúng ta. Khách hàng và team dự án đã  phát triển mạnh BOT chuyên dùng cho các trang EC thương mại điện tử (EFO BOT), phục vụ cho nhu cầu mua sắm online vốn đã được ưa chuộng ở thị trường Nhật. Đến nay, sản phẩm đang phát triển mạnh mẽ và được sử dụng rộng rãi, EFO BOT và BOTCHAN AI) đang là những hướng mũi nhọn của khách hàng.

Khi các members phỏng vấn dự án này, khách hàng có chia sẻ rằng dự án sẽ có nhiều thử thách. Họ đã nhận được câu trả lời từ chính thành viên Sun* là "chúng tôi yêu thử thách". Đó vừa là cái duyên cũng vừa là sự thấu hiểu giữa 2 bên. Hiện tại, team Chatbot Sun* gồm 24 thành viên đến từ nhiều CEV khác nhau, trong đó 2 thành viên đến từ Sun* Japan.

Yếu tố công nghệ nổi bật 

NodeJS được lựa chọn để phát triển phần "lõi" của sản phẩm

Với tham vọng cung cấp dịch vụ cho hàng triệu khách hàng với hàng triệu người dùng mỗi ngày, dự án cần lựa chọn những công nghệ có thể mở rộng, cho hiệu suất cao khi hoạt động, dễ dàng phát triển và bảo trì, đồng thời cung cấp được nhiều nhất có thể kết nối cho người dùng trên từng node, do vậy, microservices/service oriented architecture là kiến trúc được lựa chọn để làm nguyên tắc phát triển dự án. NodeJS được chọn để phát triển phần "lõi" của sản phẩm. Trong dự án, không chỉ có NodeJS, những service cần thế mạnh của công nghệ, ngôn ngữ khác có thể được phát triển bởi ngôn ngữ phù hợp đó.

Với việc sử dụng NodeJS cho dự án, team đã tận dụng được những thế mạnh vượt trội của NodeJS so với các công nghệ khác như:

- Hiệu suất cao (High Performance một node có thể cung cấp dịch vụ cho rất nhiều kết nối tới người dùng)

- Tính mở rộng linh hoạt (Scalability)

- NodeJS là một ngôn ngữ dễ học và dễ bảo trì (Easy to Learn)

- Tối ưu chi phí (Cost-Effective) và khả năng mở rộng (Extensibility)

AI là thế mạnh công nghệ của dự án

Chatbot được đánh giá là một dự án nổi bật về mặt công nghệ, sử dụng các công nghệ tiên tiến nhất, đặc biệt là AI. 

Trước khi có Generative AI, dự án cũng đã sử dụng các mô hình AI để giải quyết bài toán Chatbot, nhưng câu trả lời không "có hồn", tương tác với người dùng rất hạn chế, chỉ "trả bài" được những câu có sẵn. 

Ngay thời điểm OpenAI với ChatGPT ra mắt, phía khách hàng và dự án đã rất nhanh nhạy chớp thời cơ đưa vào áp dụng luôn. Dev vừa mày mò khám phá từng bước, vừa áp dụng vào bài toán thực tế. Với những tiến bộ vượt bậc của Generative AI, con Bot đã có thể trả lời câu hỏi của người dùng một cách tự nhiên hơn, biết hỏi lại khi chưa có đủ thông tin, thậm chí là "tán gẫu", chơi game nối chữ với người dùng. Nhờ ưu điểm này, cộng với sự nhanh nhạy từ phía khách hàng khi bắt được làn sóng AI, chúng ta có thêm rất nhiều client mới. Số lượng Chatbot AI tăng từ 1 con ban đầu lên hơn 30 con ở thời điểm hiện tại. Số lượng Chatbot AI tăng từ 1 bot thử nghiệm ban đầu lên hơn 30 bot ở thời điểm hiện tại. Có được thành tựu này một phần lớn là nhờ bên cạnh Chatbot, dự án đã sẵn có một hệ sinh thái sẵn sàng phục vụ được các nhu cầu khác nhau của client. 

Trong quá trình phát triển, dự án có một số khó khăn có thể kể đến như hiện tương con bot "bịa" ra một số thông tin không chính xác. Hallucination là hiện tượng mô hình AI "bịa" ra câu trả lời cho câu hỏi mà nó không biết, đưa ra thông tin không có thực hoặc sai sự thực. Đối với một con Chatbot có chức năng cung cấp thông tin thì đây là một vấn đề khá lớn ảnh hưởng tới tính tin cậy của sản phẩm. 

Dự án đã áp dụng một số kỹ thuật về RAG (Retrieval Augmented Generation) - sử dụng Generative AI kết hợp với hệ thống truy vấn, ngoài ra còn tạo thêm một "thanh tra", sử dụng khả năng suy luận logic của AI để phát hiện ra ngay khi con bot có dấu hiệu "ảo tưởng". 

Chia sẻ thêm về RAG, đây là một phương pháp cho phép cải thiện hiệu quả của các ứng dụng mô hình ngôn ngữ lớn (LLM), nâng cao khả năng của mô hình sinh (language model generation) kết hợp với tri thức bên ngoài (external knowledge) bằng cách sử dụng dữ liệu tùy chỉnh. Điều này đạt được bằng cách truy xuất dữ liệu/tài liệu liên quan đến câu hỏi hoặc nhiệm vụ và cung cấp chúng như ngữ cảnh cho LLM. RAG đã chứng minh thành công trong việc hỗ trợ chatbot và hệ thống hỏi - đáp cần duy trì thông tin cập nhật hoặc truy cập vào kiến thức thuộc lĩnh vực cụ thể. 

Tóm lại, kiến trúc RAG đem lại những lợi ích liên quan đến tính chính xác của câu trả lời, giảm thiểu câu trả lời không chính xác, có thể trích dẫn nguồn gốc, cho phép xác minh từ phía con người, cung cấp câu trả lời cụ thể cho lĩnh vực cụ thể, hiệu quả và tiết kiệm chi phí - đặc biệt hữu ích khi các mô hình cần được cập nhật thường xuyên với dữ liệu mới. 

*** Nếu muốn tìm hiểu cụ thể hơn về RAG, bạn có thể đăng ký tham dự TechUp #2 do Sun* tổ chức vào 8/6 tới đây. “Ứng dụng LLM với kiến trúc RAG để tạo ra sản phẩm tích hợp AI” - là 1 trong 2 phần nội dung chính của chương trình. 

Có thể nói, với việc áp dụng RAG vào dự án, từng bước, Chatbot đã có bước phát triển tốt đẹp hơn.  

Tham gia vào phát triển sản phẩm này, vai trò của các thành viên thuộc R&D Unit rất quan trọng với dự án. RnD có hiểu biết về công nghệ AI, CEV05 có kinh nghiệm phát triển dự án và hệ thống, 2 Unit đã kết hợp ăn ý với nhau để cùng phát triển các tính năng trong dự án.

“Tính năng AI tâm đắc nhất và cũng có thể nói là quan trọng nhất của dự án là khả năng trò chuyện với người dùng bằng ngôn ngữ tự nhiên nhờ áp dụng Generative AI của con Bot. Đây là bước chuyển mình lớn nhất của thành phần AI trong dự án, thể hiện tinh thần "Be Agile", nhanh nhạy thích ứng với thay đổi của Sun* và khách hàng. Đây cũng là tính năng nhiều thách thức nhất vì nó ảnh hưởng trực tiếp đến người dùng cuối với những hành vi không lường trước được, là tính năng core mà team AI trong dự án vẫn luôn "Aim high", tìm cách cải tiến từng ngày.” - Bạn Thu Thảo (thành viên R&D Unit tham gia vào dự án) chia sẻ.

Một số ứng dụng khác của AI trong dự án là phân tích lịch sử hội thoại, xử lý dữ liệu text đầu vào đa dạng, giúp tiết kiệm rất nhiều công sức và thời gian cho client.

“Trong thời gian tới, dự án sản phẩm sẽ tiếp tục cải thiện độ chính xác và trải nghiệm người dùng, thêm nhiều tính năng mới hỗ trợ end-user chứ không chỉ giới hạn trong việc trả lời câu hỏi. Có thể nói, tiềm năng ứng dụng AI trong dự án sản phẩm là rất lớn.” - Anh Minh Toản - Technical Lead dự án chia sẻ.

“Một số cải tiến đáng mong đợi trong thời gian tới của dự án bao gồm tính năng voice chat, chatbot truy vấn thông tin sản phẩm, hỗ trợ dữ liệu đầu vào dạng ảnh, video, vv. ứng dụng hệ sinh thái AI đa dạng của Azure và khả năng vượt trội của các generative AI mới nhất.” - Bạn Thu Thảo bổ sung thêm. 

Để nói về dự án, 3 từ sau có lẽ miêu tả chính xác nhất: 

Challenge: Với khởi đầu là một dự án phức tạp, thừa hưởng code/giải pháp/kiến trúc đã từng phát triển bởi một bên khác, thiếu tài liệu và hướng dẫn, qua thời gian, chúng tôi đã làm chủ được toàn bộ dự án, phát triển và dần cải thiện dự án.

Adaptation: Dự án cần đáp ứng với nhu cầu thay đổi, từ phía khác hàng cũng như công nghệ, chúng tôi đã và đang thích nghi nhanh chóng với những thay đổi này, nhằm cung cấp cho khách hàng những giải pháp tốt nhất có thể.

Refactoring: Từ một dự án với những file code lên tới 20K lines of code, chúng tôi đã và đang tái cấu trúc, biến dự án thành những clean modules/services, sẵn sàng cho một tương lai đầy thử thách nhưng rất tươi sáng.

“Muốn đi nhanh thì đi một mình, muốn đi xa thì đi cùng nhau. Xin chân thành cảm ơn sự đồng hành của tất cả mọi người trong dự án. Mọi người rất tuyệt vời, luôn nhiệt huyết, thích ứng với sự thay đổi và sẵn sàng cùng nhau vượt qua thử thách, thể hiện mạnh mẽ core value: Be Agile. Dù chặng đường phía trước hứa hẹn nhiều chông gai và có nhiều góc cạnh phức tạp, nhưng anh tin rằng chúng ta sẽ cùng nhau chinh phục tất cả và mang lại cho khách hàng giá trị awesome. Hãy cùng Aim High và Wasshoi nhé!” - Anh Thế Hà - PSM có đôi lời nhắn nhủ đến dự án.