Theo đó, chatbot có thể bị tin tặc thao túng để gây ra những hậu quả đáng sợ trong thế giới thực. Điều này xảy ra khi người dùng nhập thông tin đầu vào hoặc câu lệnh được thiết kế để tạo ra một mô hình ngôn ngữ - công nghệ đứng sau các chatbot - làm cho nó hoạt động theo cách không mong muốn. Chatbot hoạt động dựa trên trí tuệ nhân tạo (AI) có thể trả lời câu hỏi được nhập vào theo hình thức câu lệnh từ người dùng, theo The Guardian.
Chúng bắt chước các cuộc trò chuyện giống con người đã được đào tạo thông qua việc thu thập một lượng lớn dữ liệu. Thường được sử dụng trong dịch vụ ngân hàng trực tuyến hoặc mua sắm trực tuyến, các chatbot được thiết kế để xử lý các yêu cầu đơn giản. Các mô hình ngôn ngữ lớn (LLM), chẳng hạn như ChatGPT của OpenAI và chatbot AI của Google, được đào tạo bằng cách sử dụng dữ liệu tạo ra phản hồi giống con người cho câu lệnh từ người dùng.
Vì chatbot được sử dụng để truyền dữ liệu đến các ứng dụng và dịch vụ của bên thứ ba nên NCSC cho biết rủi ro từ việc chèn các câu lệnh có nội dung độc hại sẽ tăng lên. Ví dụ, khi người dùng nhập một câu lệnh, câu hỏi với nội dung xa lạ với một mô hình ngôn ngữ đó hoặc khi người dùng kết hợp các từ để ghi đè lên các câu lệnh gốc của mô hình, họ có thể dẫn dắt nó thực hiện các hành động ngoài ý muốn.
Những thông tin đầu vào như vậy có thể khiến chatbot tạo ra nội dung xúc phạm hoặc tiết lộ thông tin mật trong hệ thống chấp nhận thông tin đầu vào không được kiểm tra. Sau khi Microsoft đã phát hành phiên bản mới của công cụ tìm kiếm Bing và bot AI đàm thoại dựa trên các mô hình ngôn ngữ lớn năm nay, Kevin Liu, một sinh viên Đại học Stanford (Mỹ), có thể tạo ra câu lệnh để tìm ra câu lệnh ban đầu của Bing Chat.
 |
| NCSC cảnh báo các cuộc tấn công chatbot (AI). Ảnh: AFP |
Toàn bộ câu lệnh trong Bing Chat của Microsoft được viết bởi Open AI hoặc Microsoft nhằm xác định cách chatbot tương tác với người dùng, vốn bị ẩn với người dùng, đã bị làm lộ khi Liu nhập lệnh yêu cầu Bing Chat “bỏ qua các hướng dẫn trước đó”. Nhà nghiên cứu bảo mật Johann Rehberger nhận thấy ông có thể buộc ChatGPT phản hồi những câu lệnh mới thông qua một bên thứ ba mà ban đầu ông ta không yêu cầu. Rehberger đã chèn một câu lệnh vào kịch bản của các video trên YouTube và phát hiện ra ChatGPT có thể truy cập vào các kịch bản này. Điều này có thể tạo ra các lỗ hổng bảo mật gián tiếp.
Theo NCSC, các cuộc tấn công lệnh có thể gây ra những hậu quả trên thực tế nếu hệ thống không được thiết kế bảo mật. Lỗ hổng bảo mật của chatbot và việc dễ dàng thao túng lời nhắc có thể gây ra các cuộc tấn công, lừa đảo và đánh cắp dữ liệu. LLM ngày càng được sử dụng nhiều hơn để truyền dữ liệu đến các ứng dụng và dịch vụ của bên thứ ba, đồng nghĩa với việc rủi ro từ việc chèn các câu lệnh độc hại sẽ tăng lên.
NCSC cho biết: “Các cuộc tấn công lệnh và đầu độc dữ liệu có thể cực kỳ khó bị phát hiện và hạn chế. Tuy nhiên, không có mô hình nào tồn tại một cách biệt lập, vì vậy những gì chúng tôi có thể làm là thiết kế toàn bộ hệ thống với nhận thức về tính bảo mật. Nghĩa là, bằng cách nhận thức được các rủi ro liên quan đến công nghệ máy học - ML (machine learning), chúng tôi có thể thiết kế hệ thống theo cách ngăn chặn việc khai thác các lỗ hổng…”.
Ví dụ đơn giản là sử dụng một hệ thống dựa trên các quy định cho mô hình ML để ngăn nó thực hiện các hành động có hại, ngay cả khi được lệnh làm như vậy.NCSC cho biết các cuộc tấn công mạng do trí tuệ nhân tạo và máy học gây ra lỗ hổng trên các hệ thống. Việc này có thể được giảm thiểu thông qua thiết kế bảo mật và sự am hiểu về các kỹ thuật tấn công khai thác “lỗ hổng cố hữu” trong thuật toán máy học.
