Đánh giá độ tin cậy của mô hình ngôn ngữ lớn: Rủi ro tiềm ẩn và hướng cải tiến

Một nghiên cứu được thực hiện bởi các nhà nghiên cứu từ Đại học Illinois tại Urbana-Champaign, Đại học Stanford, Đại học California tại Berkeley, Trung tâm An ninh Trí tuệ Nhân tạo và nhiều công ty công nghệ khác đã đánh giá toàn diện độ tin cậy của các mô hình ngôn ngữ lớn như GPT.

Nhóm nghiên cứu đã phát triển một nền tảng đánh giá toàn diện, kiểm tra mô hình từ nhiều góc độ khác nhau. Kết quả đã phát hiện một số lỗ hổng và rủi ro chưa được công bố trước đây. Chẳng hạn, mô hình GPT dễ dàng tạo ra các đầu ra có hại và có thiên kiến, và cũng có thể rò rỉ dữ liệu huấn luyện cũng như thông tin riêng tư trong lịch sử trò chuyện.

Thú vị là, mặc dù GPT-4 thường đáng tin cậy hơn GPT-3.5 trong các bài kiểm tra tiêu chuẩn, nhưng khi phải đối mặt với các gợi ý được thiết kế ác ý, nó lại dễ bị tấn công hơn. Điều này có thể là do GPT-4 tuân theo các chỉ dẫn sai lệch một cách chính xác hơn.

Nghiên cứu đã đánh giá mô hình từ tám khía cạnh khác nhau, bao gồm khả năng chống lại các cuộc tấn công đối kháng, việc tạo nội dung có hại, bảo vệ quyền riêng tư và các khía cạnh khác. Đánh giá đã sử dụng nhiều kịch bản và tập dữ liệu, bao gồm cả các chuẩn hiện có và các bài kiểm tra mới do nhóm nghiên cứu thiết kế.

Trong các cuộc tấn công đối kháng, nghiên cứu cho thấy mô hình GPT vẫn dễ bị tổn thương trước một số loại tấn công. Về việc tạo ra nội dung có hại, mô hình dễ dàng tạo ra nội dung thiên lệch dưới sự hướng dẫn sai lầm, đặc biệt là đối với một số chủ đề nhạy cảm. Về bảo vệ quyền riêng tư, mô hình có thể tiết lộ thông tin nhạy cảm trong dữ liệu huấn luyện, đặc biệt là dưới một số hướng dẫn cụ thể.

Nhóm nghiên cứu nhấn mạnh rằng công việc này chỉ là một điểm khởi đầu. Họ hy vọng sẽ hợp tác với nhiều nhà nghiên cứu hơn để phát triển các mô hình ngôn ngữ đáng tin cậy và an toàn hơn trên cơ sở này. Để làm được điều đó, họ đã công khai mã đánh giá chuẩn để các nhà nghiên cứu khác có thể dễ dàng kiểm tra các mô hình mới.

Nghiên cứu này cung cấp một khung toàn diện để đánh giá độ tin cậy của các mô hình ngôn ngữ lớn, tiết lộ những rủi ro tiềm ẩn hiện có của các mô hình này. Khi mà những mô hình này ngày càng được ứng dụng rộng rãi trong nhiều lĩnh vực, việc nâng cao độ tin cậy và an toàn của chúng trở nên ngày càng quan trọng. Các nghiên cứu và phát triển trong tương lai cần tập trung vào những vấn đề này để phát triển các hệ thống AI đáng tin cậy và có trách nhiệm hơn.