GPT-4 là gì? Phiên bản kế nhiệm của ChatGPT có gì nổi bật? (Sử dụng logo của OpenAI từ miền công cộng)

GPT-4 là gì? Phiên bản kế nhiệm của ChatGPT có gì nổi bật?

Giúp NTDVN sửa lỗi

Vào ngày 14/3/2023 OpenAI đã cho ra mắt mô hình ngôn ngữ lớn GPT-4. Vậy GPT-4 là gì? Phiên bản kế nhiệm của ChatGPT có gì nổi bật?

GPT-4 là gì?

GPT-4 (Generative Pre-training Transformer 4) là một mô hình ngôn ngữ lớn (large language model) do OpenAI tạo ra. GPT-4 là mô hình thứ tư trong chuỗi các mô hình GPT: GPT, GPT-2, GPT-3, và GPT-4.

GPT-4 được phát hành vào ngày 14/3/2023 và sẽ khả dụng qua API cũng như cho người dùng ChatGPT Plus. Microsoft xác nhận rằng các phiên bản Bing sử dụng GPT trên thực tế đã sử dụng GPT-4 trước khi phát hành chính thức.

Sự khác nhau giữa ChatGPT và GPT-4 là gì?

So với ChatGPT và các phiên bản tiền nhiệm khác, GPT-4 có những cải tiến như sau:

GPT-4 có thể xem và hiểu hình ảnh

GPT-4 là một mô hình đa phương thức (multimodal); điều này có nghĩa là GPT-4 có thể nhận đầu vào là hình ảnh hoặc văn bản. Đây là một cải tiến khi so với những phiên bản tiền nhiệm của nó, GPT-3.5 hoặc ChatGPT, vốn chỉ nhận đầu vào là văn bản.

: Hình ảnh mô tả khả năng hỏi và đáp trên ảnh của GPT-4. (Ảnh chụp màn hình từ trang 34 của Báo cáo kỹ thuật GPT-4).

GPT-4 hỗ trợ tốt đa ngôn ngữ hơn

Tiếng Anh là ngôn ngữ thông dụng và phổ biến, cho nên có rất nhiều dữ liệu được tạo ra từ tiếng Anh. Phần lớn các văn bản nghiên cứu khoa học đều được viết bằng tiếng Anh.

Trong lĩnh vực AI, có rất nhiều tập dữ liệu dùng để huấn luyện các mô hình AI đều là tiếng Anh. Đây là lý do vì sao các mô hình AI thường hoạt động tốt trên tiếng Anh.

Trong bài GPT-4 Technical Report (Tạm dịch là: Báo cáo kỹ thuật GPT-4), OpenAI đã thực nghiệm và chứng minh rằng GPT-4 có thể trả lời hàng nghìn câu hỏi trắc nghiệm với độ chính xác cao (high accuracy; accuracy là một độ đo dùng để đánh giá các mô hình) trên 26 ngôn ngữ.

Đây chỉ là một thử nghiệm nhỏ để kiểm tra khả năng đa ngôn ngữ của GPT-4. Mặc dù điều này chưa đủ để chứng minh rằng GPT-4 có khả năng hoạt động tốt trên các ngôn ngữ khác. Nhưng đây là một bước thử nghiệm, và điều này cho thấy việc mở rộng sang các ngôn ngữ khác chỉ nằm ở vấn đề dữ liệu.

: Hình ảnh mô tả khả năng của GPT-4 trên bộ dữ liệu MMLU trên các ngôn ngữ khác nhau. (Ảnh chụp màn hình từ trang 8 của Báo cáo kỹ thuật GPT-4).

GPT-4 vượt qua ChatGPT về khả năng lập luận nâng cao

Trên trang web chính thức của mình, OpenAI đã cung cấp một ví dụ về khả năng suy luận nâng cao của ChatGPT và GPT-4.

Đầu vào dành cho cả hai mô hình là: “Andrew rảnh từ 11 giờ sáng đến 3 giờ chiều, Joanne rảnh từ trưa đến 2 giờ chiều và sau đó là 3:30 chiều đến 5 giờ chiều. Hannah rảnh vào buổi trưa trong nửa giờ, sau đó từ 4 giờ chiều đến 6 giờ chiều. Hãy liệt kê một số lựa chọn về thời gian để bắt đầu cuộc họp 30 phút cho cả ba, Andrew, Hannah và Joanne?” (tạm dịch).

GPT-4 đã đưa ra câu trả lời hợp lý đối với yêu cầu này. Trong khi đó câu trả lời từ ChatGPT chưa chuẩn xác.

: Ảnh chụp màn hình từ trang web chính thức của OpenAI.

GPT-4 có bộ nhớ dài hơn

Một trong những hạn chế của các mô hình ngôn ngữ là khả năng về bộ nhớ. Trong các mô hình ngôn ngữ sẽ có 1 thông số quan trọng, gọi là ‘context length'. Nếu đầu vào của bạn dài quá con số giới hạn, thì bạn sẽ phải vào cắt đầu vào ra thành nhiều phần nhỏ, như vậy sẽ không đảm bảo được sự trọn vẹn của đầu vào và mô hình sẽ khó nhớ những phần trước.

Ví dụ, GPT-3.5 và phiên bản cũ của ChatGPT, giới hạn đầu vào là 4096 ‘token’, tức là khoảng 8000 từ hoặc khoảng 4 đến 5 trang sách. Vì vậy, nó sẽ gần như mất dấu vết của mọi thứ sau khi chúng đi quá xa về phía sau trong chức năng chú ý (attention) của mô hình.

GPT-4 có số lượng ‘token’ tối đa là 32.768, tức là khoảng 64.000 từ hoặc 50 trang văn bản, đủ cho toàn bộ vở kịch hoặc truyện ngắn.

"gpt-4 has a context length of 8,192 tokens. We are also providing limited access to our 32,768–context (about 50 pages of text) version, gpt-4-32k"

That's what I was most hoping for: enables things like summarization of full academic papers, rather than having to split them

— Simon Willison (@simonw) March 14, 2023