Theo OpenAI, Ultrafast có thể giúp GPT-5.6 Sol hoạt động nhanh gấp 14 lần chế độ xử lý tiêu chuẩn, đạt tốc độ lên tới 750 token đầu ra mỗi giây. Đây được xem là bước tiến đáng chú ý trong nỗ lực rút ngắn thời gian phản hồi của các mô hình AI, đặc biệt với những tác vụ yêu cầu xử lý liên tục và gần như theo thời gian thực.
Token là những đơn vị văn bản riêng biệt được mô hình ngôn ngữ lớn (LLM) tạo ra trong quá trình tương tác với người dùng. Tốc độ 750 token mỗi giây cho phép GPT-5.6 Sol nhanh chóng tạo và xử lý lượng lớn nội dung, qua đó mở rộng khả năng ứng dụng trong các sản phẩm và quy trình làm việc đòi hỏi phản hồi nhanh.
"Cho đến nay, để đạt tốc độ theo thời gian thực, người dùng thường phải lựa chọn một mô hình nhỏ hơn hoặc chuyên biệt hơn. Ultrafast mở ra một hướng phát triển mới: thực hiện nhiều công việc hữu ích hơn trong mỗi giây", OpenAI cho biết trong bài đăng trên blog.
Động thái của OpenAI diễn ra trong bối cảnh các đối thủ cũng tăng tốc cuộc đua về hiệu suất AI. Anthropic đã cung cấp chế độ Fast cho Claude, cho phép người dùng ưu tiên tốc độ phản hồi. Tuy nhiên, OpenAI cho rằng Ultrafast đang hướng tới một mức hiệu suất mới khi kết hợp tốc độ xử lý cao với một mô hình mạnh hơn.
OpenAI cho biết GPT-5.6 Sol trên Ultrafast có thể được triển khai trong nhiều quy trình doanh nghiệp, đặc biệt là những lĩnh vực cần phản hồi nhanh và xử lý lượng thông tin lớn. Các ứng dụng được nhắc đến gồm ứng phó sự cố, dịch vụ và hỗ trợ khách hàng, phân tích thị trường tài chính, thương mại điện tử cùng nhiều quy trình khác.
Ultrafast hiện được phát hành dưới dạng bản xem trước và trước mắt chỉ được cung cấp cho một nhóm khách hàng được lựa chọn thông qua OpenAI API. Chế độ này được vận hành nhờ sự hợp tác giữa OpenAI và Cerebras, hãng sản xuất chip tập trung vào hạ tầng AI.
OpenAI cho biết phạm vi tiếp cận Ultrafast sẽ tiếp tục được mở rộng khi năng lực cung cấp tăng lên. Nếu được triển khai rộng rãi, chế độ mới có thể trở thành lựa chọn đáng chú ý cho các doanh nghiệp cần cân bằng giữa khả năng xử lý của mô hình AI tiên tiến và tốc độ phản hồi trong thực tế.
