- Các báo cáo về sự chậm lại trong tiến bộ AI đã gây ra lo ngại về việc mở rộng quy mô mô hình trong cuộc gọi công bố kết quả kinh doanh của Nvidia.
- Một nhà phân tích đặt câu hỏi liệu các mô hình có đang đi vào bế tắc và liệu chip Blackwell của Nvidia có thể giúp ích không.
- Huang nói rằng có ba yếu tố trong việc mở rộng quy mô và mỗi yếu tố đều tiếp tục tiến triển.
Nếu các mô hình nền tảng đang thúc đẩy cơn sốt hướng tới AI tạo sinh ngừng cải thiện, Nvidia sẽ gặp vấn đề. Toàn bộ giá trị cốt lõi của Thung lũng Silicon là nhu cầu liên tục về sức mạnh tính toán ngày càng lớn hơn.
Những lo ngại về quy luật mở rộng quy mô bắt đầu gần đây với các báo cáo cho rằng tiến độ cải thiện mô hình của OpenAI đang chậm lại. Nhưng Jensen Huang không lo lắng.
CEO của Nvidia đã nhận được câu hỏi vào hôm thứ Tư, trong cuộc gọi công bố kết quả kinh doanh quý 3 của công ty. Liệu tiến độ có bị đình trệ không? Và liệu sức mạnh của chip Blackwell của Nvidia có thể khởi động lại nó không?
“Việc mở rộng quy mô đào tạo trước mô hình nền tảng vẫn nguyên vẹn và đang tiếp tục,” Huang nói.
Ông bổ sung rằng việc mở rộng quy mô không hẹp như nhiều người nghĩ.
Trong quá khứ, có thể đúng là các mô hình chỉ cải thiện với nhiều dữ liệu và nhiều đào tạo trước hơn. Hiện nay, AI có thể tạo ra dữ liệu tổng hợp và tự kiểm tra câu trả lời của mình để – theo một cách nào đó – tự đào tạo. Tuy nhiên, chúng ta đang cạn kiệt dữ liệu chưa được các mô hình này tiếp nhận, và tác động của dữ liệu tổng hợp đối với việc đào tạo trước vẫn còn gây tranh cãi.
Khi hệ sinh thái AI trưởng thành, các công cụ để cải thiện mô hình đang trở nên quan trọng hơn. Thế hệ đầu tiên của việc cải thiện mô hình sau đào tạo đến từ đội ngũ con người kiểm tra từng phản hồi của AI một cách riêng lẻ.
Huang đã nhắc đến mô hình Strawberry hoặc o1 của OpenAI, sử dụng các chiến lược hiện đại hơn như “suy luận chuỗi suy nghĩ” (chain of thought reasoning) và “lập kế hoạch đa đường” (multi-path planning). Đây đều là những chiến thuật khuyến khích các mô hình suy nghĩ lâu hơn và theo cách từng bước để các phản hồi được cân nhắc kỹ lưỡng hơn.
“Mô hình suy nghĩ càng lâu, câu trả lời càng tốt và chất lượng cao hơn,” Huang nói.
Huang cho biết việc đào tạo trước, cải thiện sau đào tạo, và các chiến lược suy luận mới đều cải thiện các mô hình. Tất nhiên, nếu mô hình đang thực hiện nhiều tính toán hơn để trả lời cùng một câu hỏi cơ bản, đó là lúc cần có sức mạnh tính toán cao hơn – đặc biệt là khi người dùng muốn nhận được phản hồi nhanh như cũ, nếu không muốn nói là nhanh hơn.
Ông nói rằng nhu cầu về Blackwell là kết quả của điều này.
Xét cho cùng, thế hệ đầu tiên của các mô hình nền tảng đã cần khoảng 100.000 chip Hopper để xây dựng. “Bạn biết đấy, thế hệ tiếp theo bắt đầu từ 100.000 Blackwell,” Huang nói. Công ty cho biết việc vận chuyển thương mại các chip Blackwell mới chỉ bắt đầu.
Tác giả: Emma Cosgrove,
Link bài gốc: Jensen Huang says the 3 elements of AI scaling are all advancing. Nvidia’s Blackwell demand will prove it. | Bài được đăng vào ngày 21/11/2024, trên www.businessinsider.com
Dịch giả: Dieter R – KenkAI Nhiều thứ hay
(*) Bạn có thể sao chép và chia sẻ thoải mái.
(**) Follow KenkAI Nhiều thứ hay để đọc các bài dịch khác và cập nhật thông tin bổ ích hằng ngày.
Để lại một bình luận