Trong giới phần cứng AI, hầu như ai cũng nói về suy luận (inference). Giám đốc tài chính của Nvidia, Colette Kress, cho biết trong cuộc gọi thu nhập của công ty vào thứ Tư rằng suy luận chiếm khoảng 40% trong tổng doanh thu 26,3 tỷ USD từ trung tâm dữ liệu của Nvidia trong quý hai. Giám đốc điều hành AWS, Matt Garman, gần đây đã nói trên podcast No Priors rằng suy luận có thể chiếm một nửa công việc được thực hiện trên các máy chủ điện toán AI ngày nay. Và tỷ lệ này có khả năng tăng lên, thu hút các đối thủ cạnh tranh muốn làm suy yếu vị thế của Nvidia.
Do đó, nhiều công ty đang tìm cách chiếm thị phần từ Nvidia bắt đầu với suy luận. Một nhóm sáng lập gồm các cựu nhân viên của Google đã thành lập Groq, tập trung vào phần cứng suy luận và đã huy động được 640 triệu USD với mức định giá 2,8 tỷ USD vào tháng 8.
Vào tháng 12 năm 2023, Positron AI đã ra mắt với một chip suy luận mà họ tuyên bố có thể thực hiện các phép tính tương tự như Nvidia H100, nhưng rẻ hơn năm lần. Amazon đang phát triển cả chip huấn luyện và suy luận — được đặt tên là Trainium và Inferentia tương ứng. “Tôi nghĩ rằng càng có nhiều sự đa dạng thì chúng ta càng tốt hơn,” Garman nói trên cùng một podcast.
Và Cerebras, công ty California nổi tiếng với các chip huấn luyện AI quá khổ, đã công bố tuần trước rằng họ đã phát triển một chip suy luận lớn tương đương và là nhanh nhất trên thị trường, theo CEO Andrew Feldman.
Không phải tất cả các chip suy luận đều được xây dựng như nhau
Các chip được thiết kế cho các công việc AI phải được tối ưu hóa cho huấn luyện hoặc suy luận. Huấn luyện là giai đoạn đầu tiên của việc phát triển một công cụ AI — khi bạn đưa dữ liệu có nhãn và chú thích vào một mô hình để nó có thể học cách tạo ra các kết quả chính xác và hữu ích. Suy luận là hành động tạo ra các kết quả đó sau khi mô hình đã được huấn luyện.
Các chip huấn luyện thường tối ưu hóa cho sức mạnh tính toán tuyệt đối. Các chip suy luận yêu cầu ít sức mạnh tính toán hơn, thực tế một số suy luận có thể được thực hiện trên CPU truyền thống. Các nhà sản xuất chip cho nhiệm vụ này quan tâm nhiều hơn đến độ trễ vì sự khác biệt giữa một công cụ AI gây nghiện và một công cụ gây khó chịu thường nằm ở tốc độ. Đó là điều mà CEO của Cerebras, Andrew Feldman, đang đặt cược vào.
Chip của Cerebras có băng thông bộ nhớ gấp 7.000 lần so với Nvidia H100, theo công ty. Đó là điều cho phép Feldman gọi là “tốc độ chớp nhoáng”. Công ty, đang bắt đầu quá trình phát hành IPO, cũng đang triển khai dịch vụ suy luận với nhiều cấp độ, bao gồm cả cấp độ miễn phí.
“Suy luận là một vấn đề băng thông bộ nhớ,” Feldman nói với Business Insider.
Kiếm tiền từ AI, mở rộng khối lượng công việc suy luận
Việc chọn tối ưu hóa thiết kế chip cho huấn luyện hay suy luận không chỉ là quyết định kỹ thuật, mà còn là quyết định thị trường. Hầu hết các công ty làm công cụ AI sẽ cần cả hai vào một thời điểm nào đó, nhưng phần lớn nhu cầu của họ có thể sẽ nằm ở một lĩnh vực nào đó, tùy thuộc vào giai đoạn phát triển của công ty.
Khối lượng công việc huấn luyện lớn có thể được coi là giai đoạn R&D của AI. Khi một công ty chuyển sang chủ yếu là suy luận, điều đó có nghĩa là bất kỳ sản phẩm nào họ đã xây dựng đang hoạt động cho khách hàng cuối cùng — ít nhất là trên lý thuyết.
Suy luận được dự đoán sẽ chiếm phần lớn các nhiệm vụ tính toán khi nhiều dự án AI và startup trưởng thành. Thực tế, theo Garman của AWS, đó là điều cần phải xảy ra để nhận ra lợi nhuận chưa thực hiện được từ hàng trăm tỷ USD đầu tư vào hạ tầng AI.
“Các khối lượng công việc suy luận phải chiếm ưu thế, nếu không tất cả các khoản đầu tư vào các mô hình lớn này sẽ không thực sự mang lại hiệu quả,” Garman nói với No Priors.
Tuy nhiên, sự phân chia đơn giản giữa huấn luyện và suy luận cho các nhà thiết kế chip có thể không kéo dài mãi mãi.
“Một số cụm máy trong các trung tâm dữ liệu của chúng tôi, khách hàng sử dụng chúng cho cả hai,” Raul Martynek, CEO của chủ sở hữu trung tâm dữ liệu Databank, nói.
Việc Nvidia gần đây mua lại Run.ai có thể hỗ trợ dự đoán của Martynek rằng bức tường giữa suy luận và huấn luyện có thể sớm bị phá vỡ.
Vào tháng 4, Nvidia đã đồng ý mua lại công ty Israel Run:ai, nhưng thỏa thuận này chưa được hoàn tất và đang bị Bộ Tư pháp xem xét, theo Politico. Công nghệ của Run:ai giúp GPU hoạt động hiệu quả hơn, cho phép thực hiện nhiều công việc hơn trên ít chip hơn.
“Tôi nghĩ đối với hầu hết các doanh nghiệp, họ sẽ hợp nhất. Bạn sẽ có một cụm máy vừa huấn luyện vừa suy luận,” Martynek nói.
Trong suốt thời gian qua, tôi đã dành nhiều tâm huyết xây dựng trang web này, cố gắng chia sẻ những thông tin hữu ích bằng tiếng Anh. Tuy nhiên, hôm nay tôi muốn chia sẻ một bài học quan trọng mà tôi vừa học được.
Sự thật là, những bài viết trước đây của tôi chủ yếu được sao chép và chỉnh sửa từ các nguồn khác. Tôi đã không nhận thức được rằng việc này vi phạm bản quyền và không mang lại giá trị thực sự cho độc giả.
Từ hôm nay, tôi quyết định thay đổi hoàn toàn phương thức làm việc:
Cam kết tạo nội dung hoàn toàn gốc
Nghiên cứu kỹ lưỡng trước khi viết
Tôn trọng quyền tác giả
Không sao chép nội dung từ bất kỳ nguồn nào
Tôi sẽ đầu tư thời gian học hỏi về:
Kỹ năng viết chuyên nghiệp
Vấn đề đạo đức trong việc chia sẻ thông tin
Các quy định về bản quyền
Mong rằng các bạn sẽ đồng hành và ủng hộ tôi trong hành trình cải thiện này. Sự minh bạch và chất lượng nội dung luôn là ưu tiên hàng đầu.
AI Cách Mạng: Khởi Nghiệp Công Nghệ Tương Lai Ngay
Ông Lee cho biết: “Nếu thuộc thế hệ trước, chúng tôi dễ dàng có tới 200 nhân viên. Chúng tôi có cơ hội để suy nghĩ lại về điều đó, về cơ bản là viết lại kịch bản”.
Khởi nghiệp AI đang định hình tương lai kinh doanh. Với sức mạnh công nghệ, startup AI giải phóng tiềm năng sáng tạo, tối ưu hóa quy trình và mở ra những cơ hội kinh doanh chưa từng có trong kỷ nguyên số.
DeepSeek đang tạo ra một bước ngoặt mới cho Thung lũng Silicon.
Hầu như ngày nào, doanh nhân Grant Lee cũng được các nhà đầu tư thuyết phục xuống tiền. Một số người thậm chí còn gửi cho ông và những người đồng sáng lập khác nhiều giỏ quà đắt đỏ để lấy lòng.
Ông Lee, 41 tuổi, trước đây đã giúp thành lập một công ty khởi nghiệp AI có tên Gamma. Giống như nhiều startup trẻ khác ở Thung lũng Silicon, Gamma theo đuổi một chiến lược mới: sử dụng các công cụ trí tuệ nhân tạo để tăng năng suất của nhân viên, từ dịch vụ khách hàng, tiếp thị đến mã hóa và nghiên cứu.
Điều đó có nghĩa là Gamma không cần thêm tiền mặt nữa, ông Lee cho biết. Công ty của ông chỉ tuyển dụng 28 người cũng có thể tạo ra hàng chục triệu USD doanh thu định kỳ hàng năm với gần 50 triệu người dùng. Gamma cũng có lãi.
Ông Lee cho biết: “Nếu thuộc thế hệ trước, chúng tôi dễ dàng có tới 200 nhân viên. Chúng tôi có cơ hội để suy nghĩ lại về điều đó, về cơ bản là viết lại kịch bản”.
Mô hình Thung lũng Silicon cũ chỉ ra rằng các công ty khởi nghiệp nên huy động một khoản tiền lớn từ các nhà đầu tư mạo hiểm, sau đó chi tiền thuê một đội ngũ nhân viên để mở rộng quy mô. Trong khi đó, Gamma vẫn kiếm được tiền và phát triển nhanh chóng dù không cần vốn tài trợ hay số lượng lớn nhân viên.
Những câu chuyện thành công này đã thu hút sự chú ý của Thung lũng Silicon. Anysphere, một công ty khởi nghiệp tạo ra phần mềm mã hóa Cursor, đạt doanh thu 100 triệu USD trong vòng chưa đầy hai năm với chỉ 20 nhân viên. ElevenLabs, một công ty A.I. công ty khởi nghiệp bằng giọng nói, cũng làm nên kỳ tích tương tự với khoảng 50 nhân sự.
Khả năng A.I. cho phép các công ty khởi nghiệp làm được nhiều việc hơn với ít nhân viên hơn đã dẫn đến những suy đoán hoang đường về tương lai. Sam Altman, giám đốc điều hành của OpenAI, dự đoán rằng một ngày nào đó có thể có một công ty một người trị giá 1 tỷ USD.
Founder Lee markettimes.vn
Với các công cụ A.I., một số công ty khởi nghiệp hiện đang tuyên bố ngừng tuyển dụng ở một quy mô nhất định. Runway Financial, một công ty phần mềm tài chính, cho biết chỉ tuyển tối đa 100 nhân viên vì mỗi người sẽ tăng năng suất gấp rưỡi. Agency, startup sử dụng A.I. cho dịch vụ khách hàng, cũng có kế hoạch tuyển dụng không quá 100 nhân viên.
“Mục đích là loại bỏ những vai trò không cần thiết”, Elias Torres, người sáng lập Agency, cho biết.
Ý tưởng này được thúc đẩy bởi DeepSeek, công ty khởi nghiệp A.I. của Trung Quốc xây dựng các công cụ trí tuệ nhân tạo với chi phí chỉ bằng một phần nhỏ so với chi phí thông thường. Bước đột phá, được xây dựng trên các công cụ nguồn mở có sẵn miễn phí trực tuyến, đã tạo ra sự bùng nổ của các công ty xây dựng sản phẩm mới giá rẻ.
“DeepSeek là một bước ngoặt”, Gaurav Jain, một nhà đầu tư tại công ty đầu tư mạo hiểm Afore Capital, đơn vị đã hỗ trợ Gamma, cho biết. “Chi phí điện toán sẽ giảm rất, rất nhanh, rất nhanh”.
Ông Jain so sánh các công ty khởi nghiệp A.I. mới với làn sóng cuối những năm 2000, sau khi Amazon bắt đầu cung cấp các dịch vụ điện toán đám mây giá rẻ. Điều đó đã làm giảm chi phí thành lập công ty, dẫn đến một loạt các công ty khởi nghiệp mới có thể được xây dựng với chi phí rẻ.
Trước cơn sốt A.I. này, các công ty khởi nghiệp thường đốt 1 triệu USD để đạt được doanh thu 1 triệu USD. Bây giờ, để đạt được doanh thu 1 triệu USD, chi phí chỉ bằng 1/5 và cuối cùng có thể giảm xuống còn 1/10, theo phân tích của Afore đối với 200 công ty khởi nghiệp.
Ông Jain cho biết: “Lần này, chúng tôi đang tự động hóa con người chứ không chỉ tự động hóa các trung tâm dữ liệu”.
Tuy nhiên, nếu các công ty khởi nghiệp vẫn có thể có lãi mà không cần chi nhiều tiền, điều đó có thể trở thành vấn đề lớn đối với các nhà đầu tư mạo hiểm, những người phân bổ hàng chục tỷ USD để đầu tư vào các công ty khởi nghiệp A.I. Năm ngoái, các công ty A.I. đã huy động được 97 tỷ USD tiền tài trợ, chiếm 46% tổng số tiền đầu tư mạo hiểm tại Mỹ, theo PitchBook.
“Vốn đầu tư mạo hiểm chỉ hiệu quả nếu bạn rót tiền vào những người chiến thắng”, Terrence Rohan, một nhà đầu tư của Quỹ Otherwise, tập trung vào các công ty khởi nghiệp rất trẻ, cho biết.
“Nếu người chiến thắng trong tương lai cần ít tiền hơn, không biết dòng vốn đầu tư mạo hiểm sẽ ra sao?”.
Hiện tại, các nhà đầu tư vẫn tiếp tục đấu tranh để đầu tư vào các công ty đang phát triển mạnh nhất, nhiều công ty trong số đó không cần thêm tiền. Một số nhà đầu tư lạc quan rằng hiệu quả do A.I. thúc đẩy sẽ thôi thúc các doanh nhân thành lập nhiều công ty hơn, dẫn đến nhiều cơ hội đầu tư hơn. Họ hy vọng khi các công ty khởi nghiệp đạt đến một quy mô nhất định, họ sẽ áp dụng mô hình cũ là các nhóm lớn và tiền lớn.
Quay trở lại với Gamma.
Ông Lee cho biết ông đang có kế hoạch tăng gấp đôi lực lượng lao động trong năm nay lên 60, tuyển dụng cho bộ phận thiết kế, kỹ thuật và bán hàng. Nhân sự phải có kiến thức tổng quát có thể thực hiện nhiều nhiệm vụ thay vì một việc như trước đây. Theo ông Lee, mô hình hiệu quả với AI đã giúp giải phóng thời gian. Bây giờ ông chỉ việc tập trung tư vấn khách hàng và cải thiện sản phẩm.
“Đó thực sự là giấc mơ của mọi nhà sáng lập”, ông Lee nói.
WikiTok – Ứng dụng hiển thị bài viết Wikipedia ngẫu nhiên, có thể là giải pháp cho thói quen lướt web tiêu cực.
Nếu bạn, cũng như tôi, trải qua những năm tháng định hình trên internet vào giữa thập niên 2000, chắc hẳn bạn đã từng nghe đến StumbleUpon. Trang web này có thể coi là tiền thân của ứng dụng WikiTok đang gây sốt hiện nay.
Illustration: Inc.; Photo: Getty Images / Inc
StumbleUpon, hoạt động từ 2001 đến 2018, cho phép người dùng nhập các sở thích và sau đó đề xuất các trang web ngẫu nhiên liên quan. Chỉ cần nhấn nút “StumbleUpon”, bạn sẽ bắt đầu hành trình khám phá những điều thú vị trên internet – từ nghệ sĩ vẽ phấn trên vỉa hè đến bài nghiên cứu học thuật về luật hải tặc.
Thời sinh viên, tôi dành gần như toàn bộ thời gian trong lớp để lướt qua các trang web này. Rồi tôi lớn lên, đi làm, và StumbleUpon ngừng hoạt động vào năm 2018. Tuy nhiên, đến năm 2025, một công cụ giải trí mới đã xuất hiện, mang tính giáo dục cao hơn. Đó chính là WikiTok.
Mặc dù tên gọi gợi nhớ đến ứng dụng video TikTok, nhưng WikiTok lại có cách hoạt động tương tự StumbleUpon. Điểm khác biệt là thay vì hiển thị bất kỳ trang web nào trên internet, WikiTok chỉ tập trung vào các bài viết Wikipedia.
Bạn có thể truy cập WikiTok qua trình duyệt di động. Khi tìm kiếm, bạn sẽ thấy một hình ảnh đẹp mắt kèm đoạn mở đầu của một bài viết Wikipedia – có thể là về một nhân vật, địa điểm hoặc sự vật thú vị nào đó. Bạn có thể chọn đọc thêm hoặc vuốt lên để xem bài tiếp theo. WikiTok cũng có phiên bản máy tính, nhưng trải nghiệm người dùng chưa được tối ưu lắm.
Nhà phát triển Isaac Gemal đã công bố mã nguồn của WikiTok trên GitHub. Hiện có một số ứng dụng cùng tên trên App Store và Google Play, nhưng chúng không liên quan đến WikiTok gốc.
“Tôi không có kế hoạch biến nó thành một thuật toán phức tạp như TikTok để kiếm tiền,” Gemal chia sẻ với Ars Technica. “Nếu có, nó là một ứng dụng chống lại thuật toán.” Đó chính là điểm đặc biệt mà Gemal muốn gìn giữ.
Không giống TikTok gây nghiện cao độ hay StumbleUpon đề xuất nội dung dựa trên sở thích, WikiTok không nhằm mục đích giữ chân người dùng. Nó hoàn toàn ngẫu nhiên. Có những bài viết sẽ khiến bạn thích thú, nhưng cũng có những bài khiến bạn chán ngắt.
Gemal không muốn tạo ra một thuật toán khiến người dùng dính chặt vào ứng dụng, ông cũng không có ý định kiếm tiền từ nền tảng này. Người dùng có thể đọc thoải mái, và khi gặp một bài không hứng thú – chẳng hạn như về thị trấn Pleasant Hill, Ohio, hay một loài bướm đêm nào đó – họ có thể thoải mái rời đi. Tuy nhiên, trong quá trình sử dụng, người dùng sẽ học được nhiều điều thú vị về lịch sử, địa lý, nhân vật chính trị, người nổi tiếng và các kiến thức tạp nham khác – những thông tin có thể hữu ích cho một thí sinh Jeopardy! tương lai chẳng hạn.
Là một người có nhiều thời gian rảnh rỗi, tôi tò mò không biết phải mất bao lâu để tìm ra trang Wikipedia dẫn nhanh nhất đến trò chơi “Six Degrees of Kevin Bacon” (Sáu bước tới Kevin Bacon).