//English below
Tình cờ xem được video của Dr. Ilya Sutskever, từng là Co-founder và Chief Scientist của OpenAI, trình bày ở một trong những hội nghị quan trọng bậc nhất của ngành – NeurIPS 2024.
Trong bài này, Sutskever có nhắc đến một ý khá hay, đại ý là “Data is not growing and (data) is the fossil fuel of AI.” Ông cho rằng ở các mô hình ngôn ngữ lớn, data đóng vai trò như “nhiên liệu” cho các hệ thống này, và data thì không tăng theo cấp độ lũy thừa như phần cứng và thuật toán.
Kết luận này sẽ giúp chúng ta giải thích và dự đoán rất nhiều vấn đề. Còn với mình, việc này giúp mình có thêm một luận điểm để chứng minh rằng mấy lập luận của các KOL/KOC trên mạng, như việc nói rằng AI sẽ thay thế con người, hay rằng sinh viên bây giờ chẳng cần học gì nhiều, chỉ cần biết prompt, là một kết luận hết sức lố bịch và thiếu hiểu biết. Đây là quan điểm của những người chỉ nhìn và sử dụng các công cụ LLM một cách đơn thuần.
Từ xưa đến nay, con người luôn phải trải qua ba giai đoạn cơ bản khi làm việc với thông tin: tạo ra, lưu trữ, và tổng hợp. Các mô hình như ChatGPT đang làm rất tốt ở giai đoạn lưu trữ và tổng hợp. Nhưng như Sutskever đã nói, đến một lúc nào đó, lượng dữ liệu này sẽ gần như “cạn kiệt” với tốc độ khai thác như hiện nay. Các pre-trained models cũng sẽ không có những bước nhảy vọt kiểu “wow” nữa, mà chỉ là việc tập trung tối ưu hóa mô hình hoặc thay đổi cách các mô hình học dựa trên lượng dữ liệu khan hiếm.
Hiện tại, đi học hay đi làm, những vấn đề cũ chỉ cần copy và paste vào ChatGPT là sẽ có kết quả. Điều này làm nhiều người nghĩ rằng bất cứ vấn đề gì ở hiện tại và tương lai cũng sẽ làm được như vậy. Nhưng theo mình, đến một lúc nào đó, vì sự phát triển của LLM, sẽ có những vấn đề mới nảy sinh mà LLM không thể giải quyết hoàn toàn từ đầu đến cuối. Lúc này, chúng ta cần sự xâu chuỗi, lập luận, bóc tách và tư duy của con người để hướng dẫn nó. Đây chính là những thứ mà mỗi người đi học nên trang bị bây giờ, chứ không phải cứ sợ AI sẽ làm cái này, làm cái kia.
Giáo dục vẫn sẽ là chìa khóa. Kiến thức và thông tin có thể thay đổi, nhưng tư duy và cách tiếp cận vấn đề sẽ còn mãi ở lại. AI sẽ chẳng thể nào thay thế hoàn toàn được ở khía cạnh đó.
Video: Ilya Sutskever: “Sequence to sequence learning with neural networks: what a decade”
English:
By chance, I came across a video by Dr. Ilya Sutskever, who is a Co-founder and Chief Scientist at OpenAI, presenting at one of the most significant conferences in the field, NeurIPS 2024.
In this talk, Sutskever mentioned an intriguing point: “Data is not growing and (data) is the fossil fuel of AI.” He argued that in large language models, data plays the role of “fuel” for these systems, but data does not grow exponentially like hardware and algorithms.
This conclusion helps us explain and predict many issues. For me personally, it provides a solid argument to counter some of the superficial claims made by KOLs/KOCs online. These claims suggest that AI will entirely replace humans or that students today don’t need to learn much and only need to master prompts. These are absurd and uninformed conclusions made by those who only view and use tools like LLMs superficially.
Throughout history, humans have always gone through three fundamental stages in working with information: creation, storage, and synthesis. Models like ChatGPT excel in the stages of storing and synthesizing information. However, as Sutskever pointed out, at some point, this data will essentially “run out” at the current rate of exploitation. Pre-trained models will no longer achieve “wow” breakthroughs but instead focus on optimizing models or altering how they learn from increasingly scarce data.
Nowadays, in education or work, solving old problems often involves simply copying and pasting them into ChatGPT for results. This leads many to believe that any problem—whether present or future—can be solved in the same way. However, in my opinion, as LLMs continue to develop, new problems will arise that these models cannot fully solve from start to finish. At that point, human reasoning, logic, decomposition, and critical thinking will be required to guide these models. These are precisely the skills that students should be cultivating now, rather than fearing what AI will or won’t do.
Education will remain the key. Knowledge and information may evolve, but critical thinking and problem-solving approaches will endure. AI will never fully replace humans in these aspects.
Video: Ilya Sutskever: “Sequence to sequence learning with neural networks: what a decade”