Pertanyaan AI $ 3 triliun: Apakah Chinchilla akan hidup atau mati?

• Chinchilla suka diemong dan imut.
• Chinchilla juga merupakan cara yang mapan untuk membangun model AI besar menggunakan gunung data.
• Setidaknya ada $ 3 triliun yang mengendarai apakah pendekatan ini berlanjut atau tidak.

Sekitar lima tahun yang lalu, para peneliti di Openai menemukan bahwa menggabungkan lebih banyak daya komputasi dan lebih banyak data Pelatihan yang semakin besar berjalan menghasilkan model AI yang lebih baik.

Beberapa tahun kemudian, Google Para peneliti menemukan bahwa menambahkan lebih banyak data ke campuran ini menghasilkan hasil yang lebih baik. Mereka menunjukkan ini dengan membangun model AI baru yang disebut Chinchilla.

Pengungkapan ini membantu menciptakan model bahasa besar dan model raksasa lainnya, seperti GPT-4yang mendukung alat AI yang kuat seperti Chatgpt. Namun di masa depan, strategi “chinchilla” untuk menghancurkan banyak sekali komputasi dan gunung data menjadi berjalan pra-pelatihan yang lebih besar dan lebih lama mungkin tidak berfungsi juga.

Jadi bagaimana jika proses ini tidak berakhir bagaimana AI dibuat di masa depan? Dengan kata lain: bagaimana jika chinchilla meninggal?

Membangun model AI besar ini sejauh ini membutuhkan investasi di muka yang sangat besar. Pegunungan data dihaluskan bersama dalam proses yang sangat kompleks dan komputasi intensif yang dikenal sebagai pra-pelatihan.

Ini telah memicu gelombang terbesar peningkatan infrastruktur dalam sejarah teknologi. Perusahaan teknologi di seluruh AS dan di tempat lain dengan panik mendirikan Pusat Data Pengisap Energi dikemas dengan NVIDIA GPU.

Kebangkitan baru “pemikiran“Model telah membuka masa depan potensial baru untuk industri AI, di mana jumlah infrastruktur yang diperlukan bisa jauh lebih sedikit. Kita berbicara triliunan dolar pengeluaran modal yang mungkin tidak terjadi di tahun -tahun mendatang.

Baru -baru ini, Ross Sandler, seorang analis teknologi terkemuka di Barclays Capital, dan timnya memperkirakan berbagai persyaratan CAPEX dari dua hasil yang mungkin:

• Masa depan “chinchilla” adalah di mana paradigma yang mapan dari komputasi besar dan proses pra-pelatihan yang berat berlanjut.
• Alternatif “stall-out” adalah sejenis di mana jenis baru model dan teknik membutuhkan lebih sedikit perlengkapan komputasi untuk menghasilkan AI yang lebih kuat.

Perbedaannya menakjubkan dalam hal berapa banyak uang yang akan atau tidak akan dibelanjakan. $ 3 triliun atau lebih di Capex ada di telepon di sini.

Alasannya adalah “penalaran”

Model AI “penalaran” sedang meningkat, seperti O1 Openai Dan o3 persembahan, R1 DeepseekDan Google’s Gemini 2.0 Flash Thinking.

Model-model baru ini menggunakan pendekatan yang disebut test-time atau Komputasi waktu inferensiyang mengiris kueri menjadi tugas yang lebih kecil, mengubah masing -masing menjadi prompt baru yang ditangani oleh model.

Model penalaran seringkali tidak membutuhkan menjalankan pra-pelatihan yang besar, intens, dan panjang untuk dibuat. Mereka mungkin membutuhkan waktu lebih lama untuk merespons, tetapi output mereka bisa lebih akurat, dan mereka juga bisa lebih murah untuk dijalankan, kata para analis Barclays.

Para analis mengatakan bahwa R1 Deepseek telah menunjukkan bagaimana model penalaran open-source dapat mendorong peningkatan kinerja yang luar biasa dengan waktu pelatihan yang jauh lebih sedikit, bahkan jika laboratorium AI ini mungkin telah melebih-lebihkan beberapa keuntungan efisiensinya.

“Penyedia model AI tidak lagi perlu hanya menghabiskan 18-24 bulan pra-pelatihan model mahal berikutnya untuk mencapai peningkatan fungsi langkah dalam kinerja,” tulis para analis Barclays dalam catatan baru-baru ini kepada investor. “Dengan komputasi waktu tes, model dasar yang lebih kecil dapat menjalankan loop berulang dan mendapatkan respons yang jauh lebih akurat (dibandingkan dengan teknik sebelumnya).”

Campuran para ahli

Ketika datang untuk menjalankan model baru, perusahaan merangkul teknik lain yang kemungkinan akan mengurangi jumlah infrastruktur komputasi yang diperlukan.

AI Labs semakin banyak menggunakan pendekatan yang disebut Campuran para ahliatau Moe, di mana model “ahli” yang lebih kecil dilatih pada tugas dan bidang subjek mereka dan bekerja bersama -sama dengan model AI besar yang ada untuk menjawab pertanyaan dan menyelesaikan tugas.

Dalam praktiknya, ini sering berarti hanya bagian dari model AI ini yang digunakan, yang mengurangi komputasi yang diperlukan, kata analis Barclays.

Di mana ini meninggalkan Chinchilla yang malang?

Pendekatan “Chinchilla” telah bekerja selama lima tahun terakhir atau lebih, dan sebagian mengapa harga saham banyak perusahaan di rantai pasokan AI melonjak.

Analis Barclays mempertanyakan apakah paradigma ini dapat berlanjut karena perolehan kinerja dari metode ini dapat menurun seiring dengan meningkatnya biaya.

“Gagasan menghabiskan $ 10 miliar untuk menjalankan pra-pelatihan pada model dasar berikutnya, untuk mencapai kinerja tambahan yang sangat sedikit, kemungkinan akan berubah,” tulis mereka.

Banyak orang di industri ini juga berpikir data untuk pelatihan model AI habis – mungkin tidak ada informasi kualitas yang cukup untuk terus memberi makan chinchilla yang rakus ini.

Jadi, perusahaan AI top mungkin berhenti memperluas proses ini ketika model mencapai ukuran tertentu. Misalnya, Openai dapat membangun model besar berikutnya, GPT-5, tetapi mungkin tidak melampaui itu, kata para analis.

Solusi “sintetis”?

Industri AI telah mulai menggunakan Data pelatihan “sintetis”sering dihasilkan oleh model yang ada. Beberapa peneliti berpikir loop umpan balik model ini membantu menciptakan model baru yang lebih baik akan membawa teknologi ke tingkat berikutnya.

Chinchilla bisa, pada dasarnya, memakan diri mereka sendiri untuk bertahan hidup.

Agak kotor, meskipun itu berarti perusahaan teknologi masih akan menghabiskan banyak sekali untuk AI di tahun -tahun mendatang.

“Jika industri AI ingin melihat terobosan dalam data sintetis dan peningkatan diri yang rekursif, maka kami akan melompat kembali ke jalur penskalaan Chinchilla, dan kebutuhan komputasi akan terus naik dengan cepat,” tulis Sandler dan rekan-rekannya. “Meskipun tidak sepenuhnya jelas sekarang, ini tentu saja kemungkinan yang perlu kita pertimbangkan.”