Di Star Trek, Perusahaan Starship memiliki chief engineer, Montgomery “Scotty” Scottyang secara teratur harus menjelaskan kepada Kapten Kirk bahwa hal -hal tertentu tidak mungkin dilakukan, karena kepraktisan seperti hukum fisika.
“Mesin Cannae mengambilnya, Kapten!” adalah kutipan terkenal yang sebenarnya tidak dikatakan aktor di acara TV. Tapi Anda mendapatkan idenya.
Kami mungkin mendekati momen seperti itu di industri teknologi saat ini, sebagai Anda memiliki agen Tren mengumpulkan momentum.
Bidang mulai bergeser dari chatbot yang relatif sederhana ke yang lebih mampu Ai Agen yang dapat menyelesaikan tugas kompleks secara otonom. Apakah ada kekuatan komputasi yang cukup untuk mempertahankan transformasi ini?
Menurut laporan Barclays baru -baru ini, industri AI akan memiliki kapasitas yang cukup untuk mendukung 1,5 miliar hingga 22 miliar agen AI.
Ini bisa cukup untuk merevolusi pekerjaan kerah putih, tetapi daya komputasi tambahan mungkin diperlukan untuk menjalankan agen-agen ini sambil juga memuaskan permintaan konsumen untuk chatbots, analis Barclays menjelaskan dalam catatan kepada investor minggu ini.
Ini semua tentang token
Agen AI menghasilkan lebih banyak token per kueri pengguna daripada chatbots tradisional, membuatnya lebih mahal secara komputasi.
Token adalah bahasa AI generatif dan merupakan inti dari model penetapan harga yang muncul di industri. Model AI memecah kata -kata dan input lainnya menjadi token numerik untuk membuatnya lebih mudah diproses dan dipahami. Satu token adalah sekitar ¾ dari satu kata.
Agen AI yang lebih kuat dapat mengandalkan model “penalaran”, seperti OpenaiR1 O1 dan O3 dan Deepseek, yang memecah permintaan dan tugas menjadi potongan yang lebih mudah dikelola. Setiap langkah dalam rantai pemikiran ini menciptakan lebih banyak token, yang harus diproses oleh server dan keripik AI.
“Produk agen berjalan pada model penalaran untuk sebagian besar, dan menghasilkan sekitar 25x lebih banyak token per kueri dibandingkan dengan produk chatbot,” tulis analis Barclays.
“Agen Super”
Openai menawarkan layanan ChatGPT Pro yang harganya $ 200 bulanan dan memanfaatkan model penalaran terbarunya. Analis Barclays memperkirakan bahwa jika layanan ini menggunakan model O1 startup, itu akan menghasilkan sekitar 9,4 juta token per tahun per pelanggan.
Ada laporan media baru -baru ini bahwa Openai dapat menawarkan layanan agen AI yang lebih kuat yang harganya $ 2.000 per bulan atau bahkan $ 20.000 per bulan.
Analis Barclays menyebut ini sebagai “agen super,” dan memperkirakan bahwa layanan ini dapat menghasilkan 36 juta hingga 356 juta token per tahun, per pengguna.
Lebih banyak chip, kapten!
Itu adalah jumlah token yang menakjubkan yang akan mengonsumsi gunung daya komputasi.
Industri AI diharapkan memiliki 16 juta akselerator, sejenis chip AI, online tahun ini. Sekitar 20% dari infrastruktur itu dapat didedikasikan untuk inferensi AI – pada dasarnya daya komputasi yang diperlukan untuk menjalankan aplikasi AI secara real time.
Jika produk agen lepas landas dan sangat berguna bagi konsumen dan pengguna perusahaan, kita mungkin akan membutuhkan “lebih banyak chip inferensi,” para analis Barclays memperingatkan.
Industri teknologi bahkan mungkin perlu menggunakan kembali beberapa chip yang sebelumnya digunakan untuk melatih model AI dan menggunakannya untuk inferensi juga, para analis menambahkan.
Mereka juga meramalkan bahwa model yang lebih murah, lebih kecil, dan lebih efisien, seperti yang dikembangkan oleh Deepseek, harus digunakan untuk agen AI, daripada model kepemilikan pricier.
