Baru -baru ini, meta Dirilis Llama 4Keluarga baru model bahasa besar yang terdiri dari Scout, Maverick, dan Behemoth. Dari hasil patokan, Llama 4 Maverick (Llama-4-Maverick-03-26-eksperimental) berada di urutan ke-2, mengalahkan model seperti Openai’s GPT-4O dan Google Gemini 2.0 Flash, dan hanya tertinggal di belakang Gemini 2.5 Pro.
Namun segera, retakan mulai terbentuk ketika pengguna memperhatikan perbedaan perilaku antara maverick yang digunakan dalam tolok ukur dan yang tersedia untuk umum. Ini mengarah ke tuduhan meta itu curangMinta respons dari eksekutif meta di x:
Kami senang mulai mendapatkan Llama 4 di semua tangan Anda. Kami sudah mendengar banyak hasil hebat yang didapat orang dengan model -model ini.
Yang mengatakan, kami juga mendengar beberapa laporan kualitas campuran di berbagai layanan. Karena kami menjatuhkan model segera setelah mereka …
-Ahmad al-dahle (@ahmad_al_dahle) 7 April 2025
Lmarena mengakui bahwa Meta gagal mematuhi kebijakannya, meminta maaf kepada publik, dan mengeluarkan pembaruan kebijakan.
Kami telah melihat pertanyaan dari komunitas tentang rilis terbaru Llama-4 di Arena. Untuk memastikan transparansi penuh, kami merilis 2.000+ hasil pertempuran head-to-head untuk tinjauan publik. Ini termasuk petunjuk pengguna, respons model, dan preferensi pengguna. (tautan di tweet berikutnya)
Lebih awal…
– lmarena.ai (sebelumnya lmsys.org) (@lmarena_ai) 8 April 2025
Sekarang, versi rilis yang tidak dimodifikasi dari model (llama-4-maverick-17b-128e-instruct) telah ditambahkan ke lmarena, dan peringkat ke-32. Sebagai catatan, model lama seperti Claude 3.5 Sonnet, dirilis Juni lalu, dan Gemini-1.5-Pro-002, dirilis September lalu, peringkat lebih tinggi.
Di sebuah Pernyataan untuk TechCrunchseorang juru bicara meta menyebutkan bahwa Eksperimen Llama-4-Maverick-03-26 secara khusus disetel untuk obrolan dan melakukannya dengan cukup baik pada tolok ukur Lmarena, menambahkan bahwa perusahaan itu “bersemangat” untuk melihat apa yang akan dibangun oleh pengembang sekarang bahwa versi open source dari Llama 4 telah dirilis.
