Cara membandingkan model AI untuk chat, coding, dan AI agent

Membandingkan model AI paling sering dimulai dari tempat yang salah: daftar peringkat global. Angka di daftar itu benar, tapi pertanyaannya beda. Daftar global menjawab "model mana yang paling pintar secara umum", sedangkan yang kamu butuhkan adalah "model mana yang paling cocok untuk pekerjaan ini, pada biaya dan kecepatan yang bisa kamu terima".

Tiga pekerjaan yang paling sering muncul di tim kami terlihat mirip, padahal tuntutannya berbeda: membalas chat, menulis kode, dan menjalankan tugas berantai sebagai agent. Satu model bisa unggul di salah satunya dan biasa saja di dua yang lain.

Satu peringkat tidak cukup untuk tiga pekerjaan berbeda

Chat menuntut jawaban yang enak dibaca, cepat, dan tahan basa-basi. Yang dinilai orang adalah nada dan singkatnya. Kesalahan kecil masih bisa dimaafkan selama maksudnya tersampaikan.

Coding menuntut kode yang jalan, bukan kode yang terlihat masuk akal. Yang diuji adalah kemampuan menahan instruksi panjang, membaca konteks berkas, dan memperbaiki kesalahannya sendiri setelah gagal.

Agent menuntut ketiga hal di atas ditambah dua hal yang tidak dibutuhkan dua pekerjaan sebelumnya: kemampuan memakai alat (memanggil API, membaca berkas, mengirim pesan) dan ketahanan mengulang langkah sampai tujuannya selesai.

Karena itu, pertanyaan pertama bukan "mana yang terbaik", tapi "pekerjaan ini paling mirip yang mana".

Cara membaca halaman perbandingan model

Halaman perbandingan di GenZi AI menyusun lima tab. Tabnya bukan lima standar berbeda, melainkan lima cara memandang katalog yang sama.

• Kualitas. Skor gabungan kemampuan penalaran, pengetahuan, dan pemahaman instruksi. Ini yang biasanya dibaca orang lebih dulu, dan justru yang paling sering menyesatkan kalau dipakai sendirian.
• Coding. Skor khusus pekerjaan perangkat lunak: menulis, memperbaiki, dan menavigasi basis kode.
• Vision. Skor untuk model yang bisa membaca gambar dan dokumen, penting saat pekerjaanmu menyentuh struk, formulir, atau tangkapan layar.
• Kecepatan. Diukur dalam token keluaran per detik, ditambah waktu tunggu sampai jawaban pertama muncul. Dua angka ini terasa berbeda bagi pengguna: yang pertama menentukan panjang jawaban, yang kedua menentukan kesan "lambat atau tidak".
• Nilai. Sudut pandang terakhir: berapa skor yang kamu dapat untuk tarif yang berlaku. Tab ini baru berguna setelah kamu menyaring kandidat lewat empat tab sebelumnya.

Skor kualitas dan kecepatan berasal dari pengukuran pihak ketiga, yaitu Artificial Analysis, lalu dipasangkan dengan tarif GenZi AI yang berlaku saat halaman itu dibuka. Artinya ada dua tanggal yang perlu kamu perhatikan: tanggal pengukuran skor, dan waktu tarif diambil. Keduanya ditampilkan di halaman tersebut, karena keduanya bergerak.

Empat langkah memakainya, berurutan:

1. Tentukan pekerjaannya lebih dulu: chat, coding, atau agent. 2. Saring model yang memenuhi syarat teknis minimal: mendukung gambar atau tidak, panjang konteks yang dibutuhkan, dan kemampuan memakai alat kalau pekerjaannya agent. 3. Bandingkan dua sampai tiga kandidat saja di tab yang paling relevan dengan pekerjaan itu. 4. Baru buka tab Nilai untuk memilih di antara kandidat yang tersisa, bukan untuk mencari pemenang seluruh katalog.

Satu peringatan: skor dari versi metodologi yang berbeda tidak boleh dicampur. Kalau sebuah halaman mengganti versi pengukuran, angka lamanya tidak bisa dibandingkan langsung dengan angka baru, walaupun letaknya bersebelahan di tabel yang sama.

Contoh trade-off nyata dari satu snapshot

Angka di bawah ini diambil dari snapshot perbandingan yang tayang pada 3 November 2026. Angkanya akan bergerak, jadi bacalah sebagai pola, bukan sebagai rekomendasi tetap.

• Satu model kelas cepat mencatat indeks kualitas sekitar 36 dengan kecepatan sekitar 235 token per detik.
• Satu model kelas tertinggi mencatat indeks kualitas sekitar 58, tapi kecepatannya sekitar 96 token per detik.
• Satu model kecil mencatat indeks kualitas sekitar 12, dengan kecepatan sekitar 442 token per detik.

Polanya jelas: selisih kualitas antara kelas menengah dan kelas tertinggi lebih kecil daripada selisih kecepatannya. Untuk pekerjaan yang dijalankan ribuan kali sehari, kecepatan dan biaya sering lebih menentukan daripada selisih skor. Sebaliknya, untuk keputusan yang mahal kalau salah, justru skor itulah yang layak dibayar.

Apa itu AI agent, dan kenapa cara menilainya berbeda

Agent adalah model yang diberi tiga hal tambahan: tujuan yang jelas, alat yang boleh dipakai, dan izin mengulang langkah sampai tujuannya tercapai. Perbedaan ini kelihatan dari contoh sederhana.

Pertanyaan "kenapa pesanan saya belum sampai" bisa dijawab dengan tiga cara:

• Satu jawaban. Model menulis balasan sopan berisi penjelasan umum. Cepat, murah, dan tidak menyelesaikan apa pun.
• Satu putaran alat. Model membuka data pesanan, membaca status pengiriman, lalu menulis balasan berdasarkan data itu. Ini yang biasanya sudah cukup, dan ini juga titik di mana sebagian besar tim berhenti.
• Putaran berulang. Model membuka data pesanan, menemukan nomor resi kosong, memeriksa antrean gudang, menemukan paket tertahan, memutuskan untuk menjadwalkan ulang, menulis balasan ke pelanggan, lalu mencatat tindakannya untuk diperiksa manusia.

Yang diuji pada bentuk ketiga bukan kefasihan bahasanya, melainkan akurasi setiap langkah dan kemampuannya berhenti di tempat yang benar. Model yang fasih bisa tetap gagal di sini, karena kegagalannya bukan soal kalimat, tapi soal langkah yang salah urut.

Cara membandingkan model untuk agent

Untuk pekerjaan agentik, lima hal ini yang layak dibandingkan, dalam urutan ini.

Satu, skor kualitas. Tetap berguna, tapi bukan penentu tunggal. Model dengan kualitas sedikit lebih rendah sering menang karena lebih patuh pada format alat.

Dua, kemampuan memakai alat. Ini metrik yang paling sering tidak dimiliki model yang skornya tinggi di daftar umum. Yang diukur adalah kemampuan memilih alat yang benar, mengisi parameternya dengan benar, dan membaca hasilnya. Kalau katalogmu menampilkan metrik agentik, pakai itu; kalau tidak, satu-satunya cara adalah mengujinya dengan alatmu sendiri.

Tiga, panjang konteks. Agent biasanya membawa riwayat percakapan panjang plus hasil setiap pemanggilan alat. Konteks besar membantu, tapi bukan jaminan: konteks yang penuh dengan informasi tidak relevan bisa menurunkan mutu jawaban, bukan menaikkannya.

Empat, latensi dipisah dua. Waktu sampai token pertama dan kecepatan keluaran. Agent yang memanggil lima alat akan menanggung waktu tunggu itu lima kali, jadi selisih kecil per panggilan berlipat menjadi selisih yang terasa.

Lima, biaya per tugas selesai, bukan biaya per token. Ini yang paling sering salah dihitung, karena agent menghasilkan token berkali-kali lipat dibanding chat biasa, termasuk untuk percobaan yang akhirnya gagal. Model yang tarifnya lebih mahal per token bisa lebih murah per tugas kalau ia selesai dalam dua langkah, sementara model murah butuh tujuh langkah.

Sebagai gambaran kasar, prioritasnya berbeda menurut skenario:

• Layanan pelanggan: latensi dan biaya per percakapan lebih dulu, kualitas menyusul.
• Coding: kualitas coding dan panjang konteks lebih dulu, kecepatan menyusul.
• Riset dokumen: kemampuan membaca gambar dan panjang konteks lebih dulu, biaya menyusul.

Menghitung biaya tanpa tertipu angka per token

Rumus dasarnya sederhana dan berlaku di semua penyedia:

biaya = (token masukan x tarif masukan + token keluaran x tarif keluaran) / 1.000.000

Tiga kesalahan yang paling sering kami temui saat tim menghitung ini:

• Melupakan token keluaran. Di percakapan chat biasa, masukan dan keluaran seimbang. Di coding dan agent, keluaran bisa jauh lebih besar, terutama kalau model berpikir panjang sebelum menjawab.
• Melupakan percobaan ulang. Percobaan yang gagal tetap ditagih. Kalau satu dari lima tugas agent perlu diulang, anggaranmu naik dua puluh persen, bukan nol.
• Memakai tarif termurah untuk pekerjaan yang butuh model kuat. Selisih tarif antar kelas biasanya lebih kecil daripada biaya memperbaiki hasil yang salah. Hitung biaya sampai pekerjaan selesai, bukan sampai satu panggilan selesai.

Beberapa penyedia menagih komponen lain, seperti penyimpanan konteks (cache), token penalaran, atau media. Komponen itu mengikuti aturan masing-masing, jadi jangan memakai rumus di atas sebagai angka pasti kalau modelnya memakai fitur tersebut.

Kami sengaja tidak menuliskan nominal tarif di artikel ini. Tarif bergerak setiap bulan, dan angka yang tertulis di panduan akan salah baca lebih cepat daripada halaman harga yang menyesuaikan diri. Tarif yang berlaku, lengkap dengan konteks dan satuan per satu juta token, selalu ada di halaman perbandingan dan harga. Kalau sebuah tarif tidak tercantum di sana, artinya tarif itu belum berlaku di katalog.

Kapan GenZi bukan pilihan yang tepat

Ada tiga situasi di mana kami sendiri menyarankan untuk tidak lewat kami.

Kalau kamu butuh model yang belum ada di katalog. Kami menayangkan model yang sudah punya jalur penagihan yang jelas. Model yang masih eksperimen atau hanya tersedia lewat daftar tunggu lebih cepat kamu dapatkan langsung dari penyedianya.

Kalau pekerjaanmu menuntut kendali penuh atas tempat data berada. Regulasi internal, syarat klien, atau kebijakan industri bisa mewajibkan pemrosesan di infrastrukturmu sendiri. Untuk itu, hosting sendiri dengan model terbuka adalah jalur yang benar, dan kami tidak akan memaksakan sebaliknya.

Kalau pemakaianmu sesekali saja dan tidak perlu penagihan tersentral. Satu panggilan per hari tidak butuh lapisan tambahan. Pakai langsung penyedianya.

Di luar tiga situasi itu, alasan memakai satu gerbang API adalah supaya kamu bisa menukar model tanpa menulis ulang integrasinya. Itu keuntungan operasional, bukan keuntungan kualitas model.

Menguji dengan pekerjaanmu sendiri

Peringkat pihak ketiga mempersempit pilihan, tapi tidak memutuskan. Yang memutuskan adalah uji kecil di pekerjaanmu sendiri.

Ambil dua puluh sampai tiga puluh contoh nyata dari pekerjaan yang kamu kerjakan, termasuk yang paling menjengkelkan. Tulis rubrik penilaian yang bisa dijawab ya atau tidak, misalnya "angkanya benar", "mengikuti format", "tidak perlu diperbaiki manusia". Jalankan dua atau tiga kandidat model pada contoh yang sama, lalu hitung berapa banyak yang lolos tanpa perbaikan. Setelah itu baru bicara biaya.

Dua hal yang kami pelajari dari kebiasaan itu: uji kecil dengan contoh nyata lebih berguna daripada daftar peringkat mana pun, dan model yang menang di uji kecil biasanya menang juga setelah dipakai sebulan, asalkan rubriknya tidak berubah di tengah jalan.

Langkah berikutnya

Kalau kamu ingin melihat angka yang berlaku hari ini, buka perbandingan model untuk menyaring kandidat, lalu katalog untuk memastikan modelnya tersedia. Kalau kamu sedang menyusun pekerjaan agentik dan bingung menentukan metrik mana yang harus diuji lebih dulu, ceritakan alurnya dan kami bantu menyusun rubrik awalnya.