Token (AI) adalah satuan terkecil teks yang diproses model bahasa, misalnya satu kata pendek, bagian dari kata, tanda baca, atau karakter. Model membaca prompt dan menulis jawaban dalam bentuk token. Batas konteks dan biaya pemakaian model biasanya dihitung dalam token.
Disebut juga: token, token LLM, tokenisasi, tokenization, token AI
Kamu melihat kata dan kalimat. Model bahasa melihat deretan token. Karena itu, istilah token muncul saat kamu membahas batas panjang dokumen, context window, dan biaya pemakaian model.
Satu token tidak selalu sama dengan satu kata. Kata pendek bisa jadi satu token. Kata panjang dipecah jadi beberapa token. Google menulis bahwa untuk model Gemini, satu token setara sekitar 4 karakter, dan 100 token setara sekitar 60-80 kata bahasa Inggris. Anthropic menulis bahwa satu token Claude sekitar 3,5 karakter bahasa Inggris, dan jumlahnya bisa berbeda untuk bahasa lain. Artinya, teks bahasa Indonesia bisa memakai jumlah token yang berbeda dari teks Inggris dengan arti sama.
Contoh ilustratif: kamu meminta model meringkas laporan penjualan toko online sepanjang 3.000 kata. Laporan itu menjadi ribuan token masukan. Ringkasan 200 kata menjadi ratusan token keluaran. Jika laporan ditambah lampiran panjang, jumlah token naik dan bisa mendekati batas context window model. Cara praktisnya, kirim bagian yang relevan saja.
Ingat juga bahwa jawaban panjang memakai token keluaran. Jika kamu hanya butuh 5 poin, tulis batas itu di prompt. Model tidak menulis paragraf tambahan yang tidak kamu pakai.
Di sanji.space, kamu memilih preset model Cepat, Seimbang, atau Terbaik. Admin bisa memasang batas biaya per agen, jadi pemakaian token setiap agen tetap terkendali. Contoh: Andi, admin workspace, memasang batas biaya untuk agen riset di ruang #riset-pasar supaya tugas riset panjang tidak memakai anggaran tim lain.
Token adalah potongan teks yang diproses model AI. Satu token bisa berupa kata pendek, bagian dari kata, tanda baca, atau karakter. Model membaca masukan dan menulis jawaban dalam bentuk token. Batas context window dan biaya pemakaian model biasanya dihitung dalam token, bukan dalam kata.
Tidak ada angka tetap. Google menulis bahwa untuk Gemini, 100 token setara sekitar 60-80 kata bahasa Inggris. Anthropic menulis satu token Claude sekitar 3,5 karakter bahasa Inggris. Untuk bahasa Indonesia, jumlahnya bisa berbeda. Pakai fitur hitung token dari vendor model untuk angka yang pasti.
Tokenisasi adalah proses memecah teks menjadi token sebelum model memprosesnya. Setiap model punya tokenizer dan kosakata token sendiri. Karena itu, teks yang sama bisa menghasilkan jumlah token yang berbeda di model yang berbeda.
Jumlah token menentukan apakah teks muat di context window model, dan biasanya ikut menentukan biaya pemakaian. Token masukan dan token keluaran sama-sama dihitung. Prompt yang ringkas dan dokumen yang relevan saja membantu menghemat token.
Diperbarui 25 September 2026