llms.txt adalah pelengkap baru yang membantu AI memahami konten prioritas. Keduanya langkah teknis paling dasar untuk AI Visibility.Banyak website punya konten bagus tapi tidak pernah muncul di jawaban AI. Sering kali penyebabnya bukan kualitas konten, tapi satu file teks kecil yang salah setting: robots.txt. Ini panduan sederhananya.
Apa Itu robots.txt dan AI Crawler
robots.txt adalah file teks di root website yang memberi instruksi kepada bot tentang halaman mana yang boleh dan tidak boleh diakses. AI crawler adalah bot khusus milik platform AI yang merayapi web untuk mengambil konten.
Setiap platform punya botnya sendiri: ChatGPT memakai GPTBot dan OAI-SearchBot, Claude memakai ClaudeBot, Perplexity memakai PerplexityBot, dan Google untuk AI memakai Google-Extended. File robots.txt-lah yang menentukan bot mana yang kamu izinkan masuk.
Kenapa Setting robots.txt untuk AI Crawler Itu Krusial
Kalau bot AI diblokir, kontenmu tidak bisa dibaca dan tidak akan pernah dikutip. Ini masalah yang jauh lebih umum dari dugaan: 41% website B2B masih memblokir minimal satu AI crawler utama (CapstonAI, Q1 2026), sering karena pengaturan default tema atau plugin yang tidak pernah diperiksa.
Sebaliknya, membuka akses berdampak nyata. Website yang membuka akses ke semua bot AI melaporkan peningkatan 186% traffic dari AI dalam 90 hari setelah konfigurasi diperbaiki (CapstonAI, 2025). Ini bagian paling dasar dari AI Visibility — dan paling cepat diperbaiki.
Cara Cek robots.txt Website Kamu
Buka browser, ketik namadomain.com/robots.txt. Perhatikan apakah ada baris Disallow: / di bawah User-agent: GPTBot atau bot AI lain. Kalau ada, bot itu diblokir.
Kalau tidak ada entry sama sekali untuk bot AI, biasanya artinya diizinkan secara default — tapi lebih baik ditulis eksplisit agar tidak ada keraguan.
Konfigurasi robots.txt yang Direkomendasikan
Untuk mengizinkan bot AI utama, pastikan robots.txt memuat:
User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: /
Di WordPress, robots.txt bisa diatur lewat plugin SEO seperti RankMath atau Yoast, atau file fisik di root. Setelah mengubah, cek ulang di namadomain.com/robots.txt untuk memastikan.
Apa Itu llms.txt dan Perlukah Dipasang
llms.txt adalah file teks standar baru yang membantu mesin AI memahami konten paling penting di websitemu. Berbeda dari robots.txt yang mengatur “boleh masuk atau tidak”, llms.txt lebih seperti peta yang menunjuk konten prioritas dalam format bersih yang mudah dibaca AI.
Standar ini masih berkembang dan belum semua platform AI memakainya. Tapi memasangnya adalah langkah antisipatif yang murah: kamu menyiapkan website untuk cara AI mengonsumsi konten ke depan. Untuk website bisnis, cukup daftarkan halaman utama, layanan, dan artikel penting.
Kaitannya dengan Kesiapan AI Website Kamu
Membuka akses crawler hanyalah pintu pertama. Setelah bot bisa masuk, kontenmu tetap harus terstruktur dan ber-schema agar layak dikutip — itu sebabnya website bagus saja tidak cukup di era AI search. Untuk memastikan schema-mu benar, lihat panduan schema JSON-LD untuk pemula, dan untuk audit menyeluruh, ikuti cara audit AI Visibility bisnis kamu sendiri.
Pertanyaan Umum tentang robots.txt dan AI Crawler
Apa itu robots.txt untuk AI crawler?
robots.txt untuk AI crawler adalah pengaturan di file robots.txt yang menentukan apakah bot AI seperti GPTBot, ClaudeBot, dan PerplexityBot boleh mengambil konten websitemu. File ini terletak di root website (namadomain.com/robots.txt) dan memberi instruksi kepada bot tentang halaman yang boleh diakses. Kalau bot AI diblokir, kontenmu tidak akan pernah dikutip dalam jawaban AI.
Bagaimana cara mengizinkan GPTBot dan bot AI lain?
Tambahkan aturan di robots.txt untuk setiap bot dengan baris Allow: / di bawah nama user-agent-nya — GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, dan Google-Extended. Di WordPress, ini bisa diatur lewat plugin SEO seperti RankMath atau Yoast, atau langsung di file robots.txt. Setelah mengubah, verifikasi dengan membuka namadomain.com/robots.txt di browser.
Apa bedanya GPTBot dan OAI-SearchBot?
GPTBot digunakan OpenAI untuk mengumpulkan data pelatihan model, sedangkan OAI-SearchBot digunakan untuk ChatGPT Search yang menampilkan hasil real-time. Kalau kamu hanya ingin muncul di jawaban ChatGPT tanpa kontenmu dipakai untuk melatih model, kamu bisa mengizinkan OAI-SearchBot saja dan memblokir GPTBot. Untuk visibilitas maksimal, keduanya biasanya diizinkan.
Apa itu llms.txt dan apakah wajib?
llms.txt adalah file teks standar baru yang menunjuk konten prioritas websitemu dalam format bersih yang mudah dibaca AI. Berbeda dari robots.txt yang mengatur izin akses, llms.txt lebih seperti peta konten. Belum wajib karena standarnya masih berkembang dan belum semua platform memakainya, tapi memasangnya adalah langkah antisipatif yang murah untuk menyiapkan website menghadapi cara AI mengonsumsi konten.
Apakah membuka akses AI crawler aman untuk website saya?
Secara umum aman. Mengizinkan AI crawler membuat kontenmu berpeluang dikutip dan direkomendasikan AI, yang menguntungkan visibilitas bisnis. Kalau kamu punya kekhawatiran soal konten dipakai untuk pelatihan model, kamu bisa selektif: izinkan bot pencarian (seperti OAI-SearchBot) tapi blokir bot pelatihan (seperti GPTBot). Untuk kebanyakan bisnis, membuka akses jauh lebih menguntungkan daripada memblokir.