Mencegah website terindeks search engine

Ini materi yang sangat – sangat jarang dibutuhkan. 😀 Kebetulan saya sedang ada kebutuhan menghapus seluruh indeks satu website dari search engine (Google terutama, yang lainnya bonus).

Karena masih dalam proses migrasi konten secara bertahap jadi tidak bisa dimatikan begitu saja, akhirnya ambil jalan tengah menginstruksikan mesin pencari agar membuang hasil telusurnya saat update berikut.

Bagaimana caranya? Bisa pakai meta tag atau response header dengan informasi noindex, tapi karena saya malas mengedit – edit kedua hal itu akhirnya saya pakai yang termudah, yakni edit robots.txt dan memblokir seluruh akses bot search engine.

User-agent: *
Disallow: /

Sudah itu saja, nanti saat bot datang lagi dan menemukan update baru dari filenya maka (bagi bot yang benar) akan menaatinya. Pelan – pelan nanti indeksnya akan hilang dari hasil pencarian. Biasanya dalam 1-2 minggu totalnya.