6 Web Crawler dan User-Agent paling populer saat ini

Tujuan awal artikel 6 Web Crawler dan User Agent paling populer saat ini adalah sebagai catatan pribadi saja agar mudah buat saya untuk mencarinya suatu saat nanti.

Alasannya simple, karena sebelumnya saya belum tau nama-nama web crawler dan user-agent tiap-tiap search engine yang paling populer dan ingin mencatatkannya di blog ini.

Cuma ingin tau aja ?

Ya enggalah, nama-nama web crawler dan user-agent ini biasanya digunakan untuk membantu saat mengatasi traffik dan kunjungan yang abnormal di statistik blog, ataupun untuk membatasi halaman mana yang tidak ingin saya tampilkan di laman pencarian masing-masing search engine.

Apa sih Web Crawler ?

Secara umum web crawler (spider web atau bot internet) adalah program yang menjelajahi web secara otomatis untuk mengindeks dan melihat semua jenis data yang ada di setiap halaman blog kita seperti konten, tautan pada laman, tautan rusak, peta situs, dan validasi kode HTML.

Artinya ketika kita berbicara tentang web crawler dan user agent ini pasti urusannya akan ketemu sama Search Engine (mesin pencari), cara indeks, dan siapa yang mengindeks seluruh blog kita di dalam dunia internet.

Seperti contohnya ketika kita ingin blog kita terindeks di dalam mesin pencari Google, maka kita wajib membuka akses kepada web crawler dan user-agent nya Google search engine untuk dapat merayapi seluruh laman dan konten di blog kita.

Begitu pula seperti saat kita menginginkan blog kita terindeks di laman pencarian Bing, Yahoo, dan lainnya.

Untuk detail sistem kerja yang terperinci, nama-nama teknikalnya, serta waktu perayapan dari web crawler dan user-agent ini jujur saja saya tidak terlalu paham, jadi silahkan bagi pembaca yang lebih paham dan ingin menambahkannya sebagai catatan dan update silahkan masukkan di kolom komentar.



Berikut adalah daftar 6 nama web crawler dan user-agent paling populer saat ini.

1. GoogleBot

User-agent: Googlebot

GoogleBot merupakan web crawler paling populer saat ini karena ia digunakan oleh mesin pencari Google untuk mengindeks konten web di seluruh dunia.

Tipe GoogleBot ini ada banyak macamnya, ada GoogleBot (desktop dan seluler), GoogleBot berita, GoogleBot Gambar, GoogleBot Video, dan banyak lagi versi Bot yang lainnya.

Untuk jenis dan tipe GoogleBot yang lebih lengkapnya, kamu bisa kunjungi halaman bantuan search console tentang GoogleBot.

2. Bingbot

User-agent: Bingbot

Dibuat oleh Microsoft, khususnya untuk melayani dan memasok informasi ke mesin pencari Bing mereka. Bingbot ini merupakan versi pengganti dari Bot yang dulu digunakan oleh MSN.

Untuk detail tipe dan macamnya Bingbot yang digunakan silahkan kunjungi halaman bantuan Bing webmaster dari bingbot ini

3. Slurp

User-agent: Slurp

Slurp merupakan web crawler yang digunakan oleh Yahoo. Meskipun Yahoo juga didukung oleh Bingbot, namun Slurp masih tetap melayani mesin pencari Yahoo, utamanya untuk melayani pengguna Yahoo pada perangkat mobile.

Silahkan baca halaman help yahoo untuk Slurp

4. DuckDuckBot

User- agent: DuckDuckBot

DuckDuckBot adalah web crawler untuk mesin pencari bernama DuckDuckGo . Sebuah mesin pencari saat ini cukup populer karena dikenal karena tidak melacak pengguna serta privasinya .

5. Baiduspider

User- agent: Baiduspider

Baiduspider adalah nama resmi dari mesin pencari Baidu dan hingga saat ini masih menjadi mesin pencari paling top diseluruh daratan China.

6. YandexBot

User-Agent: YandexBot

YandexBot adalah web crawler yang digunakan oleh mesin pencari Yandex , mesin pencari nomor satu dinegara Rusia. Untuk detailnya silahkan baca halaman support Yandex search engine.


Note :