Googlebot
Googlebot geupeunan keu web crawler ata Google. Googlebot nyan na dua boh, na nyang keu desktop na cit nyang keu hapé keu ureueng ngui bak Smartphone. Situih web geutanyoe meujan-jan jitamong jih cit u dalam, yakni Googlebot Desktop ngon Googlebot Smartphone. Geutanyoe tateupue meunyi Googlebot nyan na jitamong, jeuet takalon nibak string agen ureueng ngui lam request jih[1].
Adak beurangkaban mandua bot nyan jiseutot lagèe atôran droe jih nyang jeuet takalon nibak robots.txt, sampoe geutanyoe han teuntèe jeuet ta atô keudroe teuh pue keu Googlebot nyang Smartphone atawa Desktop
Namun, kedua jenis perayap mematuhi token produk yang sama (token agen pengguna) di robots.txt, sehingga Anda tidak dapat secara selektif menargetkan Ponsel Cerdas Googlebot atau Googlebot Desktop menggunakan robots.txt[1].