robots.txt

Robot.txt adalah sebuah file teks yang digunakan untuk mengatur akses robot ke situs web Anda. File ini berfungsi sebagai perintah untuk mesin pencari seperti Google, …