Apa peran file robots.txt dan sitemap.xml dalam membantu search engine bot saat melakukan crawling?

`robots.txt` adalah file teks yang memberi tahu search engine bot bagian mana dari situs web yang boleh atau tidak boleh di-crawl, membantu mengelola beban kerja bot dan mencegah pengindeksan konten yang tidak relevan atau bersifat pribadi. Sementara itu, `sitemap.xml` adalah daftar semua URL penting di situs web Anda. Ini berfungsi sebagai peta jalan yang memandu bot untuk menemukan semua halaman penting yang mungkin tidak mudah ditemukan melalui tautan internal saja, memastikan cakupan indeks yang lebih komprehensif.