当你在网站的根目录下更新或创建robots.txt文件后，搜索引擎蜘蛛通常会尽快访问并检索该文件。然而，robots.txt文件的生效时间可以因多种因素而有所不同。
1. 爬取频率：搜索引擎蜘蛛对不同网站的爬取频率可能有所不同。一般来说，大型搜索引擎会定期爬取常规更新的网页，但对于较小的或不太活跃的网站，爬取频率可能会较低。
2. 网站可访问性：如果你的网站在搜索引擎蜘蛛尝试访问时出现了访问问题，如服务器错误或重定向问题，那么搜索引擎蜘蛛可能无法及时获取或更新robots.txt文件。
3. 缓存时间：搜索引擎可能会对之前抓取的robots.txt文件进行缓存，以避免过多地访问网站的根目录。这意味着更新后的robots.txt文件可能不会立即生效，而是需要等待缓存的过期时间。
由于以上因素的影响，实际生效时间可能会有所延迟，从几分钟到几天不等。为了加快robots.txt文件的生效速度，你可以使用搜索引擎的网站管理员工具（如Google Search Console）来通知搜索引擎更新robots.txt文件。
需要注意的是，即使robots.txt文件生效，搜索引擎蜘蛛仍然可能会访问被禁止的页面或目录，特别是对于恶意蜘蛛或不遵守规范的蜘蛛。因此，robots.txt文件主要用于指导合法的搜索引擎蜘蛛行为，并不能完全阻止非法或恶意的网络爬虫。