Robots.txt工具集 - 生成&检测搜索引擎规则 | 4759.cn

Robots.txt 工具集

🚀 配置Robots规则

1. 选择搜索引擎

2. 允许爬取的路径（每行一个）

3. 禁止爬取的路径（每行一个）

4. Sitemap 地址（可选）

5. 爬取延迟（秒，可选）

📄 预览结果

# 请点击 "生成 Robots 文件" 按钮来查看预览 # Robots.txt # 生成时间:

Robots.txt 在线检测

网站域名

Robots.txt 内容

检测指定爬虫

📊 检测结果

请选择检测方式并点击按钮开始检测

📚 Robots.txt 规则说明

1. User-agent: 指定爬虫
2. Disallow: 禁止路径
3. Allow: 允许路径
4. Sitemap: 网站地图
5. Crawl-delay: 访问间隔

站长工具

PING检测 ICP备案查询域名综合查询网站测速 DNS解析检测 SSL证书查询路由追踪蜘蛛真伪验证

开发工具

JS混淆加密哈希加密 AES加密 RSA加密 Base64编解码 URL编解码 JSON格式化 HTTP状态码 API接口

实用工具

二维码工具 ICO图标制作汇率换算今日油价 URL生成工具时间戳转换 IP查询