robots.txt的作用是（）。

A、禁止搜索引擎蜘蛛抓取特定URL

B、给搜索引擎蜘蛛提供网站地图文件

C、以上都对

查看正确答案

更多“robots.txt的作用是（）。”相关的问题

第1题

[多选题] robots.txt支持的代码为（）。

A、Allow B、Disallow C、sitemap D、nofollow

点击查看答案

第2题

[单选题] Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）

A、"User-agent：*Disallow：/A" B、"User-agent：Allow：/A" C、"User-agent：Disallow：/" D、"User-agent：*Allow：/"

点击查看答案

第3题

[单选题] robots.txt不支持的代码为（）。

A、Allow B、Disallow C、Crawl-delay D、noindex

点击查看答案

第4题

[单选题] robots.txt文件放在哪里（）

A、网站根目录下 B、网站子栏目下 C、网站内容页面 D、网站图片文件

点击查看答案

第5题

[] robots.txt不支持的代码为（）

A、A.Allow B、B.Disallow C、C.Crawl-delay D、D.noindex

点击查看答案

第6题

[多选题] （）是应用程序的安全配置。

A、配置文件中没有默认的用户名和密码 B、配置文件中没有明文的密码和密钥 C、不要在robot.txt中泄露目录结构 D、在部署之前，删除没有用的功能和测试代码

点击查看答案

第7题

[单选题] 百度robots工具具有以下哪项功能（）

A、实时查看网站在百度中已生效的robots文件内容 B、支持通知百度更新网站的robot文件 C、支持对robots文件进行语法及逻辑校验 D、能够按照规则生成robots文件 E、以上全都是

点击查看答案

第8题

[多选题] 网站被惩罚了怎么办？（）

A、检查robots.txt文件是否禁止了搜索引擎收录 B、检查网站是否采用301跳转之外的其他转向 C、检查网站是否过度优化 D、检查外链和导出链接

点击查看答案

第9题

[判断题] DimfsAsString（）=Directory.GetFiles（"c：\"，"*.txt"）的作用是列出C盘根目录下的所有txt文件。

点击查看答案

账号：登录

答题记录

我的收藏

我的题库

客服

TOP

请使用微信扫码支付

订单号：
遇到问题请联系在线客服