搜题
用户您好， 请在下方输入框内搜索其它题目：
搜题
题目内容 （请给出正确答案）
提问人：网友 发布时间：
【单选题】

Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）

A、"User-agent：*Disallow：/A"

B、"User-agent：Allow：/A"

C、"User-agent：Disallow：/"

D、"User-agent：*Allow：/"

查看正确答案
更多“Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）”相关的问题
第1题
[单选题] robots.txt的作用是（）。

A、禁止搜索引擎蜘蛛抓取特定URL  B、给搜索引擎蜘蛛提供网站地图文件  C、以上都对  

点击查看答案
第2题
[] 如果一个网站运营半年了且文章每天都在持续更新，但收录甚少，造成这种情况的原因有哪些？（）

A、A.Robots.txt文件配置可能有误，阻止搜索引擎抓取某些页面  B、B.服务器问题，使网站无法被搜索引擎收录  C、C.搜索引擎抓取后内容还需要处理，需等待  D、D.违法内容被投诉删除  E、E.严重作弊行为被删除  

点击查看答案
第3题
[多选题] 如何建立符合搜索抓取习惯的网站？（）

A、网站层次结构明了，并尽量保证spider的可读性  B、url尽量短且易读使得用户能够快速理解  C、建立网站sitemap文件，前及时通过百度站长平台提交  D、robots文件是封禁搜索引擎抓取，所以此Robots文件尽量少用  

点击查看答案
第4题
[] 以下哪种网站体系问题不利于搜索引擎蜘蛛抓取网站（）

A、A.缺乏robots.txt文件  B、B.使用框架结构  C、C.动态URL（超过两个变量）  D、D.购买链接  E、E.要求填写提交表单的页面  

点击查看答案
第5题
[单选题] 关于搜索引擎工作原理，下列描述中正确的一项是（）

A、搜索引擎的基本工作原理包括抓取、索引、排序  B、搜索引擎抓取只抓取大中型网站  C、搜索引擎对任何链接都可以抓取  D、搜索引擎定时定量抓取小型网站内容  

点击查看答案
第6题
[] 下列哪能禁止搜索引擎抓取网站内容？（）

A、A.使用robots文件定义  B、B.使用404页面  C、C.使用301重定向  D、D.使用sltemap地图  

点击查看答案
第7题
[多选题] 以下对解决网址规范化问题有帮助是。（）

A、使用301转向  B、使用Canonical标签  C、在XML网站地图中提交规范化网址  D、Robots文件中屏蔽搜索引擎蜘蛛对不规范网址的抓取  

点击查看答案
第8题
[单选题] 以下关于搜索引擎哪一种说法是错误的？（）

A、搜索引擎对静态页面更友好  B、搜索引擎更喜欢原创内容  C、搜索引擎对新站的排名更友好  D、搜索引擎对iframe的抓取比较困难  

点击查看答案
第9题
[单选题] 在我们访问互联网时，常常会需要搜索同一类型的文件。例如：我们想搜索“正能量.TXT”，我们利用百度搜索引擎搜索时，应选用（）作为关键字进行搜索更准确呢？

A、正能量+TXT  B、正能量-TXT  C、正能量filetype：TXT  D、正能量TXT  

点击查看答案
账号：
答题记录 我的收藏 我的题库
客服
TOP

请使用微信扫码支付

订单号：
遇到问题请联系在线客服