【单项选择题】
下列哪能禁止搜索引擎抓取网站内容？（）
A、A.使用robots文件定义
B、B.使用404页面
C、C.使用301重定向
D、D.使用sltemap地图
查看正确答案A、搜索引擎的基本工作原理包括抓取、索引、排序 B、搜索引擎抓取只抓取大中型网站 C、搜索引擎对任何链接都可以抓取 D、搜索引擎定时定量抓取小型网站内容
搜题
更多“下列哪能禁止搜索引擎抓取网站内容？（）”相关的问题
第2题
A、"User-agent：*Disallow：/A" B、"User-agent：Allow：/A" C、"User-agent：Disallow：/" D、"User-agent：*Allow：/"
第6题
A、A.Robots.txt文件配置可能有误，阻止搜索引擎抓取某些页面 B、B.服务器问题，使网站无法被搜索引擎收录 C、C.搜索引擎抓取后内容还需要处理，需等待 D、D.违法内容被投诉删除 E、E.严重作弊行为被删除
第9题
A、网站地图分为普通Html格式和Xml格式的两种网站地图 B、Html格式的网站地图根据网站结构特征制定，尽量把网站的功能结构和服务内容有条理地列出来 C、Html格式的网站地图需保证是可点击的链接，方便用户访问 D、Xml格式的Sitemap就是网站上链接的列表。可将网站隐藏比较深的页面，主动展现给搜索引擎，促进对网站的收录
