网站首页 网站运营 正文
广告位 后台主题配置管理 |
什么是robots.txt文件? 搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。 如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。 从SEO的角度,robots.txt文件是一定要设置的,原因: 网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。 网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。 一些没有关键词的页面,比如本站的这个页面http://bbs.itzhp.com/search.php,屏蔽掉更好。 一般情况下,站内的搜索结果页面屏蔽掉更好。
请在这里放置你的在线分享代码- 上一篇: robots.txt是什么?应该怎么写?
- 下一篇: robots.txt文件应放在网站的哪里?
广告位 后台主题配置管理 |
猜你喜欢
- 2014-08-07 探讨360搜索引擎的独特优化方法
- 2014-05-21 做文章页面质量 需关注搜索引擎相关算法
- 2014-05-05 新站如何快速通过搜索引擎考核期?
- 2014-04-29 网站被搜索引擎K的原因总结
- 2014-04-28 传统企业网站 SEO应该怎么做
- 2014-04-18 新手如何写出高质量文章?
- 2014-04-17 网站优化中关于SEO饱和度
- 2014-04-16 网站交换友情链接 需要注意的事项
- 2014-04-15 主流搜索引擎小功能的优化指南
- 2014-04-09 SEO从业者的现状与未来发展
你 发表评论:
欢迎- 2022-04-23宝塔php7.3安装zip扩展
- 2022-03-04nginx配置文件跳转代码
- 2022-01-15雷军科技的红米手机售后真是堪忧
- 2021-08-30中国信通院等上线“一证通查”业务:可查询用户名下电话卡数量
- 2021-07-16使用ADB免ROOT免解锁卸载Android系统内置App 附MIUI12.5内置包名
- 2021-06-17Windows Server 2022 LTSC预览版发布(附:无限激活密钥)
- 2021-05-20曝光:UCLOUD云大使涉嫌欺骗推广员免费推广!
- 2021-05-05EyouCms前台GetShell漏洞复现
- 13162℃通达2015oa超级密码修改与清空方法
- 9917℃如何注册一个适合谷歌seo的域名
- 9172℃第三届中国衡商联盟(深圳)高峰论坛会邀请函
- 7034℃建站3天 日ip 300
- 6844℃衡商联盟写给天下自媒体的一封信:2016年,你很有可能会坐立难安!
- 6646℃谁敢横刀立马,唯我衡商兄弟连!-衡商精英群招募
- 6525℃写给天下工厂的一封信:大象都倒下了,小心你也被干掉!
- 6467℃1111半价免单(10日19点整理)
- 0℃未命名
本文暂时没有评论,来添加一个吧(●'◡'●)