网站首页 网站运营 正文
广告位 后台主题配置管理 |
什么是robots.txt文件? 搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。 如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。 从SEO的角度,robots.txt文件是一定要设置的,原因: 网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。 网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。 一些没有关键词的页面,比如本站的这个页面http://bbs.itzhp.com/search.php,屏蔽掉更好。 一般情况下,站内的搜索结果页面屏蔽掉更好。
请在这里放置你的在线分享代码- 上一篇: robots.txt是什么?应该怎么写?
- 下一篇: robots.txt文件应放在网站的哪里?
广告位 后台主题配置管理 |
猜你喜欢
- 2014-08-07 探讨360搜索引擎的独特优化方法
- 2014-05-21 做文章页面质量 需关注搜索引擎相关算法
- 2014-05-05 新站如何快速通过搜索引擎考核期?
- 2014-04-29 网站被搜索引擎K的原因总结
- 2014-04-28 传统企业网站 SEO应该怎么做
- 2014-04-18 新手如何写出高质量文章?
- 2014-04-17 网站优化中关于SEO饱和度
- 2014-04-16 网站交换友情链接 需要注意的事项
- 2014-04-15 主流搜索引擎小功能的优化指南
- 2014-04-09 SEO从业者的现状与未来发展
你 发表评论:
欢迎- 2022-10-30收藏多年整理的各类资源网站全都分享出来
- 2022-10-29收集最全的各大银行信用卡限额交易设置方法
- 2022-10-29从root的Vivo手机中删除Bloatware
- 2022-10-28Vivo Mediatek机型LK(ABOOT)文件Android Verify Boot校验的困惑和一点研究
- 2022-10-20小米/红米手机彻底关闭系统更新提醒方案,免ROOT免ADB!
- 2022-10-12彻底删除小米手机MIUI系统级广告
- 2022-09-26nps内网映射专用客户端和服务端自动安装文件
- 2022-09-2614个比较经典的开发信模板
- 13612℃通达2015oa超级密码修改与清空方法
- 10269℃如何注册一个适合谷歌seo的域名
- 9625℃第三届中国衡商联盟(深圳)高峰论坛会邀请函
- 7454℃建站3天 日ip 300
- 7360℃衡商联盟写给天下自媒体的一封信:2016年,你很有可能会坐立难安!
- 7049℃谁敢横刀立马,唯我衡商兄弟连!-衡商精英群招募
- 6882℃1111半价免单(10日19点整理)
- 6879℃写给天下工厂的一封信:大象都倒下了,小心你也被干掉!
- 4288℃b2b网站营销要注意的细节问题
本文暂时没有评论,来添加一个吧(●'◡'●)