网站首页 网站运营 正文
广告位 后台主题配置管理 |
什么是robots.txt文件? 搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。 如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。 从SEO的角度,robots.txt文件是一定要设置的,原因: 网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。 网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。 一些没有关键词的页面,比如本站的这个页面http://bbs.itzhp.com/search.php,屏蔽掉更好。 一般情况下,站内的搜索结果页面屏蔽掉更好。
请在这里放置你的在线分享代码- 上一篇: robots.txt是什么?应该怎么写?
- 下一篇: robots.txt文件应放在网站的哪里?
广告位 后台主题配置管理 |
猜你喜欢
- 2014-08-07 探讨360搜索引擎的独特优化方法
- 2014-05-21 做文章页面质量 需关注搜索引擎相关算法
- 2014-05-05 新站如何快速通过搜索引擎考核期?
- 2014-04-29 网站被搜索引擎K的原因总结
- 2014-04-28 传统企业网站 SEO应该怎么做
- 2014-04-18 新手如何写出高质量文章?
- 2014-04-17 网站优化中关于SEO饱和度
- 2014-04-16 网站交换友情链接 需要注意的事项
- 2014-04-15 主流搜索引擎小功能的优化指南
- 2014-04-09 SEO从业者的现状与未来发展
你 发表评论:
欢迎- 2024-04-21提升不锈钢水管消费终端领域竞争力的市场拆分与测算
- 2024-04-20京东云无线宝一代64G加速版刷机记录_京东云刷机教程
- 2024-01-29一个既支持多种BT资源搜索,内容又全面,且界面风格简约的搜索引擎
- 2024-01-29输入邮箱就可以查看你的个人信息是否被泄露过。
- 2024-01-26最好的外贸邮箱:谷歌企业邮箱完全攻略
- 2024-01-25WordPress 外链跳转插件 v1.0.0
- 2024-01-25bat请求管理员权限代码
- 2024-01-13给大家42条无数人经历过的经验总结
- 16926℃谁敢横刀立马,唯我衡商兄弟连!-衡商精英群招募
- 15279℃【起航财富酒店】劳动节亲子活动——起航财富酒店烧烤活动通知
- 15211℃写给天下工厂的一封信:大象都倒下了,小心你也被干掉!
- 14603℃建站3天 日ip 300
- 14318℃玩自媒体必须知道的20个自媒体平台!
- 12012℃建站铺申请入驻头条号平台,特此声明; 敬请周知,谢谢!
- 11407℃外贸干货!外贸10大网站分析+100个B2B平台,收藏备用
- 11128℃衡商联盟写给天下自媒体的一封信:2016年,你很有可能会坐立难安!
- 8190℃b2b网站营销要注意的细节问题
本文暂时没有评论,来添加一个吧(●'◡'●)