您的位置: 贺州信息港 > 历史

51com嘚robotstxt洧错吗7z

发布时间:2019-06-08 12:00:52

什么是t文件?

搜索引擎通过一种程序robot(又称spider),自动访问互联上的页并获取页信息。 您可以在您的站中创建一个纯文本文件t,在这个文件中声明该站中不想被robot访问的部分,这样,该站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。

因为刚写了51是因为二级玉米泛滥和站点垃圾造成被封,去站长站看见眼镜蛇写的是因为51的t的原因。

我仔细看了51的t而要驳反眼镜蛇的判断和定论!

每个站点都必须要有t吗?

不一定,看情况

那么t是针对任何搜索引擎吗?

不一定,搜索引擎的概念是什么先搞明白!至少他有蜘蛛,并且遵循t语法。像百度,google,yahoo都遵循官方的t

t放在那里?

根目录下,就是通过 等浏览访问到的!

t怎么写?

请查询:

因为眼镜蛇说百度杀了51是因为51的t

搜索消失原因是公司想借机炒作?

(联系到五一国庆左右百度大规模检查并封杀作弊站,开始让业界以为是百度惩罚的站之一,通过某朋友提示到的t文件,让大家明白了百度站只收录一页的原因,并不是搜索引擎人为所至,而是自身原因。 )

郁闷一:五一成国庆了!

郁闷二:t写法遵循规则,搜索引擎也给予遵循!那么就是眼镜蛇以上文章的判定错误!不是51的t错误!

分析反驳:

因为51的主页都在home下或者这个二级玉米下,那么就这个来说!

1: 18行

Disallow: /home/ (假设只针对百度,因为google 没把51怎么着,而之后分析则套用google的一些现象对比百度,除非他们不是一样性质的遵循t的搜索引擎!)

百度给出的定义:

Disallow:/help/则允许robot访问/ml,而不能访问/help/ml

那么就是说在不能被收录,因为home目录下无主页!

404错误 404错误 404错误 404错误 404错误

确定HOME下无默认首页文件,一般都是404页,这样多搜索引擎会很不友好的,那么当然仔细点的站点都会杜绝被搜索引擎视为死连接。51的错法就是Disallow:/help/则允许robot访问/ml,而不能访问/help/ml

判定:Disallow: /home/ 对于百度正确!

因为有:User-agent: * (针对所有搜索)

查看:site: ,site: ,site: , site:在google都有收录,而不是屏蔽了home下任何,而只是home下的默认首页!

目前看不见百度的现象,根据User-agent: * (针对所有搜索)说明百度当时也是这样!(80%一样)

再查:site:

结果为

51 博客欢迎您 - 类似页

似乎下有首页,似乎home目下也有首页!

我们点过去则跳转到,因为目前搜索引擎都可以识别和收录url转发而非跳转!

随便查下的站点访问使用情况!

比如:第二结果

献给我的00

- 5k - 补充材料 - 页快照 - 类似页

而你使用 也访问的是此

也可以 : (home下的任何其他文件可以收录和访问)

也可以: 访问而到

也可以:到

严格按照URL说这个可以说是多URL或者路径重叠,或者混乱,只是一些没告诉那些站长,只告诉站长 就是你的主页url

补充:

*** LANGUAGE=Java***!--var t = addAccessRec();if (isLoginF == 'y' isLoginHide != 'y') {if (isAddAccess == 'y' t[0] == true) {var URL = p?user=nicolelovevisituser=time=;addAccess(URL);// 增加访客记录}}if (isAddCount == 'y' t[1] == true) {var URL = p?user=nicolelovetime=;addAccess(URL);// 增加点击数}function addAccess(URL){var ; //异步tRequestHeader('charset','GBK');nd(null);}LoadXMLHTTP(/home/p?who=nicolelove);//--/***

看下第三段代码!

搜索引擎在更多时是不允许这样的现象的。二级玉米和独立玉米都可以认为不同域下的站点和页!

比如: 这个是不存在申请的url站站点,那么你输入回车后就会提示:该用户不存在

提示URL为:

点确定立即返回到这样的做法稍微比404错误返回友好了一些,可是假如我今天申请了,明天51删除我了,却在之前百度收录了我的或者呢?那是不是现在该可以返回到了呢?这个做法给搜索引擎造成多少麻烦?造成多少垃圾收录?降低了多少百度的技术可靠性的讽刺?

在优化之不要轻易使用泛解析 特别拿51来分析了的!

只是没这个写的详细,而这个文章飘哥则做了70%的分析列举说明。要说明的是51被封是联系到了滥用泛解析!

而反驳眼镜蛇的是针对他说51的t的问题造成被封!而51的t写法符合和遵循!

飘哥到今天还没使用过t,只是之前帮一个朋友从google拒绝收录而找历史记录发现他的玉米曾经存在t内容写法是禁止收录此站。告诉之则给google写信给予了收录。因为那玉米停了一段时间,google则还是按照当时t给予封闭!

此文结束,51的t有错吗?51的t是针对百度的吗?百度是根据51的t把他杀了的吗?

注:相关站建设技巧阅读请移步到建站教程频道。

微商城支付系统怎么做
网络营销常用方法有哪些
小程序开发
猜你会喜欢的
猜你会喜欢的