东莞SEO:搜索引擎优化SEO基础原理

东莞SEO介绍了SEO基本原理搜索引擎的核心技术架构，其中一般包括以下三种，一是蜘蛛/爬行动物技术;第二，索引技术;三，查询显示技术;当然，我不是搜索引擎的架构师，我只能以相对浅薄的方式进行结构分割。

蜘蛛，也称为爬虫，是一种从互联网上捕获和存储信息的技术。

搜索引擎信息包含在内，许多不清楚的人会有很多误解，认为它是包含在内的，或者其他什么特殊提交技术，实际上不是，搜索引擎通过互联网一些公知的网站，爬行内容和分析然后选择链接来抓取链接中的内容，然后通过基于彼此链接的有限门户分析其中的链接，以形成强大的信息捕获功能。

一些搜索引擎也有链接提交，但基本上，它们不是主要的切入点。但是，作为企业家，建议了解相关信息。百度和谷歌拥有网站管理员平台和管理背景。这里的许多内容非常非常严肃。对待。

相反，根据这一原则，如果网站由其他网站链接，则网站只能被搜索引擎抓取。如果站点没有外部链接，或者外部链接在搜索引擎中被视为垃圾邮件或无效，则搜索引擎可能无法抓取其页面。

分析并判断搜索引擎是否已抓取您的网页，或何时抓取您的网页，您只能通过服务器上的访问日志查询它。如果它是cdn，那就更麻烦了。根据网站嵌入代码的方式，无论是cnzz，百度统计还是谷歌分析，都无法获取蜘蛛捕获的信息，因为信息不会触发代码的执行。

更推荐的日志分析软件是awstats。

十多年前，分析百度蜘蛛爬行轨迹和更新策略是许多基层网站管理员必须完成的日常任务。例如，现在价值数十亿美元的着名80家上市公司的董事长在一个站长论坛上。通过这种准确的分析和判断，我年轻时已经是车站圈中的一代偶像。

但是蜘蛛的主题并不是基于链接爬行这么简单，扩展是

首先，网站所有者可以选择是否允许抓取蜘蛛，还有一个robots.txt文件来控制它。

一个经典的案例是https://www.taobao.com/robots.txt你会看到淘宝仍有关键目录不对百度蜘蛛开放，但谷歌开放。

另一个经典案例是https://www.baidu.com/robots.txt你看到了什么？你可能看不到任何东西，我提醒百度基本上禁止360蜘蛛。

但是，这个协议只是一个惯例，实际上没有约束力。那么，猜测，360服从百度的蜘蛛爬行禁令？

其次，最早的抓取是基于网站之间的链接，但实际上，不一定可能有其他爬行门户，例如，客户端插件或浏览器，嵌入在免费网站统计系统中。码。

它是蜘蛛爬行的入口吗，我只能说这是可能的。

所以我告诉很多企业家，中国正在做网站，把百度统计，海外网站和谷歌分析。它会增加搜索引擎在您网站上的包含吗？我只能说有可能。

第三，无法抓取的信息

一些网站有内容链接，这些链接是通过javascript的一些特殊效果完成的，例如浮动菜单等。这种连接可能导致搜索引擎的蜘蛛无法识别。当然，我刚才说搜索引擎可能比以前更聪明了。许多特殊效果链接多年前才被认可，现在会更好。

需要登录并需要注册才能访问的页面，蜘蛛是不可访问的，也就是说，它不能被包含。

有些网站会搜索特殊页面，也就是蜘蛛可以看到的内容（蜘蛛访问会有一个特殊的客户端标记，服务器识别和处理并不复杂），人们来登录看看，但这实际上是一个违反包含协议（需要与人和蜘蛛相同的内容，这是大多数搜索引擎的包含协议），并可能受到搜索引擎的惩罚。

因此，如果社区希望通过搜索引擎吸引免费用户，则必须让访问者看到内容，甚至是部分内容。

具有许多复杂参数的内容链接URL可能被蜘蛛拒绝为重复页面。

许多动态页面都是带参数的脚本，但是蜘蛛发现同一个脚本有大量参数，有时它会给页面的值评估带来麻烦。蜘蛛可能认为该页面是重复页面并拒绝包含它。再次，随着技术的发展，蜘蛛在动态脚本的参数识别方面取得了很大进展，现在基本上不必考虑这个问题。

但这产生了一种称为伪静电的技术。通过配置Web服务器并让用户访问该页面，url格式看起来像一个静态页面。实际上，有一个常规匹配，实际执行是一个动态脚本。

为了追求免费搜索，许多社区论坛都经过伪静态处理。十多年前，这几乎是基层网站管理员必备的技能之一。

爬虫技术暂时存在，但这里强调有一个链，它并不意味着搜索蜘蛛会爬行，搜索蜘蛛爬行，并不意味着搜索引擎将被包含在内;包含搜索引擎，并不意味着用户可以搜索;

网站语法是检查网站数量的最基本的搜索语法。我开始认为这是abc的常识。只是在新加坡进行了一些创业培训之后，才发现大多数刚进入该行业的人都有兴趣进入这个行业。人们，我不知道。

一个例子，百度搜索网站: 4399.com

2，指标体系

蜘蛛抓取网页的内容。如果您希望用户通过关键字快速搜索网页，则必须索引网页的关键字，从而提高查询效率。简单地说，网页的每个关键词都是提取的，并为网页中这些关键词的频率，位置，特殊标记和其他因素赋予不同的权重和校准，然后存储在索引库中。

然后问题来了，关键字是什么。

在英语中，比如这是一本书，中文，这是一本书。

英语自然是四个单词，空格是自然分词，中文？您不能将句子用作关键词（如果您使用句子作为关键词，那么当您搜索某些信息时，您无法索引Hits，例如搜索书籍，无法搜索，这显然不符合搜索引擎的吸引力）。所以你必须划分这个词。

一开始，最简单的想法是每个单词都被剪切，这称为单词索引，每个单词都被索引，并且位置被标记。如果用户搜索关键字，则该关键字也会分成要搜索和组合的单词。结果，但问题来了。

例如，当搜索关键字“海鲜”时，会有结果，上海鲜花，这显然不是搜索结果。

例如，在搜索关键字“kimono”时，将显示结果，开关和服务器。

这些是谷歌无法免疫的问题。

后来，有一个秆，不要笑，这些是血与泪，并在半夜过来，说网络主管发现你的社区有淫秽的内容要求必须通过搜索删除，否则你会关闭你的网站，醒来并仔细检查一下，不要考虑它。解决方案，恳求信息线索，终于发现有人发了一个小广告，“买二十四个交换机”。另外，涉嫌政治敏感，最后发现“提供三个独立服务器”，看到没有敏感词？你没说什么。这两个故事可能不是真的，因为它们都是在网上看到的，但我想说这样的事情确实存在，而不是所有这些故事都来自风。

因此，分词是亚洲许多语言需要额外处理的问题，而西方语言则不存在。

但是分词并不是说简单，比如几点，1：如何识别这个人的名字？ 2，如何识别新的互联网词汇？例如，“不清楚”。 3，中英文混合坑，QQ表情等。

要成为一个分词系统，最终不难说，但是在技术上难以进行自动学习，与时俱进，以及高效灵活的分词引擎。当然，我不是这方面的专家，我不敢忏悔。

现在机器学习技术得到了发展，特别是谷歌在深度学习领域具有领先优势。过去，进行了许多手动校准，分类工作可以通过算法完成。从某种意义上说，本地化工作可以使机器学习。去完成;在未来，也许深度学习技术可以学习掌握本地化技能。但我想说两件事。首先，从搜索引擎开发的历史来看，本地化工作在深度学习技术的情况下非常重要，确定竞争的成败也是非常重要的。其次，尽管深度学习已经非常强大，但基于当地语言的手动参与，校准，测试，反馈和本地化仍然对深度学习的效率和有效性具有不可替代的影响。

除了分词之外，索引系统还有一些重要的点，例如实时索引。因为更新索引库是一个很大的举动，一般网站运营商知道在更新网站内容后，您需要等待下一次更新索引库才能看到效果。而且，对于不同的加权网站内容，索引库也不相同。但是，例如，一些高优先级的信息网站，以及新闻搜索，索引库可以近实时索引，因此在新闻搜索中，几分钟前的信息已经可以被搜索。

我曾经呕吐过一件事。我在百度空间发表的文章首先被谷歌索引。当时，他们的解释是猜测是因为许多人通过谷歌阅读器订阅了我的博客，谷歌阅读器很可能是谷歌快速索引的入口。 （虽然鸡蛋，百度空间已经消失，谷歌读者也不见了。）

索引系统的权重系统是所有SEOER中最关心的问题。他们经常以不同的方式结合策略，观察搜索引擎的包含，排名和道路状况，然后通过比较分析来梳理相关策略。它可能很长，但今天没有提到。

但我说过，许多外部公司，做SEO，错误地认为百度内部的人都熟悉这里的门户和规则。很多人都渴望挖掘百度的搜索产品经理和技术工程师来做SEO。结果，呵呵，哈哈。和那些基层企业家在外，有些擅长这个，真的比百度人好，搜索权重的影响，以及更新的频率等，如上所述，这位80岁的企业家By。

基于反向策略的结果，不了解整体情况的参与者可以找到系统的关键点，这是不感兴趣的。

3.查询显示

用户在浏览器或移动客户端中输入关键字，或几个关键字，甚至句子。在服务器端，响应过程如下：

第一步是检查是否有人在最近的时间内搜索过相同的关键字。如果有这样的缓存，最快的方法是为您提供此缓存，以便查询效率最高，并且对后端负载的压力最小。

第二步是发现最近没有搜索到输入查询，或者还有其他原因必须更新结果，然后用户输入的单词将被分段，是，如果有多个关键字，或者一个句子应答程序将再次拆分查询并将搜索查询拆分为几个不同的关键字。

第三步是将分段后的关键词分发给查询系统。查询系统将转到索引库查询。索引库是一个庞大的分布式系统。首先分析关键字属于哪个服务器。该指数是一个。数据的有序组合，我们可以用近似二分法来思考，无论数据有多大，你都使用二分法来找到结果，查询的频率是log2（N），这保证了大量的数据，查询一个关键字非常快，非常快。当然，实际情况将比二分法复杂得多。这更容易理解。告诉我它很复杂并不复杂。我对自己不是很清楚。

第四步，不同关键词的查询结果（只有部分结果按重量排序，绝对不是所有结果），根据权重反向顺序，将它们相加在一起，然后将共同命中部分反馈，最后排序权重。

请记住，搜索引擎永远不会返回所有结果，没有人能负担得起这个开销，百度不起作用，谷歌不起作用，翻页有限。

请记住，如果您在多个关键字中有多个不受欢迎的单词，搜索引擎可能会丢弃其中一个不受欢迎的单词，因为聚合数据可能不包含常见结果。搜索技术不是一个神话，偶尔会出现这样的例子。

这是第三部分。再说一点，实际上有第四部分。

用户点击行为收集和反馈部分

根据用户的页面翻转，点击分发，判断搜索结果的优劣，并调整权重，但这个早期的搜索引擎不可用，只是在以后，因此它不被列为必须的三个块。

此外，一些用于搜索优化，易于混合的单词识别，同音字识别等的机器学习策略也基于用户行为反馈，这是一个后续行动，而不是这里。

关于第四部分，我之前说了一句话，点击右边，我说这个词值得花很多钱，我想很多人都不懂。我不明白，或者我必须被一些同行杀死。

以上是单指搜索引擎的工作原理，以及一些技术逻辑，当然只是一个入门级的解释，毕竟它不是我能解释的东西。

但搜索引擎的本地化并不仅限于搜索技术的本地化。

百度的力量不仅仅是搜索技术。当然，有些人会说百度没有搜索技术。我不争论这种言论。我不试图改变任何人的观点。我只列出一些事实。

百度的实力也来自两个大块，第一个是内容护城河，第二个是入口控制。

前者是百度贴吧，百度mp3，百度知道，百度百科，百度图书馆。

后者是hao123和百度联盟。

这两件都是本地化的。当谷歌进入中国时，它会同时采取行动。

投资世界，获得265，并大力发展谷歌联盟，这些都是本地化的。

另外，重申一下，百度的家族桶和百度家族桶和hao123的出现是360之后崛起的事情。百度从百度崛起到360之前，它一直很平静，没有做任何推广从历史事实中捆绑而成。说，不要将本地化与囤积等同起来。