在搜索算法的世界里，其核心结构可分解为控制结构和产生系统两大部分。简单来说，搜索的本质就是穷举所有可能性以找到最佳答案，首要任务就是生成所有可能的状态，这部分可以视为一个强大的产生式系统。
我们将问题分解为各个阶段或步骤，每个阶段完成后，通常会出现多种选择，这些选择共同构成了问题的解空间。对于搜索算法而言，将所有阶段串联起来，就像一棵搜索树的结构，根节点代表初始状态，后续节点代表可能的决策。
在寻找解决方案的过程中，回溯法，也就是深度优先搜索（DFS），是基础的搜索策略。其核心思想可以描述为“向下探索，若无路可走则返回上一步”，这相当于采用先根遍历的方式构建搜索树。这种方法在深入挖掘每个分支后，如果发现不符合条件，会直接返回上一级节点，继续尝试其他路径。
理解起来可能有些复杂，但只要我们通过实例和基本框架来剖析，会发现深度优先搜索产生式系统和搜索树的原理其实非常直观和自然。
深度优先搜索是一种在开发爬虫早期使用较多的方法。它的目的是要达到被搜索结构的叶结点(即那些不包含任何超链的HTML文件) 。在一个HTML文件中，当一个超链被选择后，被链接的HTML文件将执行深度优先搜索，即在搜索其余的超链结果之前必须先完整地搜索单独的一条链。深度优先搜索沿着HTML文件上的超链走到不能再深入为止，然后返回到某一个HTML文件，再继续选择该HTML文件中的其他超链。当不再有其他超链可选择时，说明搜索已经结束。