¿Que es un motor de busqueda?

Los motores de búsqueda (search engines) son programas encargados de realizar las búsquedas dentro de las bases
de datos de documentos web. Actualmente se clasifican en tres categorías principales: motores de búsqueda temática,
también conocidos como directorios o catálogos; motores de búsqueda por palabras claves o "crawlers" y sistemas
basados en el "content-routing [1, 2].
Los primeros se caracterizan por ser un índice de documentos recopilados manualmente, los mismos son sugeridos por
sus propietarios, quienes además los clasifican en áreas específicas y brindan una descripción de la información que
contiene el sitio, formando así una jerarquía de URLs. Para realizar búsquedas se debe recorrer un árbol jerárquico
hasta dar con la información requerida. Debido a que la indexación se realiza en forma manual, la información que se
encuentra no siempre está actualizada.
Los crawlers están basados en el concepto de una única base de datos centralizada en donde se almacena toda la
información. Algunos sistemas contienen varias bases de datos en una misma máquina, sin ningún tipo de conexión y
cada una es tratada autónomamente . Se componen de un índice de URLs recopiladas en forma automática por un
robot o mediante el envío de las mismas por parte de los administradores web. Cada sistema de esta categoría tiene sus
propias características, herramienta de indexación y opciones de consulta, pero casi todos ofrecen la misma

http://www.unlu.edu.ar/~tyr/tyr/TYR-motor/stark-motor.pdf