Als Crawler (aus dem Englischen to crawl = krabbeln) werden Suchprogramme oder Suchroboter bezeichnet, die automatisch und selbstständig Inhalte im Internet durchsuchen und Daten sammeln. Dabei orientieren sie sich an Hyperlinks und „krabbeln“ so von einer URL zur nächsten, während die Adressen und Pfade gespeichert werden. Crawler werden hauptsächlich von Suchmaschinen eingesetzt, um neue Websites zu erfassen und zu indexieren oder auch um neue Informationen und Links abzuspeichern.
