Für den Nutzer unsichtbare Informationen zu einer Website oder deren Inhalten werden als Metadaten bezeichnet. Sie werden in den HTML-Dokumenten eingesetzt, um Suchmaschinen oder Ähnlichem die Erfassung der Seiten und Inhalte zu vereinfachen, wie z.B. durch die Beschreibung der Website, dem Namen des Erstellers oder auch den Vermerk für einen Crawler, in einem bestimmten Zeitraum erneut die Seite zu indexieren.