Ein Robot bzw. auch Bot oder Crawler genannt ist ein Computerprogramm, welches im World Wid Web nach Daten sucht. Meistens werden diese Programme für die Erstellung des Indizes von Suchmaschinen eingesetzt. Durch gezielte Meta-Informationen, die speziell für die Robots aufbereitet werden, kann man diese gezielt steuern. So kann man z.B. bestimmte Bereiche für Robots sperren oder den Zugang nur ausgesuchten Robots gestatten.
Robots werden aber auch zum Versenden von Spam und unerwünschte Datenerhebungen genutzt.