ידוע גם בשם Web spider, מחלקת תוכנת רובוט זו חוקרת את ה World Wide Web ע"י אחזור מסמך ומעקב אחר כל הקישורים שבו. אתרי Web נוטים להיות מקושרים כל כך טוב שה spider יכול לכסות כמויות עצומות של אינטרנט ע"י התחלה בכמה אתרים. לאחר מעקב אחר הקישורים, ה-spiders יוצרים קטלוגים נגישים ע"י מנועי החיפוש. אתרי חיפוש פופולריים כמו Alta Vista, Excite, ו Lycos משתמשים בשיטה הזאת.