אפשר לבנות Crawler שיודע לקרוא מידע מכל אתר ולסדר אותם בטבלאות או במסדי נתונים... דוגמא מצויינת, אם מישהו ירצה לבנות אתר מתחרה ל זאפ, לא צריך לבנות את הקטגוריות מאפס, אפשר להעתיק כל התוכן ולבנות מאגר נתונים מקביל לזה של זאפ רק בעזרת קוד תוכנה של 20-40 שורות לא יותר.
הבעיה, שקוד כזה מאוד מעמיס על שרתי החברה, ו/או לא מתחשב בכלל בהספק של השרת עצמו, והתוצאה הישירה היא מתן שירות גרוע לאנשים אחרים שמבקרים באתר באופן רגיל.
לכן, Crawling למטרה פרטית הוא עבירה
http://www.rexygo.com/שנים רבות השתמשנו בארגון עליו אני אחראי בבסיס הטלפונים של דבש - ובצורה ממוחשבת שעדכנה מדי פעם את בסיס הנתונים שלנו במספרי טלפון עדכניים.
חב' דבש היתה בעלת זכיון לקבל את הטלפונים מבזק.
לפני כמה שנים החליטו בבזק להפסיק לדבש את הזכיון, וכך לאט לאט הפסיקו מספרי הטלפון להיות עדכניים יותר ויותר.
אך בזק עצמה - לא סיפקה לארגונים גדולים שום תחליף אחר, והמצב הגיע לידי בדיחה גרוטסקית שכדי לעדכן מסד בן 50000 רשומות עליך להושיב פקידה מיוחדת שתבדוק מספר מספר ידנית באתר 144 - וכל זה עוד עם הקפצ'ה המפורסמת והידועה לשמצה.
בזק אחזה את הקלפים קרוב לחזה, כאילו מדובר ברכוש פרטי שלה, וגם הם עצמם לא העמידו מסד ממוחשב לארגונים גדולים.
לכך יקרא שחיתות! שחיתות! שחיתות!
פניתי בעבר לשר התקשורת שדיווח לי על הקמת ועדה שתטפל בכך - כלום.
כעת פניתי שוב.
כולי תקוה שדפי זהב ירימו את הכפפה ויפיקו מסד נתונים ממוחשב לשימוש חברות מסחריות - בתשלום מלא ושיתעדכן כל שלושה חודשים - ויחסלו באחת את המונופול המושחת שנקרא בזק!!!
לכל מי שפונים אליו מדפי זהב ראו הוזהרתם..אל תחתמו על שום מיסמך.
תראו מאחורי הדף יותר מ5000 מילים הכל רק לטובת דפי זהב.
כלום לא לטובתכם...ימרחו אתכם במילים יפות יבטיחו לכם מיליוני הבטחות הם רק צריכים את החתימה שלכם. אחרי החתימה הם נעלמים מהשטח ומפרסמים מה שבא להם וטוענים כי הם שלחו לכם בדואר את הפרסום ומאחר שלא הגבתם הם פירסמו כפי שהם רוצים...יש להם סוללת עורכי דין שאין להם מושג כלל ועיקר איך הם עובדים שם....עדיף להקים אתר לבד ולקדם אותו בגוגל או לחלק מנשרים אפילו תפרסמו ברדיו יותר זול יצא לכם בסוף..הזהרו מהתמנון הזה דפי זהב ומהסוכנים הממולחים שיש להם בשטח בטח מההנהלה שלהם ....שלא תגידו לא ידענו...
כבר בערים רבות ספר של דפי זהב נהייה זניח והפך לגודל של חוברת קומיקס לעומת חוברות טלפונים מקבילים.. ז ה י רו ת.