امروزه می توان از وب جهان گستر، به عنوان بهترین، محیط برای تولید، انتشار و دسترسی به دانش نام برد که به دلیل حجم زیاد اطلاعات، ناهمگنی، رشد نمایی و عدم ساختار مناسب، به طور مرتب نیاز به ابزارها، روش ها و راهبردهای جدید خودنمایی می کند. در این میان موتورهای جستجو را می توان بهترین ابزار برای دسترسی به این محیط معرفی کرد. با توجه به این که حدود ۸۰ درصد از کاربران از طریق موتورهای جستجو به سایت ها و اطلاعات مورد نظرشان دسترسی پیدا می کنند. بررسی پتانسیل موتورهای جستجو از اهمیت بالایی برخوردار است. با گذشت زمان نیز تعداد کاربرانی که از موتورهای جستجو استفاده می کنند به سرعت در حال افزایش است. مطابق آمار، موتورهای جستجوی پرکاربرد دنیا میلیاردها صفحه را تحت پوشش قرار داده و چندین میلیارد پرس و جو در روز دریافت می کنند. طبیعی است که برای پاسخگویی این حجم عظیم از پرس و جوها با چالش های جدیدی مواجه خواهیم بود. حجم داده های ذخیره شده به سرعت در حال رشد است و همواره نیاز به افزایش حجم ذخیره سازها، در عین حفظ کارایی وجود دارد؛ در سمت دیگر اندازه، سرعت قرار دارد به نحوی که هر چه حجم مجموعه داده برای پردازش بیشتر باشد، زمان بیشتری برای پردازش صرف می شود و از طرفی موتورهای جستجو نیاز به ارائه نتایج این پردازش ها به صورت بی درنگ دارند. استفاده ناهنجار برخی کاربران از دیگر چالش های موتور جستجو می باشد. مزایایی که با دست کاری در نتایج حاصل از جستجو به دست می آید، باعث شده است که سوء استفاده های گسترده ای در موتورهای جستجو مشاهده شود که استفاده از ربات ها یکی از مهمترین این موارد می باشد.