اسکریمینگ فراگ یک وب سایت کرالر مانند کرالر گوگل که اجازه می دهد که به آن وب سایت برود و در آن وب جست و جو کند و المانت هایی را که می بیند برای شما ذخیره کند و به عنوان یک لیست به شما نشان دهد .
در واقع اسکریمینگ فراگ اصلی ترین کارش تحلیل تکنیکال و ان سایت سئو است دقیقا مشابه کرالر گوگل وارد صفحه home شما می شود تمام لینک هایی را که پیدا کند از ان لینک ها وارد لینک های دیگری می شود .
برای نصب و راه اندازی اسکریمینگ فراگ ابتدا فایل آن را از سایت سازنده دانلود کرده ، با گذراندن مراحل نصب
و زدن گزینه next،آن را روی سیستم خود نصب کنید.روند نصب این نرم افزار به سادگی طی می شود و پیچیدگی خاصی ندارد.
برنامه اسکریمینگ فراگ نقاط مختلفی دارد :
در مرحله اول در قسمت سرچ سایت شما سایت منتخب خود را وارد ، میکنید توجه داشته باشید که سایت مورد نظر باید بالای هزار صفحه داشته باشد .
در قسمت enter url to spider آدرس سایت را وارد کنید بعد از وارد کردن روی start کلیک کنید .موتورهای جستجو شروع به خزش در سایت می کنند .
وقتی آدرسی را به اسکریمینگ فراگ می دهیم اول https آن را چک می کند .
ما قبل از شروع سرچ یک مرحله صفر داریم این است که هر وب سایتی یک robots.txt دارد که با استفاده از آن, صفحاتی که نمی خواهند یک کرالر آن ها را کرال کند را می بندند.
پس ما قبل از این که سایت منتخب را وارد کنیم وارد قسمت configuration در قسمت menu می شویم و از آنجا روی robots.txt کلیک کرده و وارد setting می شویم .
در اینجا برای ما صفحه ای باز می شود که اسکریمینگ فراگ ما چه کاری باید انجام دهد :
1- احترام بگذارد و به داخل آن نرود.
2-نادیده بگیرد
3-نادیده بگیرد اما به ما بگوید که چرا دسترسی ما را محدود کرده است و تحت یک ستون به ما بگوید تا بدانیم از چه صفحاتی بلاک شدیم .
در قسمت سمت راست با کارایی های overview آشنا می شویم.
در نمای کلی صفحه اسکریمینگ فراگ در قسمت سمت راست صفحه شما یک تب overview دارید شما میتوانید یک نمای کلی از اطلاعات داده شده در قسمت سمت چپ که به شما نمایش داده می شود را مشاهده کنید.
summer به ما می گوید که در مجموع این کرال چه اتفاقی افتاده است.
گزینه اول : total external blocked by robots.txt
گزینه دوم: total urls crawled
گزینه سوم: total internal url
گزینه چهار: total external
در مجموع می توان در قسمت overview اطلاعات جزئی و اساسی قسمت سمت چپ را مطالعه و مشاهده کنیم .
internal
وقتی صحبت از internal دراسکریمینگ فراگ می شود یعنی تمام url هایی هست که در وب سایت ما اتفاق افتاده است.
*این url ها می تواند HTML -JAVASCRIPT -CSS-IMAGES-PDF-FLASH-باشد.
*ما در قسمت URL بیشتر با HTML و IMAGE کار داریم و آن را روی این دو گزینه تنظیم می کنیم .
*در قسمت سمت چپ بعد از تنظیمات ستون هایی به ما نمایش داده می شود :
*آدرس را به ما نمایش می دهد URL را که کرال کرده و نوع کانتکت را به ما می گوید .
STATUS COD را نمایش میدهد .
STATUS COD کد هایی است که سرور آن را به ما برمی گرداند وقتی درخواستی می دهیم مانند:301- 302 -307 - 404 - و ارور های دیگر و STATUS را نمایش می دهد .
INDEX STABILITY به ما می گوید که این URL را که جست و جو کردم ایا قابلیت ایندکس شدن دارد یا ندارد.
TITLE را نمایش می دهد : TITLE چه اندازه طول آن است طول کلمات یا حروف آن را نمایش می دهد .
META DESCRIPTION را نمایش می دهد . مانند TITLE است طول DESCRIPTION را نشان می دهد .
META KEYWORDS را داریم . گوگل این قسمت متا کیبورد را رد کرده و آن را قبول ندارد .
ولی اگر متا کیبورد را داشته باشیم تعداد کاراکتر را به ما نشان می دهد .
External
در قسمت EXTERNAL نیز فیلتر هایی وجود دارد که می توان مانند INTERNAL ، HTML -JAVASCRIPT -CSS-IMAGES-PDF-FLASH آن را مشاهده کرد و آن ها را از یکدیگر جدا کرد .
می توانیم در این قسمت ببینیم که به چه سایت هایی لینک خارجی داده ایم .
URL
url هایی هم نیز تب های مختلفی در قسمت فیلتر دارد.در قسمت url فیلترها برای ما حائز اهمیت نمی باشد زیرا:اگر ما url را فارسی کنیم ، وقتی از زبان فارسی استفاده کنیم کاراکتر ست ما یا UNcod ما روی utf 8 می باشد .ولی url ها در اکسپلورر ها بر اساس encoding های non axid خوانده می شود و تبدیل به درصد یا عدد و حروف بزرگ می شود .
Protocol
در قسمت فیلتر تب https را انتخاب می کنیم .تنها چیزی که از سایت مورد نظر می بینیم https آن سایت است ،می خواهیم آن را ریدایرکت کنیم و روی https ببریم،وقتی آن را ریدایرکت می کنیم باید چک کنیم و ببینیم که آیا همه url های ما تغییر کرده است یا خیر؟ برای اینکه متوجه شویم این اتفاق افتاده یا خیر فیلتر را در قسمت پروتکل روی https تنظیم می کنیم و در اینجا https را مشاهده می کنیم.
در اینجا مشاهده می کنیم https به ما status code 200 می دهد که حتی ریدایرکت هم نشده است ولی باز مشاهده می کنیم که چندین تای دیگر ریدایرکت شده اند.
برای مشاهده کردن بلاک شدن https در سربرگ response code در قسمت فیلتر روی گزینه block by robots.txt را کلیک می کنیم، و مشاهده میکنیم که چه تعداد https بلاک شده اند.
page titles
به گوگل می گوید که ما درباره ی چه چیزی صحبت می کنیم. در قسمت فیلتر تب missing ،اگر صفحه ما titles نداشته باشد در قسمت missing نشان داده می شود که همه صفحه ما صفر است و دارای titeles است.
کاربرد Response Time
نشان دهنده زمانی است که طول می کشد تا یک پاسخ از سرور ما دریافت شود و بسیار فاکتور مهمی می باشد .
در اسکریمینگ فراگ می توان گوگل آنالیتیکس را به اسکریمینگ فراگ وصل کرد و سرچ کنسول را هم اسکریمینگ فراگ وصل کرد و این دو با یکدیگر به دنبال اطلاعات شما بروند و در صفحه اسکریمینگ فراگ قرار دهند تا تحلیل داده ای را روی آن انجام دهید.
ما در تب های مختلف اسکریمینگ فراگ توانستیم با جزئیات آشنا شویم و نحوه کارکرد با اسکریمینگ فراگ را یاد گرفتیم،که چه اطلاعاتی در اسکریمینگ فراگ قرار دارد، کاری که می توانیم در اسکریمینگ فراگ انجام دهیم این است که دیتاها را به انواع مختلفی ارایش دهیم و از آن استفاده کنیم .
آموزش کامل اسکیریمینگ فراگ مقدماتی و پیشرفته را میتوانید در سایت Free SEO For Ever در دسته بندی آموزش ابزارهای سئو، به صورت رایگان ببینید.
ویدیو | مبارزه کامل علی اکبری با فایتر برزیلی 
ترسناکترین گیاهان آپارتمانی که خانه شما را شبیه به خانه ارواح می‌کنند 
از کجا بفهمیم کی باید سیم کلاچ خودرو را تعویض کنیم؟ / چرا کلاچ سفت میشود + راههای رفع سفتی کلاچ 
ویدیو | کنایه سنگین عادل فردوسی‌پور به جواد خیابانی 
غذای ساده، سریع و متفاوت با سیب زمینی و تخم مرغ + رازهای یک سیب زمینی و تخم مرغ معرکه 
