تعداد صفحات:78
نوع فایل:word
فهرست مطالب:
چکیده
فصل اول – معرفی نامه
معرفی فصل دوم پایان نامه
روش های مختلف تقسیم بندی صفحات وب
تقسیم بندی صفحات وب بطور مختصر
تقسیم یندی صفحات وب با استفاده از الگوریتم اجتماع مورچه ها
تقسیم بندی صفحات وب بر اساس ساختار پوشه ای
معرفی فصل سوم پایان نامه
جستجوی وب با استفاده از طبقه بندی خودکار
فصل دوم – روشهای متفاوت تقسیم بندی صفحات وب
تقسیم بندی صفحات وب به طور مختصر
روش خلاصه سازی تعدیل شده Luhn
روش تحلیل معنایی نهفته (LSA)
شناسایی مضمون بدنه اصلی توسط تجزیه و تحلیل لایه‌ای
شی اطلاعاتی
شی واسط کاربر
شی عکس العمل
شی تزئینی
شی تابع خاص
خلاصه سازی نظارت شده
یک دسته بندی کلی از خلاصه سازی
آزمایشات
مجموعه داده
دسته کننده ها
دسته کننده‌ بیس ساده (NB)
ماشین بردار پشتیبان (SVM)
مقیاس ارزیابی
نتایج و تحلیل های تجربی
خط مبنا
نتایج خلاصه سازی توسط انسان
نتایج الگوریتم های خلاصه سازی نظارت نشده
نتایج الگوریتم خلاصه سازی نظارت شده
نتایج الگوریتم خلاصه سازی پیوندی
درجه بندی سرعت اختصار عملکردهای متفاوت
اثر نمونه اوزان متفاوت
مورد پژوهش
نتیجه گیری و عملکرد آینده
تقسیم بندی صفحات وب با استفاده از الگوریتم اجتماع مورچه ها
پیش پردازش متنی وابسته به زبان شناسی و استخراج وب
الگوریتم Ant- Miner
نتایج محاسباتی
تنظیم به صورت عملی
نتایج تاثیر تکنیک های پیش پردازش متنی وابسته به زبان شناسی
بحث و تحقیقات آینده
تقسیم بندی صفحات وب بر اساس ساختار پوشه‌ای
الگوریتم های تقسیم بندی صفحات وب
تقسیم بندی دستی
شیوه های دسته بندی ترتیبی
تقسیم بندی بر اساس برچسب های META
تقسیم بندی بر اساس مضمون متنی
تجزیه و تحلیل محتوا و پیوند
روش مبتنی بر ساختار
یک کاربرد خاص
صفحات اطلاعات
صفحات پژوهش
صفحات خانگی شخصی
استخراج مهم ترین خصوصیات
اطلاعات متنی
اطلاعات تصویری
عمل دسته بندی
نتایج
نتیجه گیری و عملکرد آینده
فصل سوم – جستجوی وب با استفاده از طبقه بندی خودکار
معماری
دسته کننده‌ خودکار
واسط جستجو
آزمایش معتبر سازی
برپایی آزمایش
نتایج تجربی
فهرست لغات هر دسته
تشخیص هرزنامه وب
تاثیرات تبعیضات
عملکردهای بعدی

فهرست جداول و اشکال:
سه بخش بزرگتر
سه بخش کوچکتر
نتایج تجربی روش NB
نتایج تجربی SVM
یک مثال از خلاصه خوب توسط انسان توصیف،عنوان و داده های یک صفحه
اجرای CB با آستانه ی متفاوت با NB
اجرای تحقیق با سرعت اختصار متفاوت با NB
اثر نمونه اوزان متفاوت با NB
مثال شرح رویکرد ما
پیدا کردن بهترین روابط تعمیم کلمه
شبه برنامه سطح بالای Ant – Miner
نتایج الگوریتم Ant- Miner در وب سایت BBC با استفاده از نام ها
نتایج Ant – Miner در وب سایت BBC – با استفاده از تمامی کلمات
دسته بندی به طور نادرست
مرور کلی عمل طبقه بندی
معماری جستجو
بیست دسته ی مورد آزمایش
درصد فراخوانی کلی
درصد فراخوانی بخش اختصاصی
نزدیکترین همسایه دسته های مختلف
لیست ده کلمه کلیدی برتر هر بخش

چکیده:
همان طور که میدانیم مجموع اطلاعات در دسترس روی وب بسیار زیاد میباشد و هر ساله شاهد روند رو به رشد تصاعدی در مقدار اطلاعات روی صفحات وب می باشیم. در حقیقت، وب یک انبار بزرگ اطلاعات است و با یک بررسی اجمالی در میابیم که شمارش صفحات قابل دسترس در وب در حدود یک میلیارد صفحه میباشد و چیزی در حدود یک و نیم میلیون صفحه نیز بطور روزانه اضافه میشوند. بعنوان مثال در حال حاضر سایت گوگل بیشتر از 2/4 میلیارد صفحه را جستجو می کند. این مقدار هنگفت اطلاعات به اضافه طبیعت فعل و انفعالی و پر محتوای وب آن را بسیار پر طرفدار کرده است. به علاوه سازماندهی این صفحات امکان جستجوی آسان را نمیدهد.
بنابراین با توجه به رشد سریع وب گسترده جهانی (www) به طور دائم نیازمند فراهم کردن یک روش خودکار برای کاربران تقسیم بندی و طبقه بندی صفحات وب میباشیم. در بخش نتیجه یک قاعده، نتیجه، دسته ای از پیش بینی های یک قانون است که پیش بینی کننده آن ها را ثبت کرده است. بعنوان مثال این موضوع میتواند یک قانون باشد که:
If and then
اگر شما حقوق بالایی داشته باشید و هیچ رهن و قرضی هم نداشته باشید پس اعتبار بالایی دارید. این نوع ارائه اطلاعات نتایج جامع و کلی برای کاربر دارند. زیرا هدف عمومی نگهداری اطلاعات کشف و دستیابی به اطلاعات دقیق نیست بلکه ارائه اطلاعات عمومی و جامع به کاربران است. در پروسه دسته بندی اهداف کشف قوانین از یک مجموعه اطلاعات پایه و آموزشی و بکار بردن این قوانین در یک مجموعه اطلاعات آزمایشی ( که در اطلاعات پایه دیده نشده) و ارائه یک پیش بینی قابل قبول از دسته مجموعه آزمایشی است. در این پروژه هدف کشف یک مجموعه خوب از قواعد دسته بندی برای طبقه بندی صفحات وب بر اساس موضوع آن هاست.
هدف این پروژه تقسیم بندی صفحات وب به منظور آسان سازی کار سرویس های جستجوی آینده میباشد و بنابراین توانایی استخراج کردن اطلاعات خاص از میان انبوه صفحات وب به اندازه خود صفحات وب مهم میباشد. بنابراین روش های موثر و صحیح برای طبقه بندی این حجم عظیم اطلاعات ضروری است.
این پروژه با تحقیق و بررسی فراوان در سه فصل گردآوری شده و به توصیف و کشف قوانین مختلف تقسیم بندی و قیاس آن ها با یکدیگر میپردازد و در نهایت به معرفی کاراترین روش و ارائه پیشنهادات و راهکارهای اصلاحی می پردازد. در نهایت مطالبی که در این پروژه ارائه میشود همگی بر پایه قوانین تقسیم بندی است.