عنوان

توسعه و بهبود عملکرد مدل یادگیری عمیق فرایادگیرنده خودتوجه برای یادگیری مستمر(SAM) با روش توجه کانال در زمینه فضایی محلی

شماره

پ۲۷۴۳۳

زبان متن نوشتاري يا گفتاري و مانند آن

per

عنوان اصلي

توسعه و بهبود عملکرد مدل یادگیری عمیق فرایادگیرنده خودتوجه برای یادگیری مستمر(SAM) با روش توجه کانال در زمینه فضایی محلی

نام نخستين پديدآور

وحید ایمان¬پرست

نام ناشر، پخش کننده و غيره

مهندسی برق و کامپیوتر

تاریخ نشرو بخش و غیره

۱۴۰۱

نام خاص و کميت اثر

۶۸ص.

مواد همراه اثر

سی دی

جزئيات پايان نامه و نوع درجه آن

کارشناسی ارشد

نظم درجات

مهندسی کامپیوتر گرایش نرمافزار

زمان اعطا مدرک

۱۴۰۱/۰۶/۱۵

متن يادداشت

چكيده: منظور از یادگیری مداوم ارائه سطحی از هوشمندی است که می‌تواند دنباله‌ای از کار را به صورت متوالی با استفاده از شبکه‌های عصبی یاد بگیرد. از مهم‌ترین چالش‌ها در زمینه یادگیری مستمر، فراموشی فاجعه بار است که در بدترین حالت، دانش قبلی به طور کامل توسط دانش جدید بازنویسی می‌شود. در اکثر موارد، عامل بدون اهمیت دادن به موثر بودن دانش آموخته شده برای کار‌های آینده، با مقداردهی تصادفی برای پارامتر‌های مدل، شروع به یادگیری می‌کند. از دلایل ایجاد تداخل در کارهای مستمر، می‌توان به استفاده از تمام دانش قبلی برای انجام کار‌های آینده، و همچنین مفید نبودن بخشی از این دانش به ویژه زمانی که داده‌ه کار‌های قبلی در دسترس نیست، اشاره کرد.هدف این پژوهش رسیدن به عملکردی مناسب در فرایند یادگیری مستمر و همچنین دستیابی به مدلی موثر، همراه با دقت بالاتر با استفاده از بهبود و ارتقاء مفاهیم پایه مدل SAM نظیر تکنیک‌ها و معماری‌های مورد استفاده در ماژول فراتوجه می‌باشد.برای دستیابی به این هدف، از زیر ماژول توجه به عنوان افزایش دقت در عملکرد مدل استفاده شده است. به طور کلی، روش توجه ساده در مرحله اول، بجای ماژول اصلی استفاده می‌شود. سپس میزان زمینه فضایی مورد نیاز برای توجه موثر کانال، مورد بررسی قرار می‌گیرد. برای این منظور، بر فرایند بلوک فشردگی و برانگیختگی که یک مکانیسم توجه کانال ساده و سبک است، تمرکز شده و از راهکاری با عنوان کاشی فشردگی و برانگیختگی استفاده می‌شود که از چندین توصیفگر در هر کانال استفاده می‌کند. به طوری‌که هر توصیفگر فقط بر اساس زمینه محلی، فرایند مورد نظر را انجام می‌دهد. به‌طور کلی یافته‌های این پژوهش حاکی از آن است که با جایگزینی کاشی فشردگی و برانگیختگی با بلوک فشردگی و برانگیختگی، دقت‌ مدل پایه افزایش یافته که نشان‌دهنده موثر بودن ماژول توجه در مدل یادگیری مستمر می‌باشد.امید است این نتایج باعث بینش جدیدی در مورد حل چالش فراموشی فاجعه بار در فرایند یادگیری مستمر شده و عملکرد مناسبی را در تعامل با نیاز‌های دنیای واقعی ارائه دهد.

متن يادداشت

Abstract: Continuous learning means providing a level of intelligence that can learn a sequence of tasks sequentially using neural networks. One of the most important challenges in the field of continuous learning is catastrophic forgetting, in the worst case, previous knowledge is completely overwritten by new knowledge. In most cases, the agent starts learning by assigning random values to the model parameters without caring about the effectiveness of the learned knowledge for future tasks. Among the reasons for creating interference in continuous tasks, we can mention the use of all previous knowledge to perform future tasks, as well as the fact that part of this knowledge is not useful, especially when the data of previous tasks are not available. This research aims to achieve a suitable performance in the continuous learning process and also to achieve an effective model with higher accuracy by improving and upgrading the basic concepts of the SAM model such as the techniques and architectures used in the hyperattention module. To achieve this goal, the attention sub-module has been used to increase the accuracy of the model performance. In general, the simple attention method is used in the first step instead of the main module. Then, the amount of spatial context required for the effective attention of the channel is examined. For this purpose, the compression and excitation block process, which is a simple and lightweight channel attention mechanism, is focused on, and a solution called compression and excitation tiles is used, which uses several descriptors in each channel. So that each descriptor performs the desired process only based on the local context.In general, the findings of this research indicate that by replacing the compression and excitation tile with the compression and excitation block, the accuracy of the basic model has increased, which indicates the effectiveness of the attention module in the continuous learning model.It is hoped that these results will provide new insight into solving the problem of catastrophic forgetting in the continuous learning process and provide suitable performance in interaction with the needs of the real world.

عنوان گونه گون

Develop and Improve the Performance of the Self-Attention Meta Learner for Continual Learning (SAM) with Channel Attention using Local Spatial Contex

عنصر شناسه اي

‏ایمان‏ پرست،

ساير عناصر نام

وحید

کد نقش

تهيه کننده

عنصر شناسه اي

محمد خانلی‏ ،

عنصر شناسه اي

صالح پور،

ساير عناصر نام

لیلی ‏

ساير عناصر نام

پدرام ‏

تاريخ

استاد راهنما

تاريخ

استاد مشاور

عنصر شناسه اي

‏تبریز