Names: Fateme Tamehri, Mahdi OstadMohammadi
Student Numbers: 402111129, 402111453
- Phase 1:
در این بخش در تلاش بودیم از روی قسمت‌هایی از عکس یک شهر، نقشه‌ی جاده‌های آن را تشخیص دهیم. ۳ نوع Unet پیاده سازی کردیم و learn کردیم که به ترتیب یکدیگر را تقویت می‌کردند. نهایتا به کمک تابع های loss عملکرد مدل ها را ارزیابی کردیم و بهبود دادیم.
نتایج هر کدام از مدل‌ها قابل مشاهده است که با حد خواسته شده هم خوانی دارد. در نهایت هم میتوانید نمونه‌ای از پریدیکشن این مدل‌ها ببینید و می‌توان دید که دقت نسبتا خوبی هم دارند. برای جزئیات بیشتر لطفا به ویدئو‌های آپلود شده مراجعه کنید.
- Phase 2:
در این فاز از پروژه یک environment به اسم HalfCheetah را train کردیم، با استفاده از الگوریتم SAC که یک الگوریتم off_policy و برای محیط های پیوسته استفاده میشود و خوبی این الگوریتم این است که با استفاده از بیشینه کردن آنتروپی میتواند تمامی state های مختلف را بررسی کند و در یک ماکسیمم موضعی گیر نیفتد.
در این فاز چندین شبکه عصبی برای Q و V و pi یا همان پالیسی ساخته میشود و با train کردن آنها نتیجه قابل قبولی از مسئله گرفته میشود. همچنین میتوانید در پوشه tmp تمامی نتایج این کد را ببینید.