لینک کوتاه مطلب : https://hsgar.com/?p=3811

جاسازی جمله مشکل دارد، دلیل آن گاهی اوقات Dall-E2 از کار می افتد | توسط nutanc | Ozonetel AI | ژوئن، 2022

من چند هفته پیش به Dall-E2 دسترسی پیدا کردم و از تصاویر فوق العاده ای که ایجاد می کند شگفت زده شده ام. اما در بازی با Dall-E2 نمی‌توانستم از این احساس خلاص شوم که چیزی کم است. بعضی اوقات تصاویر دقیقاً طوری ظاهر می شوند که گویی مدل ذهن شما را خوانده است. در مواقع دیگر، تصاویری را که می‌خواهید ایجاد نمی‌کند.

با دیدن توییت زیر تردیدها بیشتر شد.

از Dall-E2 کاغذ ما به وضوح می توانیم ببینیم که رمزگذاری متن مرحله شروع است. و سپس تصاویر با یک مرحله انتشار تولید می شوند.

مرحله انتشار یک جاسازی می کند و یک تصویر تولید می کند. به نظر می رسد مرحله انتشار به خوبی کار می کند. یک جاسازی را به عنوان نقطه شروع می گیرد و یک تصویر تولید می کند.

اگر در سناریوهایی که Dall-E2 قادر به تولید نتایج مناسب نیست، مشکل رمزگذاری متن است.

برای آزمایش این فرضیه مراحل زیر را امتحان کردم:

  1. چند عبارت مشکل ساز را انتخاب کنید (افرادی که با چوب تنیس کریکت بازی می کنند)
  2. تغییراتی از عبارات را اجرا کنید و مشابهت جمله را در مدل صورت در آغوش گرفته مقایسه کنید(https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2)
  3. اگر دو جمله با معانی متفاوت دارای نمرات شباهت بسیار نزدیک باشند به این معنی است که مدل شباهت جمله قادر به درک اصل جمله نیست.

از آزمایش‌های ساده‌ام، مشخص شد که جاسازی جملات مشکل بزرگی دارد. جملاتی مانند «افرادی که با چوب تنیس بازی می‌کنند» و «افرادی که با چوب کریکت بازی می‌کنند» امتیازات شباهت بسیار بالایی دارند حتی اگر می‌دانیم جملات متفاوتی هستند.

چند نفر دیگر نیز در جملات منفی برخی مسائل را یافتند.

به نظر می‌رسد که تعبیه‌های جمله نفی را در جملات نشان نمی‌دهند. به نظر نمی رسد که نفی ها بر نمرات شباهت جمله تأثیر بگذارند و از آنجایی که جاسازی جملات اولین گام اصلی برای همه کارهای دیگر است، آنها شکست می خورند.

چند نمونه دیگر

بنابراین، بردارها دقیقاً چه معنایی دارند؟

از ظاهر آن، به نظر می‌رسد که تعبیه‌های جمله فقط معنای سطح بالایی از جمله را نشان می‌دهد، مانند افرادی که چیزی را با چیزی بازی می‌کنند. اما اطلاعاتی مانند آنچه که آنها بازی می کنند و با چه چیزی را ضبط نمی کند.

تا زمانی که مشکل تعبیه جمله حل نشود، سیستم‌هایی مانند Dall-E2 که در بالای جاسازی‌ها ساخته شده‌اند مشکلاتی خواهند داشت.

لینک منبع

ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.