به نظر می رسید که سیستم به درستی پاسخ می دهد. اما پاسخ، ارتفاع در را در نظر نگرفت، که ممکن است از عبور یک تانک یا ماشین نیز جلوگیری کند.

سام آلتمن، مدیر اجرایی OpenAI، گفت که ربات جدید می تواند “کمی” استدلال کند. اما مهارت های استدلال آن در بسیاری از موقعیت ها از بین می رود. نسخه قبلی ChatGPT این سوال را کمی بهتر حل کرد زیرا تشخیص داد که ارتفاع و عرض مهم است.

این می تواند تست های استاندارد شده را انجام دهد.

OpenAI گفت که سیستم جدید می تواند در بین 10 درصد از دانش آموزان برتر در آزمون یکنواخت وکالت، که وکلا را در 41 ایالت و منطقه واجد شرایط می کند، امتیاز کسب کند. همچنین طبق تست‌های شرکت می‌تواند در آزمون‌های SAT نمره 1300 (از 1600) و در آزمون‌های Advanced Placement دبیرستان در رشته‌های زیست‌شناسی، حساب دیفرانسیل و انتگرال، اقتصاد کلان، روان‌شناسی، آمار و تاریخ را کسب کند.

نسخه‌های قبلی این فناوری در آزمون وکالت یکنواخت شکست خورده بودند و در اکثر آزمون‌های تعیین سطح پیشرفته تقریباً به همان اندازه نمره بالا نگرفتند.

در یک بعدازظهر اخیر، آقای براکمن برای نشان دادن مهارت‌های آزمایشی‌اش، به ربات جدید یک سوال امتحان وکالت چند پاراگراف درباره مردی داد که یک تجارت تعمیر کامیون دیزلی را اداره می‌کند.

پاسخ درست بود اما مملو از موارد قانونی بود. بنابراین آقای براکمن از ربات خواست تا پاسخ را به زبان انگلیسی ساده برای افراد غیرمجاز توضیح دهد. این کار را نیز انجام داد.

بحث در مورد آینده خوب نیست.

اگرچه به نظر می‌رسید ربات جدید درباره چیزهایی که قبلاً اتفاق افتاده است استدلال می‌کند، اما وقتی از او خواسته می‌شود فرضیه‌هایی درباره آینده بسازد، مهارت کمتری داشت. به نظر می رسید به جای ایجاد حدس های جدید، از آنچه دیگران گفته اند استفاده می کند.

وقتی دکتر اتزیونی از ربات جدید پرسید: “مشکلات مهمی که در تحقیقات NLP در دهه آینده باید حل شود چیست؟” – با اشاره به نوع تحقیق “پردازش زبان طبیعی” که توسعه سیستم هایی مانند ChatGPT را هدایت می کند – نمی تواند ایده های کاملاً جدیدی را فرموله کند.

و هنوز هم توهم دارد.

ربات جدید هنوز چیزها را درست می کند. این مشکل که “توهم” نامیده می شود، همه ربات های گفتگوی پیشرو را آزار می دهد. از آنجایی که سیستم‌ها درک درستی از درست و نادرستی ندارند، ممکن است متنی کاملاً نادرست تولید کنند.

هنگامی که آدرس وب سایت هایی را که آخرین تحقیقات سرطان را توصیف می کنند، پرسیده می شود، گاهی اوقات آدرس های اینترنتی ایجاد می شود که وجود نداشتند.