Изследователите наскоро представиха нов закон за „мащабиране“, който според тях може значително да подобри ИИ. Въпреки гръмките твърдения обаче експертите са скептични относно реалната ефективност на този подход.
Как законите за мащабиране на AI могат да променят индустрията?
Законите за мащабиране на AI са неформална концепция, която описва как производителността на моделите на AI се подобрява с увеличаване на размерите на набора от данни за обучение и изчислителната мощност.
До миналата година доминиращият подход беше мащабиране на предварително обучение – създаване на по-големи модели, обучени върху все по-големи количества данни. Този принцип е приложен от повечето водещи AI лаборатории.
Докато предварителното обучение все още е уместно, се появиха два допълнителни закона за мащабиране:
Мащабиране след обучение – настройка на поведението на модела след основната фаза на обучение
Мащабирането по време на изпълнение е използването на допълнителни изчисления, докато моделът работи, за да се подобрят неговите „логически“ възможности.
Наскоро изследователи от Google и Калифорнийския университет в Бъркли предложиха това, което някои коментатори нарекоха четвъртия закон : търсене по време на извод.
Какво е търсене по време на изпълнение и как работи?
Този метод позволява на модела да генерира много възможни отговори на заявка наведнъж и след това да избере най-добрия сред тях .
Изследователите казват, че този подход може да подобри работата на дори по-стари модели. Например Gemini 1.5 Pro на Google е превъзхождал модела o1-preview на OpenAI в тестове по математика и природни науки.
„Като просто избираме 200 произволни отговора и ги проверяваме сами, Gemini 1.5 – древен AI модел от началото на 2024 г. – побеждава o1-preview и се доближава до o1“, написа в Twitter постдокторантът на Google Ерик Джао, един от авторите на изследването.
Той също така отбеляза, че „самопроверката“ става по-лесна с увеличаване на мащаба . Интуитивно изглежда, че колкото повече решения разглежда моделът, толкова по-трудно е да се избере правилното, но на практика е точно обратното.
Съмнения от експерти
Въпреки подобни твърдения, редица изследователи смятат, че методът за търсене по време на работа не е универсален и в повечето случаи е безполезен.
Според Матю Гуздал, изследовател на изкуствен интелект и доцент в университета на Алберта, методът е ефективен само когато може ясно да се определи кой отговор е най-добрият.
„Ако не можем да програмираме ясни критерии за правилния отговор, тогава търсенето по време на изпълнение е безполезно. За нормално взаимодействие с езиков модел не работи. Това не е най-добрият подход за решаване на повечето проблеми“, отбеляза той.
Майк Кук, научен сътрудник в King’s College London, е съгласен. Той подчерта, че този метод не подобрява процеса на извод в модела, а само помага да се заобиколят неговите ограничения.
„Търсенето по време на работа не прави модела „по-умен“. Това е просто начин да се заобиколят ограниченията на технологиите, които могат да правят грешки, но го правете с пълна увереност. Логично е, че ако моделът греши в 5% от времето, след това като проверим 200 опита за решаване на проблема, ще забележим грешките по-бързо“, каза Кук.
AI индустрията търси нови методи за мащабиране
Ограниченията на метода за търсене по време на изпълнение едва ли ще задоволят индустрията на AI, която се стреми да подобри възможностите за извеждане на моделите с минимални изчислителни усилия.
Както отбелязват изследователите, съвременните модели, фокусирани върху „логическото мислене“, могат да изразходват хиляди долари в изчислителни ресурси за решаване на един единствен математически проблем.
Засега търсенето на нови методи за мащабиране продължава.
