AI оценява уебсайтове, като имитира реални хора и дори ги превъзхожда. Как се прави?

Днес един от компонентите на uKit AI, интелигентна система за редизайн на уебсайтове, става публично достояние. Това е прототип модул за оценка на красотата на уеб страниците. Той комбинира невронна мрежа и дървета на решения, за да имитира реакцията на обикновен посетител върху дизайна на уебсайта на athe.

В бъдеще такъв модул ще оцени работата на алгоритъма за генерален дизайн, ключовият елемент на uKit AI, който ще проектира страници без човешко участие, разчитайки на наличното съдържание и „знанието“ за разликата между неефективния уебсайт и тази, насочена към увеличаване на процента на конверсия.

Текущата версия на AI WebScore отразява мнението на среден потребител в Интернет за външния вид на уебсайта. Въпреки че можем да създадем други опции, например, е възможно да оцените използваемостта на уебсайта.

Уебсайтове, използвани за обучение на системата. На първо място, ние събрахме 12 000 сайтове и онлайн магазини, създадени през различни години на различни платформи и на различни езици. Основната задача беше да се получат достатъчно примери за визуална градация, от доста лоши уебсайтове до много добри. По този начин показахме на системата какво може да се натъкне в съвременната мрежа.

Няколко уебсайтове от извадката за обучение.

Всяка степенка се измерва с скала и тази скала трябва да бъде разбрана от обикновен човек, чието мнение се опитваме да моделираме. И така, ние създадохме идея за скалата „от 1 до 10“, която се използва в нашата услуга.

Хора, имитирани от WebScore AI. Имахме нужда от две неща, за да формираме набор от данни (набор от данни за обучителен модел) от различни уебсайтове:

  • знаците, чрез които системата ще определи дали уебсайтът е привлекателен;
  • оценките (оценките), направени с помощта на нашата скала за определено количество уебсайтове. Те ще станат модел за системата.

Някой трябва да постави тези първоначални оценки. Такъв „учител“ или група „учители“, за да бъдем по-конкретни, ще повлияе значително на начина, по който моделът ще работи.

Интерфейс за оценка на уебсайтове: вземете и използвайте скоро от нашия GitHub.

За да съберем фокус група, проведохме предварителен подбор на кандидатите по 1500 примера на уебсайтове. Рутинна работа, но отговорна и изискваща голям фокус. Предварителният подбор ни помогна да премахнем неподходящите кандидати, както и да изключим уеб сайтовете на „противоречивите” (когато някой го оценява като 1, а другият като 10) от извадката.

В началото експериментирахме с методи за оценка.

Например, ние предложихме да оценим един уебсайт наведнъж, след това два уебсайта едновременно или да изберем един от два, най-атрактивния. Подходът, при който респондентът видя един единствен уебсайт и оцени, че работи най-добре. Използвахме го за оценка на 10 000 от останалите уебсайтове.

Човек оценява дали уебсайтът е красив или не. Как машината ще направи това? Ти и аз се нуждаем само от един поглед, за да формираме мнение за цялостната красота на нещо. Но знаем, че дяволът е в детайлите.

Знаците за визуална привлекателност на уебсайта, които ще ръководят модела, са ключов момент за целия проект. Помолихме ръчен дизайнерски екип на уебсайт uKit за тяхната работа, тяхната работа се използва като основа за стотици хиляди уебсайтове и милиони хора го виждат. Заедно сме съставили разширен списък от функции, на които професионалистите обръщат внимание при разработването на дизайн на уебсайт. И след това се опита да го разреже, оставяйки само най-важните.

uKit.com дизайнерски екип.

В резултат на това получихме контролен списък от 125 доста различни, но съществени критерии, групирани в петнадесет категории. Например списъкът има: адаптиране към популярни екрани, разнообразие от шрифтове, чистота на цветовете, дължина на заглавия, пропорция на изображенията на цялата страница и т.н. Остава само да обучим модела, като използвате тези правила.

Създайте алгоритъм. Какъв точно е „модел на преподаване“? Това е изграждането на алгоритъм, който се основава на даден набор от характеристики и може да оцени избрания уебсайт. Желателно е оценката на системата и оценката на средния учител да споделят минимална разлика в техните окончателни оценки.

Решихме да използваме метод за увеличаване на градиента над дърветата на решенията, защото това е един от най-популярните и ефективни подходи. Използвайки основни алгоритми, той конструира набор, общият резултат от който надвишава резултатите от всеки отделен алгоритъм.

Освен това, добавяйки всеки следващ основен алгоритъм, той се опитва да подобри качеството на отговорите на целия набор.

За да ускорим и облекчим процеса, използвахме библиотеката CatBoost от Yandex, която позволява изграждането на градиентен бустер в т. Нар. „Забравени дървета на решения“, осигуряващи добри възможности за обучение на модел от самото начало и бърз преход към предоставяне на прогнози (прогнози ) за нови обекти.

Добавяне на невронна мрежа. Когато основният алгоритъм беше готов, решихме да проведем експеримент: ще се подобрят ли резултатите, ако добавим невронна мрежа? Всъщност вече знаехме как да „разгледаме“ уебсайт и неговия дизайн, а сега решихме да дадем на системата някакъв „лупа“, която може да използва, за да разкрие още повече подробности.

Избрахме една от най-популярните мрежи, resnet50, тя е известна като добър алгоритъм за извличане на функции от високо ниво. И научихме как да получим 1000 допълнителни атрибута за оценка на уебсайтове. В резултат на това системата вече характеризира URL с общо 1125 функции и намира „мястото“ на уебсайта в 10-точкова скала. Процесът отнема до няколко десетки секунди, затова смятаме да ускорим модела, като намалим броя на знаците, като същевременно поддържаме качеството на оценка на същото ниво.

Първи резултати. Моделът, обучен по този начин, може да направи 3 пъти по-точни оценки в сравнение с тези на отделните „учители“.

Можем да кажем, че моделът надмина първите си учители, тъй като оценките на фокус групата се различават значително повече от средните от оценката на невронната мрежа. Сега поставяме алгоритъма в мрежата за допълнително обучение. И вие можете да станете негов учител.