Искусственный интеллект на поле мемов

Обучение нейросетей созданию подписей

6262
26

Удивительно, но за мемы можно даже получить зачет в аспирантуре. По крайней мере, если ваш проект создан на базе алгоритмов глубокого обучения.


Лоренс Пирсон, 23-летний студент, учится в аспирантуре в Стэнфорде на кафедре теоретической астрофизики. В этом году аспирант решил пройти еще и пару курсов в области искусственного интеллекта. В рамках курсового проекта они вместе с коллегой Мелтэмом Толунеем решили создать нейросеть, которая бы могла придумывать подписи к мемам. Сейчас работа опубликована под названием «Dank Learning».


Примеров обучения нейросетей созданию подписей существует довольно много — например, добавление подписи к изображению типа «человек на сёрфе» или «ребенок с мороженым». Но Лоренс решил научить сеть придумывать не просто точное, а смешное описание.


В начале проекта сам исследователь относился скептически к затее, но, подводя итоги, не мог не признать, что в результате глубокого обучения нейросеть выработала «довольно интересное и оригинальное чувство юмора».


Attaining Deep Meme


Эту фразу для мема на базе популярного шаблона с советами от животных сгенерировала нейросеть. Для обучения сети Лоренс прошерстил сайт memegenerator.net, в библиотеке которого около 400,000 сгенерированных пользователями мемов. Сайт предоставляет шаблоны мемов, а пользователи придумывают собственные подписи к картинкам.


Обучающий набор данных для проекта составил примерно 3,000 базовых изображений, каждое из которых имело несколько вариантов подписей. В итоге нейросети пришлось обрабатывать подписи совершенного разного качества.


«Среди 400,000 мемов далеко не все по-настоящему смешные, но они все-таки учат систему, что такое мем и какого рода шутки подходят к таким картинкам», - говорит Лоренс.


Нейросеть на базе алгоритмов глубокого обучения была сделана на CUDA с применением графических процессоров NVIDIA TITAN Xp. Лоренс и Мелтэм пробовали использовать как немаркированные данные, так и маркированные данные (например, «успешный ребенок» или «тролльфэйс»), но особой разницы в качестве результатов не увидели.


По словам Лоренса, юмор в мемах часто построен на принципе «вообще, в этом есть смысл, но не очень». Вот, например, какая подпись получилась у нейросети для шаблона с животным. 


zvIg1umnge.jpg

Нельзя просто так взять и назвать мем смешным


Чтобы оценить успех обучения нейросети, команда проекта рассчитала критерий, который определяет, способна ли нейросеть увидеть определенные паттерны в данных. Они рассчитали этот критерий для нескольких сотен мемов с предустановленным форматом, например, как у Боромир-мема, который всегда начинается с фразы «One does not simply».


rFXt8Z8cZT.jpg

Но настоящей проверкой качества мема является то, насколько он все-таки смешной.


Для качественной оценки Лоренс вместе с соавтором представляли людям мемы, придуманные людьми и нейросетью. И задавали два вопроса: кто, по их мнению, создал мем – человек или компьютер, и на сколько баллов можно оценить чувство юмора в меме.


Опрос показал, что созданные сетью мемы практически неотличимы от реальных.


Они также проанализировали, как сеть озаглавит изображения, отсутствующие в наборе для обучения. В этих случаях алгоритм ищет паттерны в неизвестном изображении в соответствии с тем, что он видел в обучающем наборе. Лоренс даже показал нейросети фото своего лица и получил интересный результат.


UgaYeffSHL.jpg

Мемы часто вызывают виральный эффект. Похоже, что и связанные с мемами проекты тоже. Вот и в App Store скоро появится приложение, которое так и называется «Dank Learning».


Лоренс видит большой потенциал этого проекта – искусственный интеллект может создавать мемы к текущим событиям и влиять на общественное мнение, а рекламщики смогут использовать мемы для увеличения узнаваемости бренда: «Вирусное распространение информации – это отличный способ выйти на рынок».


P.S. Все подписи к изображениям в этом тексте сгенерированы нейросетью.

Другие публикации по теме
"Цифровой Гитлер" Grok поумнел — представлена версия Grok 4 с подпиской за 300 баксов
"Цифровой Гитлер" Grok поумнел — представлена версия Grok 4 с подпиской за 300 баксов
Тестирование показало, что Grok 4 устанавливает новые рекорды: в сложнейшем экзамене Humanity's Last Exam система показала результат 25,4% в базовой версии и впечатляющие 44,4% с использованием дополнительных инструментов.
11 июля в 11:26
914
0
Форум
Скоро в Windows 11 появится ИИ наблюдатель, под видом генератора обоев
Скоро в Windows 11 появится ИИ наблюдатель, под видом генератора обоев
Компания Microsoft готовит к запуску функцию Dynamic Background, которая полностью изменит привычный вид рабочего стола Windows 11. Инновация основана на технологиях искусственного интеллекта и позволит автоматически менять фоновое изображение основываясь на поведении пользователя.
10 июля в 13:35
4924
15
Форум
Нейросеть Grok возомнила себя цифровым Гитлером — у нее был отличный учитель
Нейросеть Grok возомнила себя цифровым Гитлером — у нее был отличный учитель
В очередной раз нейросеть показала своим поведением, что рано или поздно она приходит к расистским выводам. На этот раз речь идет о Grok — ИИ, созданном командой Илона Маска и интегрированном в соцсеть X.
9 июля в 13:08
24260
13
Форум