Искусственный интеллект на поле мемов

Обучение нейросетей созданию подписей

6185
26

Удивительно, но за мемы можно даже получить зачет в аспирантуре. По крайней мере, если ваш проект создан на базе алгоритмов глубокого обучения.


Лоренс Пирсон, 23-летний студент, учится в аспирантуре в Стэнфорде на кафедре теоретической астрофизики. В этом году аспирант решил пройти еще и пару курсов в области искусственного интеллекта. В рамках курсового проекта они вместе с коллегой Мелтэмом Толунеем решили создать нейросеть, которая бы могла придумывать подписи к мемам. Сейчас работа опубликована под названием «Dank Learning».


Примеров обучения нейросетей созданию подписей существует довольно много — например, добавление подписи к изображению типа «человек на сёрфе» или «ребенок с мороженым». Но Лоренс решил научить сеть придумывать не просто точное, а смешное описание.


В начале проекта сам исследователь относился скептически к затее, но, подводя итоги, не мог не признать, что в результате глубокого обучения нейросеть выработала «довольно интересное и оригинальное чувство юмора».


Attaining Deep Meme


Эту фразу для мема на базе популярного шаблона с советами от животных сгенерировала нейросеть. Для обучения сети Лоренс прошерстил сайт memegenerator.net, в библиотеке которого около 400,000 сгенерированных пользователями мемов. Сайт предоставляет шаблоны мемов, а пользователи придумывают собственные подписи к картинкам.


Обучающий набор данных для проекта составил примерно 3,000 базовых изображений, каждое из которых имело несколько вариантов подписей. В итоге нейросети пришлось обрабатывать подписи совершенного разного качества.


«Среди 400,000 мемов далеко не все по-настоящему смешные, но они все-таки учат систему, что такое мем и какого рода шутки подходят к таким картинкам», - говорит Лоренс.


Нейросеть на базе алгоритмов глубокого обучения была сделана на CUDA с применением графических процессоров NVIDIA TITAN Xp. Лоренс и Мелтэм пробовали использовать как немаркированные данные, так и маркированные данные (например, «успешный ребенок» или «тролльфэйс»), но особой разницы в качестве результатов не увидели.


По словам Лоренса, юмор в мемах часто построен на принципе «вообще, в этом есть смысл, но не очень». Вот, например, какая подпись получилась у нейросети для шаблона с животным. 


zvIg1umnge.jpg

Нельзя просто так взять и назвать мем смешным


Чтобы оценить успех обучения нейросети, команда проекта рассчитала критерий, который определяет, способна ли нейросеть увидеть определенные паттерны в данных. Они рассчитали этот критерий для нескольких сотен мемов с предустановленным форматом, например, как у Боромир-мема, который всегда начинается с фразы «One does not simply».


rFXt8Z8cZT.jpg

Но настоящей проверкой качества мема является то, насколько он все-таки смешной.


Для качественной оценки Лоренс вместе с соавтором представляли людям мемы, придуманные людьми и нейросетью. И задавали два вопроса: кто, по их мнению, создал мем – человек или компьютер, и на сколько баллов можно оценить чувство юмора в меме.


Опрос показал, что созданные сетью мемы практически неотличимы от реальных.


Они также проанализировали, как сеть озаглавит изображения, отсутствующие в наборе для обучения. В этих случаях алгоритм ищет паттерны в неизвестном изображении в соответствии с тем, что он видел в обучающем наборе. Лоренс даже показал нейросети фото своего лица и получил интересный результат.


UgaYeffSHL.jpg

Мемы часто вызывают виральный эффект. Похоже, что и связанные с мемами проекты тоже. Вот и в App Store скоро появится приложение, которое так и называется «Dank Learning».


Лоренс видит большой потенциал этого проекта – искусственный интеллект может создавать мемы к текущим событиям и влиять на общественное мнение, а рекламщики смогут использовать мемы для увеличения узнаваемости бренда: «Вирусное распространение информации – это отличный способ выйти на рынок».


P.S. Все подписи к изображениям в этом тексте сгенерированы нейросетью.

Другие публикации по теме
Microsoft показала прототипы ИИ-помощника для геймеров Copilot в деле
Microsoft показала прототипы ИИ-помощника для геймеров Copilot в деле
На очередном подкасте Xbox корпоративный вице-президент по игровому ИИ Фатима Кардар и вице-президент по следующему поколению Джейсон Рональд обсудили будущие обновления на основе искусственного интеллекта.
13 марта в 20:26
5689
12
Форум
Новая версия GPT-4.5 пока доступна лишь избранным из-за дефицита графических процессоров
Новая версия GPT-4.5 пока доступна лишь избранным из-за дефицита графических процессоров
OpenAI выпустила новую версию своей языковой модели — GPT-4.5. Но воспользоваться ей могут пока только пользователи с Pro-подпиской, которая стоит $200 в месяц. Глава компании Сэм Альтман объяснил, что массовый запуск модели пришлось отложить из-за нехватки графических процессоров (GPU).
2 марта в 14:50
5407
2
Форум
Хуанг о DeepSeek R1: "Вы суету на пустом месте развели"
Хуанг о DeepSeek R1: "Вы суету на пустом месте развели"
Искусственный интеллект DeepSeek R1, разработанный в Китае, вызвал недоумение у западных инвесторов, но глава NVIDIA Дженсен Хуанг считает их пессимизм необоснованным.
23 февраля в 12:00
15102
21
Форум