Искусственный интеллект на поле мемов

Обучение нейросетей созданию подписей

4343
26

Удивительно, но за мемы можно даже получить зачет в аспирантуре. По крайней мере, если ваш проект создан на базе алгоритмов глубокого обучения.


Лоренс Пирсон, 23-летний студент, учится в аспирантуре в Стэнфорде на кафедре теоретической астрофизики. В этом году аспирант решил пройти еще и пару курсов в области искусственного интеллекта. В рамках курсового проекта они вместе с коллегой Мелтэмом Толунеем решили создать нейросеть, которая бы могла придумывать подписи к мемам. Сейчас работа опубликована под названием «Dank Learning».


Примеров обучения нейросетей созданию подписей существует довольно много — например, добавление подписи к изображению типа «человек на сёрфе» или «ребенок с мороженым». Но Лоренс решил научить сеть придумывать не просто точное, а смешное описание.


В начале проекта сам исследователь относился скептически к затее, но, подводя итоги, не мог не признать, что в результате глубокого обучения нейросеть выработала «довольно интересное и оригинальное чувство юмора».


Attaining Deep Meme


Эту фразу для мема на базе популярного шаблона с советами от животных сгенерировала нейросеть. Для обучения сети Лоренс прошерстил сайт memegenerator.net, в библиотеке которого около 400,000 сгенерированных пользователями мемов. Сайт предоставляет шаблоны мемов, а пользователи придумывают собственные подписи к картинкам.


Обучающий набор данных для проекта составил примерно 3,000 базовых изображений, каждое из которых имело несколько вариантов подписей. В итоге нейросети пришлось обрабатывать подписи совершенного разного качества.


«Среди 400,000 мемов далеко не все по-настоящему смешные, но они все-таки учат систему, что такое мем и какого рода шутки подходят к таким картинкам», - говорит Лоренс.


Нейросеть на базе алгоритмов глубокого обучения была сделана на CUDA с применением графических процессоров NVIDIA TITAN Xp. Лоренс и Мелтэм пробовали использовать как немаркированные данные, так и маркированные данные (например, «успешный ребенок» или «тролльфэйс»), но особой разницы в качестве результатов не увидели.


По словам Лоренса, юмор в мемах часто построен на принципе «вообще, в этом есть смысл, но не очень». Вот, например, какая подпись получилась у нейросети для шаблона с животным. 


zvIg1umnge.jpg

Нельзя просто так взять и назвать мем смешным


Чтобы оценить успех обучения нейросети, команда проекта рассчитала критерий, который определяет, способна ли нейросеть увидеть определенные паттерны в данных. Они рассчитали этот критерий для нескольких сотен мемов с предустановленным форматом, например, как у Боромир-мема, который всегда начинается с фразы «One does not simply».


rFXt8Z8cZT.jpg

Но настоящей проверкой качества мема является то, насколько он все-таки смешной.


Для качественной оценки Лоренс вместе с соавтором представляли людям мемы, придуманные людьми и нейросетью. И задавали два вопроса: кто, по их мнению, создал мем – человек или компьютер, и на сколько баллов можно оценить чувство юмора в меме.


Опрос показал, что созданные сетью мемы практически неотличимы от реальных.


Они также проанализировали, как сеть озаглавит изображения, отсутствующие в наборе для обучения. В этих случаях алгоритм ищет паттерны в неизвестном изображении в соответствии с тем, что он видел в обучающем наборе. Лоренс даже показал нейросети фото своего лица и получил интересный результат.


UgaYeffSHL.jpg

Мемы часто вызывают виральный эффект. Похоже, что и связанные с мемами проекты тоже. Вот и в App Store скоро появится приложение, которое так и называется «Dank Learning».


Лоренс видит большой потенциал этого проекта – искусственный интеллект может создавать мемы к текущим событиям и влиять на общественное мнение, а рекламщики смогут использовать мемы для увеличения узнаваемости бренда: «Вирусное распространение информации – это отличный способ выйти на рынок».


P.S. Все подписи к изображениям в этом тексте сгенерированы нейросетью.

Другие публикации по теме
Netflix и Wit Studio выпустили короткое аниме «Собака и мальчик». Все фоны нарисовал ИИ
Netflix и Wit Studio выпустили короткое аниме «Собака и мальчик». Все фоны нарисовал ИИ
Netflix любит злоупотреблять компьютерной графикой, но иногда делает исключения, например для Wit Studio в случае с «Пузырьком» и «Вампиром в саду». Теперь же стриминговый гигант взял в оборот ИИ.
31 января в 13:03
764
1
Форум
Sony запатентовала ИИ, который будет проходить видеоигры за вас
Sony запатентовала ИИ, который будет проходить видеоигры за вас
Как бы только он не вошел в раж и не начал сам скупать новые игры.
22 апреля 2021
1994
16
Форум
Unity разработала сложнейшую игру для искусственного интеллекта
Unity разработала сложнейшую игру для искусственного интеллекта
Компания Unity создала игру невероятной сложности, которая предназначена для оценки эффективности искусственного интеллекта. Проект носит название Obstacle Tower и является полностью бесплатным приложением с открытым исходным кодом.
31 января 2019
3047
23
Форум