Как с помощью AI проанализировать 20 лет общения с друзьями и знакомыми
Наткнулся на интересное применение AI. Разработчик Вадим Дробинин решил проанализировать переписку со своими друзьями и знакомыми почти за 20 лет. Создать что-то вроде личной CRM-системы. А в итоге получились интересные выводы про то, как меняется общение со временем.
Дробинин вытаскивал переписку из разных источников — от ICQ и VK до запрещенного в России Facebook и Telegram. Всего набралось около 1,2 млн сообщений. Я вам советую почитать весь его текст — там интересно написано про процесс и много интересных графиков.
Нюанс: честно говоря, я не знаю, как вам применить эти знания на практике. Но я с таким интересом прочитал эту работу, что решил и с вами поделиться.
Судя по описанию, довольно много сил ушло на структурирование всех чатов. Пришлось удалять много шума — смайлов, сообщений из одного-двух слов и так далее. Но, например, простой путь по удалению слишком коротких сообщений меньше 3 слов не сработал. Во условной фразе «он умер» всего два слова, но значит она много.
Потом еще была проблема с эмоциональной оценкой сообщений. Сначала Вадим просто попросил LLM разметить все сообщения и получил на выходе 5700 разных эмоциональных значений. Пришлось придумать 18 тегов, и уже по ним размечать. И, кстати, чем ближе общение, тем больше разных эмоций в чате и нет какой-то одной доминирующей — картинка как раз про это.
Что интересного удалось узнать:
➖ Например, что свой словарный запас Вадим сформировал примерно к 20 годам. И потом в сообщениях появлялось стабильно около 6% новых слов каждый год.
➖ Средняя длина сообщений с мамой или партнером оказалась стабильна на протяжении 10 лет. А вот с некоторыми друзьями длина сообщений сильно менялась. То есть количество и частота сообщений могли снижаться, но их объем рос. То есть дружба трансформировалась — общались реже, но подробнее.
➖ Еще интересная метрика — доля одинаковых слов. Если она высокая, то вы общаетесь друг с другом на одинаковые темы. А если вдруг пошло расхождение и доля упала, то, значит, интересы стали расходиться и каждый рассказывает про свое.
➖ Еще на общение сильно влияют переезды. Например, с одним близким другом случилась сильная просадка в общении. Это случилось сразу после переезда в другой город. Но потом общение частично восстановилось. Затем был переезд в другую страну — и общение почти сошло на нет.
➖ Еще интересно про вопросы в сообщениях. С годами число вопросов должно падать — вы лучше узнаете друг друга и уже не надо столько спрашивать. Но оказывается, что если общение ослабевает, то вопросов становится больше. Просто каждая сессия общения становится своеобразным поиском информации и наведением справок — узнать новости, спросить как дела и так далее.
➖ Медианная продолжительность дружбы у Дробинина составила три года. Но 41 человек замолчал на 3+ года, а затем снова появился.
P.S. Если дочитали, но напишите друзьям, спросите у них как дела. Должна же быть польза от этого поста
@TheEdinorogBlog — тот самый канал про стартапы🦄