Когда появились нейросети: история от 1943 года до наших дней

Математическая модель нейрона появилась в 1943 году: её описали Уоррен Мак-Каллок и Уолтер Питтс. Первая нейросеть, которую можно было обучать, - персептрон Фрэнка Розенблатта, 1957-1958 годы. Всё остальное, включая чаты и генераторы картинок, выросло из этих двух работ за следующие 65 лет.

Дальше разберём даты по порядку: что именно изобрели, почему это работало плохо, что сломалось дважды и какие три условия сложились к 2020-м. В конце - таймлайн из 15 пунктов и практическая часть: как получить от модели корректный исторический конспект и как его проверять, потому что именно на датах и фамилиях языковые модели ошибаются чаще всего.

Короткий ответ: какие даты считать точкой отсчёта

Вопрос «в каком году появились нейросети» распадается на четыре разных вопроса, и ответы у них разные.

• 1943 - модель нейрона как математический объект. Ещё не обучается, но формализм есть.
• 1957-1958 - первая обучаемая сеть, персептрон. Появилось понятие настройки весов по примерам.
• 1986 - метод обратного распространения ошибки входит в широкую практику, многослойные сети становятся обучаемыми на деле.
• 2012 - AlexNet выигрывает соревнование по распознаванию изображений с большим отрывом, и глубокое обучение перестаёт быть узкой темой.

Если нужна одна дата для ответа на экзамене - 1943. Если интересует, когда нейросети начали решать задачи, за которые их ценят сейчас, - 2012, а массовый доступ через генерацию текста нейросетью и картинок это уже 2022-2023 годы.

1943-1949: модель нейрона Мак-Каллока и Питтса и правило Хебба

Мак-Каллок был нейрофизиологом, Питтс - математиком. В статье 1943 года они описали нейрон как элемент с несколькими входами, весами и порогом: если взвешенная сумма входов превышает порог, элемент срабатывает. Из таких элементов можно собрать логические функции, а значит и вычислитель.

У модели был принципиальный пробел: веса задавались вручную. Сеть ничему не училась, её конструировали.

В 1949 году Дональд Хебб в книге «Организация поведения» сформулировал правило, которое обычно пересказывают как «нейроны, срабатывающие вместе, связываются сильнее». Это первая идея обучения через изменение силы связей. Дальше вся история нейросетей - это ответ на вопрос, как правильно менять веса.

1957-1969: персептрон Розенблатта и первые разочарования

Фрэнк Розенблатт из Корнелла построил персептрон: сначала алгоритм и его описание, затем железную машину Mark I Perceptron с фотоэлементами. Она училась различать простые образы, подстраивая веса после каждой ошибки, и это работало без ручной настройки.

В 1969 году Марвин Минский и Сеймур Пейперт выпустили книгу «Перцептроны», где строго показали ограничения однослойной схемы. Классический пример - функция «исключающее или»: одним слоем её не разделить. Многослойная сеть проблему снимала, но обучать её тогда не умели. Финансирование направления сократилось, началась первая зима ИИ.

1965-1980: глубокие сети Ивахненко, обратное распространение, неокогнитрон

Пока внимание к персептронам падало, работа шла в других местах. В 1965 году Алексей Ивахненко и Валентин Лапа в Киеве предложили метод группового учёта аргументов: многослойные модели строились слой за слоем, лишние элементы отбрасывались. Это один из первых практических подходов к глубоким сетям.

Математика обратного распространения сложилась примерно тогда же. Сеппо Линнаинмаа в 1970 году описал обратный режим автоматического дифференцирования, Пол Вербос в 1974 году предложил применить его к обучению сетей. Работы не получили быстрого отклика.

В 1980 году Кунихико Фукусима представил неокогнитрон - сеть со слоями, которые реагируют на локальные фрагменты изображения. Идея локальных фильтров и последующего объединения признаков позже стала основой свёрточных сетей. В 1982 году Джон Хопфилд показал сети с обратными связями и энергетической трактовкой, что вернуло теме академический интерес.

1986-1997: бэкпропагейшн входит в практику, свёрточные сети и LSTM

В 1986 году Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс опубликовали в Nature работу про обучение представлений методом обратного распространения ошибки. Метод заработал на практике и стал стандартом: ошибку считают на выходе и распространяют назад по слоям, корректируя веса.

В 1989 году Ян ЛеКун применил свёрточную сеть к распознаванию рукописных цифр, а к 1998 году появилась LeNet-5, которая реально читала индексы на конвертах и суммы на чеках. Это первый массовый промышленный успех нейросетей.

В 1997 году Зепп Хохрайтер и Юрген Шмидхубер предложили LSTM - рекуррентную архитектуру с управляемой памятью, которая решала проблему исчезающего градиента на длинных последовательностях. LSTM держала распознавание речи и машинный перевод до конца 2010-х.

2006-2012: глубокое обучение, GPU и AlexNet

В 2006 году Хинтон с коллегами показал, как послойно предобучать глубокие сети, и ввёл в оборот термин «глубокое обучение». Это дало направлению новое имя и новый кредит доверия.

Второе условие - данные. В 2009 году команда Фей-Фей Ли опубликовала ImageNet: миллионы размеченных изображений. Стало на чём учить и с чем сравнивать.

Третье условие - железо. Графические процессоры считают матричные операции параллельно, а обучение сети как раз сводится к матричным умножениям. В 2012 году Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон обучили AlexNet на GPU и выиграли конкурс ImageNet с отрывом от классических методов. После этого глубокое обучение стало основным подходом в компьютерном зрении.

2014-2017: генеративные модели и архитектура Transformer

В 2014 году Иан Гудфеллоу с соавторами описали генеративно-состязательные сети: генератор делает изображение, дискриминатор отличает его от настоящего, оба учатся друг против друга. Именно GAN дали первые узнаваемые сгенерированные лица.

В том же году появились seq2seq-модели для перевода, а в 2014-2015 годах Дмитрий Бахданау с соавторами предложили механизм внимания: модель на каждом шаге сама решает, на какие части входа смотреть.

В 2017 году команда Google опубликовала статью «Attention Is All You Need» с архитектурой Transformer. Рекуррентность убрали, оставили только внимание, и обучение стало хорошо распараллеливаться. Это ключевой перелом: все крупные языковые модели последних лет построены на этой идее.

Параллельно в 2015 году появилась работа про диффузионные вероятностные модели, а в 2020 году - DDPM, которая сделала подход рабочим. Диффузия учится убирать шум с изображения шаг за шагом и потом из чистого шума строит картинку.

2018-2022: языковые модели, диффузия и выход к массовому пользователю

2018 год - BERT от Google и первая GPT от OpenAI. Обе построены на трансформере, обе предобучаются на больших текстовых корпусах и потом дообучаются на задачу. С этого момента размер модели и корпуса начинает расти на порядки.

В 2020 году вышла GPT-3, в 2021 - CLIP, связавший текст и изображение в одном пространстве представлений. В 2022 году один за другим появились DALL-E 2, Midjourney и Stable Diffusion, а в конце года - ChatGPT. Технологии были готовы раньше, но массовыми их сделал интерфейс: диалог и поле для запроса вместо кода.

К 2023-2025 годам к тексту и изображениям добавились видео, музыка и озвучка, а сами модели стали мультимодальными: принимают на вход картинки, файлы, иногда аудио и видео. Сегодня, например, нейросети для создания изображений в одном запросе умеют не только рисовать с нуля, но и редактировать загруженный кадр по референсу.

Таймлайн: 15 дат, по которым видно всю историю

1. 1943 - модель нейрона Мак-Каллока и Питтса.
2. 1949 - правило Хебба: обучение через силу связей.
3. 1956 - Дартмутская конференция, термин «искусственный интеллект».
4. 1957-1958 - персептрон Розенблатта, первая обучаемая сеть.
5. 1965 - метод группового учёта аргументов Ивахненко и Лапы.
6. 1969 - «Перцептроны» Минского и Пейперта, начало первой зимы ИИ.
7. 1970-1974 - математика обратного распространения: Линнаинмаа, Вербос.
8. 1980 - неокогнитрон Фукусимы.
9. 1986 - backpropagation в Nature, метод входит в практику.
10. 1989-1998 - свёрточные сети ЛеКуна, LeNet-5 в промышленной эксплуатации.
11. 1997 - LSTM Хохрайтера и Шмидхубера.
12. 2009 - датасет ImageNet.
13. 2012 - AlexNet на GPU, перелом в компьютерном зрении.
14. 2014-2017 - GAN, механизм внимания, архитектура Transformer.
15. 2018-2022 - BERT и GPT, диффузионные генераторы картинок, чат-интерфейс.

Что из истории пригодится на практике сегодня

Практический вывод один: даты и фамилии языковые модели путают. Годы сдвигаются на один-два, авторство статьи 1986 года приписывается одному человеку, Линнаинмаа и Вербос исчезают вовсе. Поэтому исторический конспект надо запрашивать так, чтобы его можно было проверить.

Каркас запроса

Скопируйте и подставьте свою тему:

Роль: историк вычислительной техники, пишешь справку для студента.
Задача: таймлайн истории нейросетей с 1943 года по 2022 год.
Формат: список, в каждом пункте - год, событие, фамилии авторов,
одно предложение о том, почему это важно.
Ограничения: только события, у которых есть публикация или
работающая система. Никаких вводных фраз и выводов.
Если по году есть разные версии датировки, укажи обе.
Если факта не знаешь, пиши «нет данных», не подставляй похожий.
Скопировать

Последние две строки важнее остальных. Без них модель заполняет пробелы правдоподобными, но выдуманными датами.

Как проверять результат

Порядок, который работает: два-три захода вместо одного.

1. Первый прогон на экономичной модели для генерации текста, чтобы получить черновик структуры.
2. Проверка спорных пунктов моделью с веб-поиском и цитированием источников.
3. Ручная сверка трёх маркерных дат: 1943, 1986, 2017. Если модель ошиблась хотя бы в одной, весь список пересобирайте, а не правьте точечно.

Сколько стоит ошибка

Текстовый прогон в агрегаторах стоит единицы кредитов: на момент публикации самые экономичные текстовые модели в Молекуле идут от 1 кредита за запуск, режим глубокого веб-ресёрча - 8 кредитов, актуальное значение видно рядом с моделью. То есть три захода с проверкой обходятся дешевле, чем одна генерация видео, и переделывать текстовый черновик не страшно.

Попробовать

Готовый запрос уже подставлен, остаётся отправить: составить таймлайн истории нейросетей. Сравните ответ с таймлайном выше: расхождения в датах покажут, насколько модели стоит верить в фактических вопросах.

Материалы по теме

• Молекула
• Генерация текста: модели и запуск
• Генерация изображений по описанию