Разработка своего ChatGPT

[Majestio]

Всем привет!

Уже достаточно продолжительное время пользуюсь различными версиями ChatGPT. Но сейчас возник интерес "а как это сделано?". Хочется попробовать замутить что-то свое. Собственно, эту тему этому и посвящаю

Немножко вопросов:

1) Что-такого произошло, что в последнее время нейросети "получили второе дыхание", ведь тема совершенно не новая?
2) Каковы этапы разработки своей ChatGPT (без задействования каких-либо фрэймворков)?

Ну и такой, отвлеченный вопрос - вам сабж интересен, или просто интересно использование уже готового?

[Pavia]

Сначала 1 фирмы сделала ЧатГПТ. И дала доступ к сайту. Затем 100 программистов сделали 100 своих сайтов на нац языках. Затем 10000 программистов написало 10000 ботов которые обращаются к этим 100 сайтам. Которые коннектятся к тому 1 арининальному. Но если оригинал довал 100 запросов в день. То последние всего 3.

==================
А так в эту область вливали большие бабки с 2000-ных годов.И много всего тут произошло.
Разработали трансформеры.
Научились тренировать большие модели в 64 тыс коэффициентов.

Тренируются они по отдельности. А потом объединяются.

А ещё за 1 гигантом стоит 100 мелких фирм. Которые делают куски для ЧатГПТ.

[Majestio]

Цитата Pavia @ 18.04.24, 05:55

Сначала 1 фирмы сделала ЧатГПТ. И дала доступ к сайту. Затем 100 программистов сделали 100 своих сайтов на нац языках. Затем 10000 программистов написало 10000 ботов которые обращаются к этим 100 сайтам. Которые коннектятся к тому 1 арининальному. Но если оригинал довал 100 запросов в день. То последние всего 3.

Т.е. без использования выше перечисленных сделать что-то своё автономное (пусть и на пару порядков "тупее") - нереально?

Цитата Pavia @ 18.04.24, 05:55

Разработали трансформеры.

А что за "трансформеры" в контексте сабжа?

Цитата Pavia @ 18.04.24, 05:55

Тренируются они по отдельности.

Каков процесс тренировки и откуда берутся данные для тренировки?

[Pavia]

Цитата Majestio @ 18.04.24, 06:09

Т.е. без использования выше перечисленных сделать что-то своё автономное (пусть и на пару порядков "тупее") - нереально?

Это лучше у специалистов уточнить. Я просто 3 года не слежу за темой.
В прочем люди делают берут Bert
Либы как Андрей Карпаты с нуля в 500 строк кода.
https://www.youtube.com/@AndrejKarpathy/videos


ЧатГПТ спонсирует Майкрософт и Гугл.
Данные для обучения стековерфлоат, Википедия. А так же гитхаб и розеткоде.

Есть уже выкаченные базы.

Самое ценное это запросы. По ним открытых баз нету. Но есть https://www.kaggle.com/datasets

Там периодически проскакивают.


Трансформеры это такие сети которые преобразуют один набор байт в другой. По сути состоят из двух сетей сжимающей и генерирующей.

В прочем современные из 3-4 разных слоев.

Раньше CTC Loss + RNN + GAN. Либо LSTM вместо RNN. Теперь LLM в моде.

[Majestio]

Оффтопик конечно, но нейросеть меня своим ответом рассмешила

Цитата

Если у вас есть аллергия на Python, то по медицинским соображениям вы можете использовать другие языки программирования, такие как C++, Ruby, Perl и Dart, для вашего проекта по созданию нейросети для исправления ошибок орфографии и пунктуации в русскоязычных текстах.

Добавлено 18.04.24, 14:53
Ой не могу, нейросеть меня заставляет плакать, и морда лица уже от смеха болит:

Цитата

Крапивница и отёк Квинке могут быть аллергическими реакциями на язык программирования Python. Однако, каждый организм индивидуален, и реакция на разные языки программирования может отличаться у разных людей. Если у вас возникают аллергические реакции при работе с Python, но нет таких проблем при использовании Perl 5 или С++, вам стоит обратиться к врачу-аллергологу для получения конкретных рекомендаций и диагностики вашего состояния.

Возможно, вам потребуется провести аллергические тесты, чтобы выяснить, на что именно вы реагируете. Врач сможет определить, есть ли у вас аллергия на какие-либо компоненты Python или его окружение разработки. Он также сможет предложить вам специфическую терапию или рекомендации по выбору другого языка программирования, который не вызывает у вас аллергических реакций.

Выделенное красным - меня особенно впечатлило!

[macomics]

Врач скажет, что у вас аллергия на все кроме двоичного кода. Завязывайте с программированием и начинайте точить карандаши.

[Majestio]

Не-не ... я еще не прошол пробы на Петон, но уже начинает тошнить - явно штото не то. Душный и аллергенный ЯП. К гадалке не ходи !!!

[H g]

Рассуждения на тему искусственного интеллекта

Скрытый текст

К каждому предложению написанному ниже можно придраться, привести опровергающие доводы, показав частные случаи, что это не так, но тем не менее прошу сначала увидеть мою главную линию.

Что отличает живой организм от механического. Живой организм старается сохранить жизнь. Смерть (а если точнее поиск отсутствия этой ситуации) это тот двигатель, который определяет развитие индивидуального организма, да и общества в целом. Пока машина не боится что ей отключат питание, машине все равно какие задачи на ней считают, какие картинки она выводит. Быстродействие, объемы памяти - что не умножай на ноль нулем и останется. Поясню : Если добавлять планки памяти и ядра процессору, ведь логика обработки сигналов не изменится. Для того чтобы создать ИИ нужно проектировать другой процессор. Какой ? Ответ находится в той же глубине организации, где и ответ на вопрос когда химические реакции органических молекул начинают становиться осознанными. Кто нибудь знает ответ ? Если я сейчас напишу что в мире нет ни одного человека который ответит на эти вопросы, то скорее всего я не ошибусь.

Что же делать : изучать биологию, цитологию, химию, биохимию... Сейчас смотрю видео курс Окштейн "Химический состав клетки". Очень интересно, рекомендую. Там была сказана одна вещь в клетке находятся митахондрии, которые собственно и осуществляют процесс дыхания, а клетки нашего организма живут с ними в симбиозе. Как скоро человечество вернее кто нибудь из людей сможет совершить открытие и точно сказать "вот теперь я точно могу утвержтать что именно вот эта аминокистолота и есть человеческое я". Думаю не скоро.

Можно ли создать ЧатГПТ. По мне так это продвинутая программа серии "Бредо-генератор" Программист закладывает алгоритм и программа его выполняет. Обучение это часть алгоритма, просто вместо переменных которые, в программе, переменные будут звяты из вне в процессе "обучения". Стоит ли этим заниматься - смотря какие цели, если с друзьями повеселиться, то определенно - да. Можно достигнуть неплохих результатов. Если попытаться составить конкуренцию ЧатуГПТ - то наверное нет, потому что такие вычислительные мощности доступны компаниям с большими финансовыми возможностями. Вся суть ЧатаГПТ именно в высокой мощности вычислений.

Если искусственным ителлектом называть любой агоритм (например в играх), то так можно в этом понятии дойти что вообще любой алгоритм это ИИ. Тогда и хеловорд - искуственный интеллект для домахозяйки. Ведь это же очень удивительно, что компьютер что-то вывел на экран. А может он живой ?

Цитата

Немножко вопросов:
1) Что-такого произошло, что в последнее время нейросети "получили второе дыхание", ведь тема совершенно не новая?
2) Каковы этапы разработки своей ChatGPT (без задействования каких-либо фрэймворков)?

1. Вычислительные мощности стали дешевле и доступнее.
2. В каком смысле "своей" ? Российской или своей личной ?

Сообщение отредактировано: H g - 18.07.24, 20:35

[Majestio]

Цитата H g @ 18.07.24, 08:04

В каком смысле "своей" ? Российской или своей личной ?

Хочется "личный", "персональный" ассистент. Обучаемый в ту степь, куда будет желание владельца.