На главную Наши проекты:
Журнал   ·   Discuz!ML   ·   Wiki   ·   DRKB   ·   Помощь проекту
ПРАВИЛА FAQ Помощь Участники Календарь Избранное RSS
msm.ru
! Правила раздела
1. Название темы должно отражать ее содержимое (не создавайте темы с заголовком ПОМОГИТЕ, HELP и т.д.). Злоупотребление заглавными буквами в заголовках тем ЗАПРЕЩЕНО.
2. При создании темы постарайтесь, как можно более точно описать проблему, а не ограничиваться общими понятиями и определениями.
3. Приводимые фрагменты исходного кода старайтесь выделять тегами code.../code
4. Помните, чем подробнее Вы опишите свою проблему, тем быстрее получите вразумительный совет

Модераторы: esperanto, Majestio
  
> Разработка своего ChatGPT
    Всем привет!

    Уже достаточно продолжительное время пользуюсь различными версиями ChatGPT. Но сейчас возник интерес "а как это сделано?". Хочется попробовать замутить что-то свое. Собственно, эту тему этому и посвящаю :)

    Немножко вопросов:

    1) Что-такого произошло, что в последнее время нейросети "получили второе дыхание", ведь тема совершенно не новая?
    2) Каковы этапы разработки своей ChatGPT (без задействования каких-либо фрэймворков)?

    Ну и такой, отвлеченный вопрос - вам сабж интересен, или просто интересно использование уже готового?
      Сначала 1 фирмы сделала ЧатГПТ. И дала доступ к сайту. Затем 100 программистов сделали 100 своих сайтов на нац языках. Затем 10000 программистов написало 10000 ботов которые обращаются к этим 100 сайтам. Которые коннектятся к тому 1 арининальному. Но если оригинал довал 100 запросов в день. То последние всего 3.

      ==================
      А так в эту область вливали большие бабки с 2000-ных годов.И много всего тут произошло.
      Разработали трансформеры.
      Научились тренировать большие модели в 64 тыс коэффициентов.

      Тренируются они по отдельности. А потом объединяются.

      А ещё за 1 гигантом стоит 100 мелких фирм. Которые делают куски для ЧатГПТ.
        Цитата Pavia @
        Сначала 1 фирмы сделала ЧатГПТ. И дала доступ к сайту. Затем 100 программистов сделали 100 своих сайтов на нац языках. Затем 10000 программистов написало 10000 ботов которые обращаются к этим 100 сайтам. Которые коннектятся к тому 1 арининальному. Но если оригинал довал 100 запросов в день. То последние всего 3.

        Т.е. без использования выше перечисленных сделать что-то своё автономное (пусть и на пару порядков "тупее") - нереально?

        Цитата Pavia @
        Разработали трансформеры.

        А что за "трансформеры" в контексте сабжа?

        Цитата Pavia @
        Тренируются они по отдельности.

        Каков процесс тренировки и откуда берутся данные для тренировки?
          Цитата Majestio @
          Т.е. без использования выше перечисленных сделать что-то своё автономное (пусть и на пару порядков "тупее") - нереально?

          :-? Это лучше у специалистов уточнить. Я просто 3 года не слежу за темой.
          В прочем люди делают берут Bert
          Либы как Андрей Карпаты с нуля в 500 строк кода.
          https://www.youtube.com/@AndrejKarpathy/videos


          ЧатГПТ спонсирует Майкрософт и Гугл.
          Данные для обучения стековерфлоат, Википедия. А так же гитхаб и розеткоде.

          Есть уже выкаченные базы.

          Самое ценное это запросы. По ним открытых баз нету. Но есть https://www.kaggle.com/datasets

          Там периодически проскакивают.


          Трансформеры это такие сети которые преобразуют один набор байт в другой. По сути состоят из двух сетей сжимающей и генерирующей.

          В прочем современные из 3-4 разных слоев.

          Раньше CTC Loss + RNN + GAN. Либо LSTM вместо RNN. Теперь LLM в моде.
            Оффтопик конечно, но нейросеть меня своим ответом рассмешила :lol:

            Цитата
            Если у вас есть аллергия на Python, то по медицинским соображениям вы можете использовать другие языки программирования, такие как C++, Ruby, Perl и Dart, для вашего проекта по созданию нейросети для исправления ошибок орфографии и пунктуации в русскоязычных текстах.


            Добавлено
            Ой не могу, нейросеть меня заставляет плакать, и морда лица уже от смеха болит:

            Цитата
            Крапивница и отёк Квинке могут быть аллергическими реакциями на язык программирования Python. Однако, каждый организм индивидуален, и реакция на разные языки программирования может отличаться у разных людей. Если у вас возникают аллергические реакции при работе с Python, но нет таких проблем при использовании Perl 5 или С++, вам стоит обратиться к врачу-аллергологу для получения конкретных рекомендаций и диагностики вашего состояния.

            Возможно, вам потребуется провести аллергические тесты, чтобы выяснить, на что именно вы реагируете. Врач сможет определить, есть ли у вас аллергия на какие-либо компоненты Python или его окружение разработки. Он также сможет предложить вам специфическую терапию или рекомендации по выбору другого языка программирования, который не вызывает у вас аллергических реакций.

            Выделенное красным - меня особенно впечатлило! :lool:
              Врач скажет, что у вас аллергия на все кроме двоичного кода. Завязывайте с программированием и начинайте точить карандаши. :D
                Не-не ... я еще не прошол пробы на Петон, но уже начинает тошнить - явно штото не то. Душный и аллергенный ЯП. К гадалке не ходи !!!
                0 пользователей читают эту тему (0 гостей и 0 скрытых пользователей)
                0 пользователей:


                Рейтинг@Mail.ru
                [ Script execution time: 0,0238 ]   [ 15 queries used ]   [ Generated: 25.05.24, 04:55 GMT ]