Форум на Исходниках.RU

Форум на Исходниках.RU https://forum.sources.ru Форум на Исходниках.RU Форум на Исходниках.RU https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3477088 Sun, 11 May 2014 15:39:38 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3477088 Цитата amk @ 10.05.14, 01:21

Я контекстно зависимыми грамматиками никогда не интересовался

Понял.
Но тут форум большой. Его читают сотни тысяч (если не миллионы) программистов России
Наверняка найдутся те кто интересовался и те кто трудился в фирмах, занимавшихся разработками систем искусственного разума]]> Бифуркатор Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3476381 Sat, 10 May 2014 01:21:04 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3476381
Добавлено 10.05.14, 01:22
Да, парсеры я тогда сам писал.]]> amk Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3475964 Fri, 09 May 2014 16:09:22 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3475964 Цитата amk @ 26.04.14, 11:12

Контекстно-свободные грамматики допускают детерминированный разбор с строго ограниченным просмотром правого контекста (хватает заглядывания на один тукен вперёд).

Есть такая штука как PRECCX.
Это генератор компиляторов с бесконечным заглядыванием вперед для контекстно-зависимых грамматик.

Про неё что-нибудь можете сказать? :blush:]]> Бифуркатор Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3470838 Mon, 28 Apr 2014 08:53:33 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3470838 shm Что Вы хотели сказать-то? И зачем удалили свою мессагу?
---------------
To ALL.
После изучения томита-парсера от компании "Яндекс" понял, что он не очень мне подходит.
Так как единицей разбора у него являются предложения в тексте. А мне надо чтобы весь текст]]> Бифуркатор Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3470453 Sat, 26 Apr 2014 11:12:02 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3470453
Добавлено 26.04.14, 11:12
Собственно из-за невозможности детерминированного разбора разработчики ЯП и предпочитают КС-языки]]> amk Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3470384 Sat, 26 Apr 2014 07:08:07 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=3470384 Цитата maggot @ 17.01.07, 21:06

ока я смог реализовать только Tomita LR парсер с поддержкой правосторонней регулярной грамматики

А максимум что возможно распарсить томита парсером - это (судя по инфе на офф.сайте яндекса) КС-грамматики?
Т.е. для парсинга языков типа 1 иерархии Хомского томиту не заюсаешь?

Т.е. для контекстно-зависимых языков лучше юсать язык программирования PROLOG?]]> Бифуркатор Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1466335 Mon, 26 Feb 2007 18:59:20 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1466335 Цитата maggot @ 26.02.07, 18:41

Смотри свою почту

Как сейчас бедного прографикса заспамят.... Стёр бы ты адрес от греха.]]> wormball Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1466323 Mon, 26 Feb 2007 18:41:43 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1466323 prografix
Смотри свою почту (та, которая на народе)
Что за язык делаешь расскажи.]]> maggot Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1465774 Mon, 26 Feb 2007 12:00:12 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1465774 maggot
А где можно взять твой парсер?
Сам я в этом деле новичок, но могу воспользоваться твоими текстами для реализации своего языка, а потом высказать свои впечатления.]]> prografix Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1426454 Wed, 24 Jan 2007 15:30:52 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1426454 Цитата Oleg2004 @ 23.01.07, 21:10

Цитата maggot @ 23.01.07, 21:01

В интернете не могу найти.

Увы это так.
У меня есть только в бумажном виде - английский оригинал и русский перевод
А сканировать так там 500 страниц :)

А где эти книги можно купить?
ЗЫ Живу в Москве.]]> maggot Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1425549 Wed, 24 Jan 2007 06:16:16 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1425549 Цитата maggot @ 23.01.07, 21:01

Я ошибся, хотел написать только LALR(1).

Цитата

With the proper declarations, Bison is also able to parse these more general context-free grammars, using a technique known as GLR parsing (for Generalized LR). Bison's GLR parsers are able to handle any context-free grammar for which the number of possible parses of any given string is finite.

]]> trainer Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1425425 Tue, 23 Jan 2007 22:10:11 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1425425
YACC (авторства последник, кажется) собственно и предназначен для LALR(1)-грамматик. С небольшими дополнениями, вроде автоматического разрешения некоторых неоднозначностей, и приоритетов.]]> amk Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1425407 Tue, 23 Jan 2007 21:10:35 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1425407 Цитата maggot @ 23.01.07, 21:01

В интернете не могу найти.

Увы это так.
У меня есть только в бумажном виде - английский оригинал и русский перевод
А сканировать так там 500 страниц :)]]> Oleg2004 Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1425395 Tue, 23 Jan 2007 21:01:26 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1425395 Oleg2004
И где эту книгу взять можно? В интернете не могу найти.
trainer
Я ошибся, хотел написать только LALR(1). Впрочем не важно.
Зверуга
Можешь дать мне какие нибудь книги по "восстановлению после ошибок", и "инкрементному анализу"?]]> maggot Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1425371 Tue, 23 Jan 2007 20:25:59 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1425371 Цитата maggot @ 20.01.07, 19:45

что информации в книге "Компиляторы - принципы, технологии, инструменты" Альфред Ахо достаточно для создания промышленного компилятора (можно сказать, решения типовой задачи)

Я конечно же знаком я трудами Ахо и Ульмана, и иже.
Но все-таки самая классическая книга - где практически все поднимаемые вопросы освещены - это Дэвид Грис, Конструирование компиляторов для цифровых вычислительных машин, 1975 - это классическая классика.
По этой книге при мне за 10 дней интернациональная команда программистов написала компилятор для только что вышедшего описания Паскаля.
Думаю что лучше него написал бы Кнут - он и хотел свой 4-й том посвятить теории компиляции, но увы - этого тома мы так и не дождались]]> Oleg2004 Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1423057 Mon, 22 Jan 2007 07:06:28 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1423057 Цитата maggot @ 18.01.07, 12:56

В этом я не уверен, но как я думаю, в YACC можно делать синтаксические LALR(1) анализатры,

Цитата

Bison is a general-purpose parser generator that converts a grammar description for an LALR(1) context-free grammar into a C program to parse that grammar.
...
Bison is upward compatible with Yacc: all properly-written Yacc grammars ought to work with Bison with no change.

]]> trainer Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1422121 Sat, 20 Jan 2007 19:45:50 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1422121 Зверуга
Плохо раскрыта по сравнению с иностранной литературой. Соглашусь, что ифнормации в книге "Компиляторы - принципы, технологии, инструменты" Альфред Ахо достаточно для создания промышленного компилятора (можно сказать, решения типовой задачи). С другой стороны, если дальше углублятся в эту тему, прийдётся копаться в какой нибудь редкой иностанной литературе.
Я не считаю, что эта тема настолько сложная и большая, что бы не пытаться изучить её всю. Следовательно, она должно быть полностью и доступно представленна на русском языке в интернете.

А С++ имеет перед Lisp'ом преимущество в том, что он более популярен, и на нём можно решать реальные задачи (не буду говорить про лисп, тк не знаю его).]]> maggot Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1421410 Fri, 19 Jan 2007 21:14:35 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1421410 Зверуга Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1419204 Thu, 18 Jan 2007 13:25:11 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1419204 Цитата maggot @ 18.01.07, 12:56

best_lamer Это тоже все не серьезно.

Python parsing tools
;) А это все тоже?]]> best_lamer Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1419133 Thu, 18 Jan 2007 12:56:08 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1419133 sploid Я эту книгу давно прочитал. И там ОЧЕНЬ многого не написано. Я прочитал ещё несколько книг на английском (на русском их нет) Это так, если самые азы хочется изучить.
best_lamer Это тоже все не серьезно.
В этом я не уверен, но как я думаю, в YACC можно делать синтаксические LALR(1) анализатры, Tomita парсер yacc генерировать не может, поддержки правосторонней регулярной грамматики (например P -> QAAA+) думаю тоже нет. И тем более Incremental parser тоже не создать.

Так что жду тех кто хочет принять участие в проэкте.]]> maggot Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1418332 Thu, 18 Jan 2007 07:32:35 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1418332 Обработка текста

ЗЫ Материал на Python в Си конвертировать при желании не вопрос!]]> best_lamer Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1418097 Thu, 18 Jan 2007 00:23:25 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1418097 sploid Обсуждаем новые идеи https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1418000 Wed, 17 Jan 2007 21:06:36 +0000 Тема синтаксического анализа... https://forum.sources.ru/index.php?showtopic=168367&view=findpost&p=1418000 Так вот я предлагаю реализовать не которые алгоритмы и написать статьи, выложить потом это на исходниках.ру
Во первых это хорошая возможнось изучить эту тему, во вторых попрактиковаться в написании статей.
Одному человеку это достаточно сложно сделать, поэтому я собираю команду.
Думаю следует делать это как несколько последовательных статей, где постепенно реализовывать более сложные методы.
Конкретно собираюсь написать и реализовать:
1) Введение. Способы описывания грамматик.
2) Всё про конечные детерменированные аппараты, их генерация и тд. (ктати на codeproject.net (как то так сайт пишется) была одна статья, её можно будет перевести)
3) LL и LR парсеры. Про LL можно написать кратко, в основном рассмотреть LR парсеры. Так же описать все ограничение накладываемые на грамматику при использовании LR.
4) Различные "навороты" LR парсера такие как, поддержка правосторонней регулярной грамматики (например P -> QAAA+) (реализуется это с помощью "Обратного ДКА", который читает стек и снимает с него определённое количество состояний), восстановление после ошибок и тд.
5) Tomita parser. Алгоритм анализа по LR таблице имеющей "эпсилон" переходы (вобщем по одмному символу в несколько состояний) (состояния имеющие переходы по одному символу в несколько других называются "неадекватными")
6) Incremental Parsing Моментально внесение изменений в дерево разбора при изменении входного потока символов. Это нужно для создания всяческих подсветок синтаксиса, IntelliSense'ов и прочего. Можно ещё сделать инкрементную компиляцию, вобщем чего угодно можно придумать.
7) И потом собрать всё это вместе и представить библиотку алгоритмов, где будут реализованы все эти методы.
8) Сделать демонстрационное приложение, где можно будет ввести грамматику, а потом вводить тестовый текст, который будет анализироваться. И вся работа алгоритмов должна будет в виде графов красиво отображаться.
PS Пока я смог реализовать только Tomita LR парсер с поддержкой правосторонней регулярной грамматики.
Как сделать incremental и с восстановлением после ошибок я пока не знаю. Поэтому и ищу команду.
PPS Сам программирую на C++ но если кто то хочет делать на Делфи то пожалуйста. Это можно будет ещё перевести на C++ и будет два варианта.
PPPS И ещё, хочу что бы потом показывать это в инсте или ещё где (многие делают всякие курсовые работы на эту тему, но они много не затрагивают) имели право только участники проэкта. Остальным нужно будет писать откуда они взяли инфу.]]> maggot Обсуждаем новые идеи