Рассуждения на тему "С++ vs интерпретируемые языки"

[JoeUser]

D_KEY, а давай ты и я внесем в свой код правки - в качестве разделителей дополнительно считать разделителями < > ' " ) ( , . - + : ; ! ?
Ну и посмотрим, сколько нам потребуется кликов для доработки?

Скрытый текст

Если че, у меня все готово ...

#!/usr/bin/perl
 
open (FD,$ARGV[0]) || die "Shit!";
map {$Freq{$_}++;} split /[-+\(\)\.,:\+\s;><"'\?!]+/, join "", <FD>;
close (FD);
map {print $_." : ".$Freq{$_}."\n";} sort {$Freq{$b}<=>$Freq{$a}} keys %Freq;

[Eric-S]

Цитата JoeUser @ 28.08.16, 18:07

А этого не хотел Eric-S, типа "давай без либ!".

Хотел или нет, это неважно. Просто, помоему, задача, слишком синтетическая, чтобы дать практически полезный результат.
Это именно что холивар, тоесть пиписькомер. А внешний размер, далеко не главное.
Вы бы чем-нибудь более полезным занялись!

А если же по коду... Ну очевидно же, что разбивать строки на новые строки не эффективно. Надо запоминать начало и конец слова в объекте. А уже эти объекты обрабатывать.

Сообщение отредактировано: Eric-S - 28.08.16, 18:37

[JoeUser]

Цитата Eric-S @ 28.08.16, 18:20

А если же по коду... Ну очевидно же, что разбивать строки на новые строки не эффективно. Надо запоминать начало и конец слова в объекте. А уже эти объекты обрабатывать.

Ну так это делается с помощью конечного автомата. Однако и регулярки - тот же конечный автомат, только предварительно компилируемый во время исполнения. Более того, в сишной библиотеке PCRE ничего не разбивается - там возвращается массив индексов соответствия паттерну. В Perl'е встроенный механизм другой. Поэтому тебе наверное стоит написать именно разработчику языка о том, что он не прав

[applegame]

Регулярки тормозить будут, мама не горюй.

[JoeUser]

Цитата applegame @ 28.08.16, 19:49

Регулярки тормозить будут, мама не горюй.

За удобства нужно платить. Тем не менее, при составлении регулярок есть некоторое (хотя и слабое) соответствие составлению запросов на SQL. И на SQL-ле можно составить запрос так, что сервер попросит прощения человеческим голосом.

Не спорю, лучше зарядить уж связку Bison/Flex - но, имхо, это уж очень узко-специализированные применения, где выжимать нужно по максимуму. Регулярок "в быту" за глаза хватает.

[applegame]

Цитата JoeUser @ 28.08.16, 20:04

За удобства нужно платить. Тем не менее, при составлении регулярок есть некоторое (хотя и слабое) соответствие составлению запросов на SQL.

Удобства? По мне так из пушки по воробьям. Неужели в перле нет простого сплита без регулярок? И кстати, твоя программа осилит файло в UTF-8?
Вот решение задачи на D (текст должен быть в UTF-8), без оптимизаций, файло тупо грузится целиком в оперативу:

import std.file;
import std.stdio;
import std.array;
import std.algorithm;
 
void main(string[] args) {
    int[string] words;
    readText(args[1])
        .splitter!(c => canFind(" \n\r\t<>'\")(,.-+:;!?", c))
        .filter!(w => !w.empty)
        .each!(w => words[w]++);
    words
        .byKeyValue
        .array
        .sort!((a, b) => a.value > b.value)
        .each!(p => writefln("%s: %s", p.key, p.value));    
}

Цитата JoeUser @ 28.08.16, 20:04

Не спорю, лучше зарядить уж связку Bison/Flex - но, имхо, это уж очень узко-специализированные применения, где выжимать нужно по максимуму. Регулярок "в быту" за глаза хватает.

Накой для такой примитивной задачи Bison/Flex?

Тестовй файлик: Прикреплённый файлtest.txt (15,28 Кбайт, скачиваний: 111)

Сообщение отредактировано: applegame - 29.08.16, 10:20

[JoeUser]

Цитата applegame @ 29.08.16, 09:56

Неужели в перле нет простого сплита без регулярок?

Нету. Может библиотечные и есть, но языковая конструкция - только на регулярках.

Цитата applegame @ 29.08.16, 09:56

И кстати, твоя программа осилит файло в UTF-8?

Нужно добавить в начало "use encoding 'utf8';" тогда осилит.

Цитата applegame @ 29.08.16, 09:56

Вот решение задачи на D

Ниче так - кросава

Цитата applegame @ 29.08.16, 09:56

Накой для такой примитивной задачи Bison/Flex?

Да в начале разговора вообще шла тема запредельных нагрузок, поэтому и решил, что построить автоматы надо заранее.

[JoeUser]

Цитата applegame @ 29.08.16, 09:56

Вот решение задачи на D

Очень похоже на Ruby

H = {}
File.open("Testo.txt","r:UTF-8"){|f| f.read}
 .split(/[-+\(\)\.,:\+\s;><"'\?!]+/)
  .collect{|w| H[w] = H[w].to_i.succ}
H.sort_by(&:last)
  .reverse!.each {|k,v| puts "#{k} : #{v}\n"}

[amk]

Цитата applegame @ 29.08.16, 09:56

Накой для такой примитивной задачи Bison/Flex?

Вообще-то bison не нужен, достаточно одного flex'а. Программа должна получиться строк на десять, не больше.

[JoeUser]

Цитата amk @ 29.08.16, 19:02

Вообще-то bison не нужен, достаточно одного flex'а.

У тебя есть практика использования?

[applegame]

Цитата amk @ 29.08.16, 19:02

Программа должна получиться строк на десять, не больше.

Прекрасно, давай ее сюды.

[amk]

Цитата JoeUser @ 29.08.16, 19:36

Я пользовался когда-то lex и C.

Цитата applegame @ 29.08.16, 19:50

Прекрасно, давай ее сюды.

А она что, кому-нибудь нужна? Просто мне лень ставить нужные для проверки кода программы.

Добавлено 30.08.16, 16:40
Если бы мне эту задачу пришлось решать, я бы её на питоне решал.

from re import finditer
from collections import Counter
from sys import argv
wordcount = Counter()
for line in open(argv[1], 'rt', encoding='cp1251'):
    for word in finditer('[^-+().,:\s;><"\'?!]', line)
        wordcount[word] += 1
for count, wors in sorted((c, w) for w, c in wordcount.items()):
    print(word, count)

Вот примерно так.

[JoeUser]

Цитата amk @ 30.08.16, 16:30

'[^-+().,:\s;><"\'?!]'

Подозрительная регулярка - имхо, кривая.

[amk]

Да, перед s надо двойной бэкслэш поставить
А всё остальное там правильно. В квадратных скобках почти все спецсимволы теряют своё специальное значение.

[JoeUser]

Цитата amk @ 31.08.16, 15:07

почти все спецсимволы

Со знаком минус нужно быть аккуратнее, если нужен именно символ "-" - нужно его ставить последним, перед закрывающей скобкой.

Добавлено 31.08.16, 15:58
Равно как и "шапочка" ^, чтобы она не значила отрицания.

Добавлено 31.08.16, 16:02
shm, раз уж пошла такая пьянка ... запили работающий код питона на ideone.com, читаем не из файла, а из строки с переводами строк, возвратами каретки и всякими там табуляциями. Будет нагляднее.