Предлагаю вашему вниманию программу estimate. Она работает на платформе Win32 и предназначена для оценки качества текстового файла. На основе набранного словаря и статистики она даёт в результате оценку для "плотности" информации в файле: пустой, бездарный, обычный, развивающий, исключительный. В архиве находится файл с исходным кодом на C++. Высказывайте ваши замечания и пожелания. По-возможности буду их исправлять и учитывать. Полагаю, что, используя estimate, можно будет научиться из всего потока поступающей информации выбирать наиболее ценное.
http://forum.kpe.ru/showpost.php?p=111310&postcount=18
_____________________
Читинцы! Объединяемся!