Цитата:
|
Не представляю такой статистической функции.
|
Задача тесно связана с поиском закономерностей, или как это иногда называют классификацией информации. Предположим, у нас есть 100 тысяч сообщений. Наша задача выделить наиболее типичные из них. Так что бы они покрывали практически всё это множество. Скажем выделим из них 200 таких сообщений, знание которых было бы достаточно что бы описать 99 тысяч других сообщений. в итоге мы имеем 200 типичных сообщений + 1000 нетипичных сообщений.
Что бы ответить на вопрос, а подходит ли НОВОЕ сообщение пользователю X. Нам нужно пробежаться по 1200 сообщениям и выбрать только те которые имеют отношение к пользователю X и просуммировать реакцию пользователей, причём 1 отрицательная реакция будет стоить 10 положительных. Если на выходе положительное число, значит СООБЩЕНИЕ совместимо с АУРОЙ пользователя X.
Вот пример, как должен работать алгоритм, но у него много параметров, и только практические иследования могут его оценить.
По поводу того, можно ли найти закономерности такие, что позволили бы базу знаний сжать в 100 раз. Я уверен что можно. Фактически каждое типичное сообщение, будет характеризовать группу людей в какой нибудь сфере деятельности. Если посмотреть психологию, то в классической психологии 4 группы людей САНГВИНИКИ, ХОЛЕРИКИ, ФЛЕГМАТИКИ, ???. Ещё часто делят каждую группу на 4 подгруппы. Но если прикинуть кто к какой группе относится, то фактически групп не 16 а ещё меньше 8-10.
На рынке Форекс. Есть теория волнового анализа. Так вот в течении дня выделяют 1-10 образов. А за день поступает около 300 пятиминутных баров. Отношение типичных к нетипичным, более 100 раз.