Свободный интернет - проект

[Alagor]

Сообщение от perestoronin

Для обмена знаниями рекомендуется поднимать wiki сайты, и организовывать вокруг них сообщества по интересам и задачам.

Я только за. Но к этому вопросу я отношусь с другого конца. Вначале нужен небольшой круг единомышлеников, а затем уже нужно говорить об затратах времени и усилий на привлечение новых единомышлеников. Форум КПЕ казалось бы не самое подходящее место. Но здесь огромный круг посетителей. И я уверен, что если бы я пошёл по пути создания своего ресурса, вы бы наврятли о нём когда либо узнали.

Сообщение от perestoronin

Если это будет научный или технический проект, то обязательным условием будет наличие возможности отображения и набора формул и таблиц ... LaTeX ... MathJax ... Pandoc ... Haskell ... Ruby On Rails

Я не думаю, что серьёзная математика обязательна для этого проекта. Но пока системы нет математические прогнозы нужны. Нужно также оценить нагрузочную характеристику на компоненты сети. Вобщем, я могу ошибаться (даже очень могу) но лично я данной проблеме не придаю пока должного внимания. И вы правы, я не владею технологией создания формул на Wiki страницах, просто в моей рабочей практике не было таких задач.

Сообщение от perestoronin

Git - так и называется GitIt. Рекомендую одним словом.

Я использую Gitosys. Вообще проблемы с хостингом и репозиторием, это не проблема. Можно арендовать VPS сервис за $10-15 в месяц. И лично моих навыков будет достаточно, что бы поддерживать веб-сервис и GIT репозиторий на нём. Это только один из множества доступных вариантов, может быть и не самый подходящий, но универсальный.

Сообщение от perestoronin

PS. Все что Вы перечислили замечательно, но Cи++ тупиковый путь, как и все языки унаследованные от него.
Нужно начинать использовать языки функционального и логического программирования, хотя бы Haskell и Prolog, а в перспективе Рефал и Актор. Именно такие языки позволяют организовать базу знаний о которой так много пишут, и обмениваться знаниями нужно через собственные веб-сайты по типу wki-энциклопедий. В перспективе такая система может стать действительно помощником человека и даже неким центром с элементами искусственного интеллекта.

Причем язык программирования должен быть таким, чтобы решение почти любой задачи сравнительно легко распараллеливалось , а выбранные алгоритмы легко доказывались и проверялись. Кроме того новые языки должны хотя бы на миллиметр приближать появление элементов искусственного интеллекта у технических систем.

Тут я немного отступлю от основной темы.
Вообще моя практика программирования показывает, что C/C++ обладают недостатками. На мой взгляд самый главный недостаток, что трудно добиться использования одного и того же кода для разных систем. Например, если вы создаёте приложения Windows/Linux, а тут вам нужно программировать под микроконтроллеры. То практически все наработки нужно начинать писать заного. Язык C гениально прост и эффективен, но в тоже время в нём отсутствуют контейнеры списков и хеш-карт. Плохое обобщённое программирование (для немного отличающихся типов данных нужно копировать код руками). А C++ обладает плохой модульностью, код на C++ без посредников можно использовать только на C++. Шаблоны на практике (например библиотека boost) вообще не читабелен, я ассемблер понимаю лучше, чем такой код. Одно время увлёкся программированием через DOM-подобные интерфейсы, MVC (model,view,controller) но оказалось что на C++ это очень тяжёлая реализация и пришлось отказаться на мой взгляд от симпатичных идей. По поводу функциональных языков программирования, я наслышан, мне тоже симпатично, хотя практика у меня здесь маленькая.

Но, всётаки моё мнение. Что базовая часть РБЗ должна быть написана на C/C++. Вы утверждаете что плохо распараллеливается. Позвольте не согласиться. Отлично распараллеливается. Просто когда изучаешь язык программирования, в учебниках делается упор на ПОТОК исполнения. Однако, я от такого подхода отхожу. Я Использую термин ЗАДАЧА и ПОРЦИЯ ДАННЫХ. Если у задачи входящие данные можно разбить на ПОРЦИИ, значит можно высоко-оптимально, на одну задачу выделить несколько потоков. Здесь дело не в Языке, дело в теоретическом подходе.

Искуственный интелект. Я очень люблю это слово. И я верю, что он возможен, у меня есть соображения на эту тему. Я даже немного изучал ЛЕКСИКУ и ГРАММАТИКУ русского языка по этому направлению. Но отмечу, психологический момент. Некоторые слова наделены силой и способны увести в сторону собеседников и лучше их не использовать. Пример, "ИСКУСТВЕННЫЙ ИНТЕЛЕКТ", "БОГ", "ИНОПЛАНЕТЯНЕ", ... Поэтому рекомендую вообще не использовать этого слова, слишком оно нарицательно и сопряжено с неудачами.

Потом для минимально приемлемого комплекта РБЗ, Система искуственного интелекта не нужна. Да есть сложные до сих пор не ясные задачи типа АУРы. Но круг таких задач небольшой и здесь не нужно мощное разнообразие средств для которых использование функциональных языков будет желательным.

В РБЗ крайне важна что бы вся публичная информация была не только распределена, но доступна для роботизированного анализа. Например, вы создаёте ТЕКСТОВУЮ СТАТЬЮ. А другие люди могут сослаться не только на всю статью целеком, но и на её отдельную часть. Например, вы смотрите ВИДЕО-Ролик. В нашем традиционном понятии это вещь монолитная. Однако как было бы хорошо, если вы нажимаете на паузу и можете просмотреть кто и как комментирует различные части этого ролика. Например, вот этот фрагмент автор взял из этой книги или из того видео-ролика. Или смотрите короткий ролик в 1 минуту, в которой автор говорит, а у Вас впечатление, что это не полное утверждение, смотрите в комментарии других пользователей и находите полную версию ролику, а не обрезанную.

Далее, когда нет припятсвий для роботизированного анализа информации. Появятся дополнительные модули к РБЗ, позволяющие искать и анализировать имеющуюся информацию. Вот тут мощь функциональных языков будет не заменима.

Вот ещё пример как можно использовать РБЗ для научных расчётов. В мире сотни тысяч компьютеров, которые бездействуют. А вы можете продавать бездействие компьютера за деньги, и безвозмездно жертвовать его для интересных проектов. После включения вашего узла РБЗ в одну из таких сетей, владельцы сети могут запускать на вашем компьютере свои программы, которые либо вычисляют что то, либо скачивают из интернета например спутниковые карты. Это тоже один из возможных расширений системы.

Когда критическая масса будет достигнута и кол-во пользователей РБЗ подойдёт к 10000. Во впервых появятся заказы на разработку дополнительных модулей и здесь приоритет будет у начальных организаторов РБЗ. Во вторых появится необходимость, в создании платёжной системы. А это очень большие деньги. Но тут я не буду рассуждать, потому что идеи СПРАВЕДЛИВОЙ ПЛАТЁЖНОЙ СИСТЕМЫ у меня нет. На мой взгляд, если подойти к этому вопросу как к БИЗНЕС-ИДЕЕ, то у неё очень высокое соотношение ОЖИДАНИЕ к ЗАТРАТАМ. Например, затраты на создание поискового сервиса выше, а отдача ввиду сильной конкуренции ниже.

[perestoronin]

Мой прогноз: времена Си+, всех его производных, систем и ПО построенных на них уходят в прошлое, причем очень быстрыми темпами. Однако Си и ассемблер еще долго будет востребованы.

Искусственный интеллект и не перестнет быть нарицанием, если не отойти от коммерческой стороны вопроса в сторону полезности для человека.

Чтобы технические системы стали по настоящему полезны, они должны уметь "предвидеть" хотя бы ближайшие события и делать выводы, поведение технических систем должно быть анализируемым и предсказуемым, конечно им интуиция не дана от природы, но сделать их немного умнее нужно, чтобы они могли помогать человеку, т.к. только человек может быть руководимым интуицией, хотя может быть и машине свыше будет дано право пользоваться интуицией.

А теперь посмотрим на текущее состояние обычного программирования - будь это Си или Си++ или любые его производные, разумеется при полном отказе от функционального и логического программирования.
Сколько программ и какой цикл их жизни? Надежность их? Предсказуемость их поведения? Прозрачность их кода? Возможность использоваться всех технических возможностей аппаратуры ? А эффективность? Здесь на помощь может прийти только полный переход или широкое использование функционального программирования. Логическое программирование помогает реализовывать задачи анализа информации.

Распределенные вычисления это замечательно, но у большинства на столе уже стоят мощние системы с более чем 100 процессорами в видеокартах, почему бы для начала их не научиться эффективно использовать, здесь будут минимальными издержки на передачу и прием порций данных, чем при их прогоне через все еще по прежнему не достаточно быстрые каналы Интернета. Может начать с изучения OpenCL, CUDA и т.п. технологий?

Распределенное хранение информации тоже замечательно. Но как обеспечить целостность этой информации? Попробуйте для начала все таки освоить более простые задачи - надежные локальные системы хранения информации на Вашем локальном сервере, здесь тоже помогут имеющиеся недорогие решения на базе программных RAID10.

[Alagor]

Сообщение от perestoronin

Здесь на помощь может прийти только полный переход или широкое использование функционального программирования. Логическое программирование помогает реализовывать задачи анализа информации.

Убидили, я не буду рекламировать C/C++. В задаче РБЗ (Распределённая База Знаний), нет необходимости оперативного программирования с использованием скриптовых или функциональных языков. Нужен небольшой набор функций, которые будут реализовать протокол сетевых взаимодействий. Система должна уметь отвечать на очень не большой набор вопросов от других узлов.

Можно и всю систему реализовать на любом языке. Это может быть C/C++ или Prolog. Язык программирования - это инструмент. Если большинство разработчиков знаком C/C++ значит нужно писать на нём, знакомо с PERL значит на PERL. Это главный фактор в выборе языка.

Сообщение от perestoronin

Может начать с изучения OpenCL, CUDA и т.п. технологий?

У меня есть опыт работы на OpenCL. Я занимался им около полугода. Программирование на нём сложнее, чем на классических языках. Любые решения заточены ЖЁСТКО под конкретную задачу. Я согласен направление развивается и подаёт надежды. Даже Intel/AMD в последних процессорах стали добавлять элементы архитектуры SIMD (один поток иструкций несколько потоков данных). Я бы не стал называть это параллельным программированием, а скажем МАТРИЧНОЕ ОДНОПОТОЧНОЕ программирование. Но практическая отдача очень высока, скорость вычислений увеличивается раз в 10.

Вобщем, мой прогноз по CUDA. Это временное явление. Оно существует только потому, что сейчас технологии штамповки микропроцессоров, не позволяют создавать чипы содержащие одновременно и процессор и динамическую память на одном кристалле. Однако "лучик надежды" есть. Это ферро-магнитная память, которая позволяет на одном кристалле создавать сотни независимых комбинаций процессор-память. Программирование таких систем напоминает классическое программирование, а выигрыш в производительности превосходит SIMD, по той простой причине что их оптимальность упирается в работу с внешней памятью. Представьте себе 500 SIMD запросов и все щимятся в одину подсистему памяти, если обращение не разбросано, то одна инструкция будет выполняться 500 тактов внешней шины.

Распределенное хранение информации тоже замечательно. Но как обеспечить целостность этой информации? Попробуйте для начала все таки освоить более простые задачи - надежные локальные системы хранения информации на Вашем локальном сервере, здесь тоже помогут имеющиеся недорогие решения на базе программных RAID10.

Это не по теме. RAID - это не распределённая технология. RAID - это только технология хранения. Задача РБЗ - не хранить сама не знает что, а навести порядок в связи между собой обрывков информации. RAID - замечательно, но это всего лишь железка, где здесь ПОЛЬЗОВАТЕЛЬ.

[perestoronin]

Возможно будут интересны идеи альтернативных сетей поверх существующего интернета:

Оказывается freenode в рамках проекта tor.

Я его спутал с тем, с чем раньше сталкивался freenet. Я имел ввиду именно последний когда говорил о том, что подобные децентрализованные приложения уже есть и их можно взять для обзора и анализа.

[denis]

Вот например проект с помощью которого можно попробовать построить не управляемый интернет, самое организующийся Netsukuku, в википедии пишут, что он независим от интернета, придёться например строить новые сети но уже по принципам этого проекта.

[Сергей Сергеич]

Сообщение от denis

.. придёться например строить новые сети ..

Нереально, ИМХО.

[denis]

Что-то я не понял, вас не устраивает система поверх интернета, и вас не устраивает там где организуется новая сеть?
А что третье вы предлагаете?
Netsukuku может работать по Wi-FI но это плохое излучение, по этому либо строить новые сети как были раньше, например FIDO либо использовать существующие которые используются под интернет.

Сообщение от Сергей Сергеич

Нереально, ИМХО.