Автоматизированный Информационный Анализ

Проект "APOLLO"

analiz — Tue, 02 Aug 2011 14:37:31 GMT

На данном Блоге я буду рассказывать о процессе своих научных исследований. Интерес моего научного внимания представляет проблематика искусственного интеллекта.

Проект APOLLO это проект прикладной реализации моей теории "Асоциативности”. Его суть состоит в том что бы реализовать возможность понимания человеческого языка, человеческой информации машиной. Не имеется в виду распознавание голоса, смысл проекта именно в понимании.

Проект далек до конченой точки реализации. Проект так же далек от реализации всех потенциальных возможностей моей теории, о ней мы еще не раз поговорим.

Возможности, которые реализованы в программе и уже могут быть протестированные:

- определение контекста информации (именно контекста, а не темы, в этих двух понятиях есть разница, о ней мы еще поговорим);

Что касается самой теории то она может позволить нам определить:

- тему текста

- контекст темы

- анализ текущей темы и определить оптимальную реакцию в на тему

- реализовать сортировку и сравнение тем

- много еще чего интересного)...

Программы выполнена в виде бинарного пакета для ОС Linux. Для работы необходимо лишь передать программе адрес входного ТХТ файла и адрес файла в который буде записан результат работы программы.

Сама программа в дальнейшем при реализации всех возможностей теории будет реализовывать функционал чато-бота. В будущем теория позволит написать программу которая будет общаться с пользователем ПК на обычном, бытовом языке!

PS: данный проект далеко не единственный проект который находиться в поле моего интереса, но этот наиболее перспективный. Если интересно узнать о других проектах достаточно зайти на мой Блог … либо же просто погуглить про мой Ник

PPS: с данного блога крос-посты буду публиковаться на одном из моих проектов: http://analiz.at.ua

PPPS: линк будет доступен... скоро)

безопасность и уничтожение данных в Google

analiz — Fri, 13 May 2011 18:38:32 GMT

Yandex vs Google

analiz — Fri, 06 May 2011 20:39:39 GMT

Вступление

Давно не секрет, что конкуренция между поисковыми гигантами по немногу набирает обороты. С каждым годом последствия будут все ощутимее и реакция указанных гигантов будет все более ярко выраженной. За кулисами битва уже давно началась и простое развитие уже давно перерастает в конкурентное противостояние. Кто же выйдет победителем пока точно не видно, однако то, что это затяжное сражение не на жизнь, а на смерть ясно уже сейчас. На данном этапе битва уже начата и набирает обороты. Первой ласточкой стал выход Яндекса на мировую арену и открытие домена http://yandex.com. Далее мы наблюдали развитие конкуренции в другой плоскости — топографической, а именно старт Google Maps в России, со всеми вытекающими последствиями. Основная битва развернется на нескольких фронтах, вот они:

поиск,
карты,
социальность,
перевод,
мобильность,
инновации.

Интересно посмотреть что сейчас происходит на каждом из них. Но рассматривать мы их будет не в озвученном порядке, и начнем мы с карт...

Карты

Кстати по поводу картографии и упомянутого факта. Подобный шаг стал довольно логичным и ожидаемым с боку Яндекса. Предвкушая осложнения даже на своем родном рынке(России и стран СНГ), в Яндексе начали серьезно задумываться о состоянии своих карт. Вспомнили быстренько о том, что у них нет своей картографической лицензии, и что карты за них штопает сторонняя фирма. Это само собой не могло сказаться положительно на качестве сервиса, так как при возникновении жалоб или проблем с картами Яндекс не могла сама их исправить. Иными словами до появления лицензии у Яндекса, при появления каких либо погрешностей на картах они могли лишь передать баг-репорт производителю карт, который, к сожалению, не предоставлял каких либо гарантий по исправлению данного бага (об этом чуточку подробнее можно услышать в выпуске прекрасного подкаста Радио-Т). К примеру оказывалось, что на карте отсутствует целая улица (а это бывало не так уж и редко), Яндекс мог лишь передать запрос на изменение карты сторонней компании, которую, в свою очередь, не сильно то и заботила скорость реакции. И вот, постаравшись, Яндекс таки получив лицензию, начал по не многу изменять свои карты и недавно состоялся релиз новых Яндекс.Карт, уже со своими исправлениями и дополнениями. Ранее релизы обновлений не были такими громкими. Но при объективном взгляде вот что получается. Яндекс внедряя «инновации» в области карт, фактически ставил цель не потерять позиции в сфере карт хотя бы на своем родном рынке. Речь пока не идет о активном выходе на чужие рынки, компания похоже хочет попытаться не дать укрепиться тут конкуренту. Про выход на зарубежные рынки речи пока не идет. И все же у Google есть свой рынок и сейчас он выходит на рынок Яндекса, а не наоборот, так что в картах запишем 1:0 в пользу запада.

Перевод

Некоторые сервисы, которые весьма востребованы у нас и за рубежом, к сожалению, уже подмял под себя Google. Например автоматический перевод текстов и сайтов, интегрированный в их родной браузер Хром. Разумеется в попытках угнаться за своим старшим братом, Яндекс точно так же запустил свой проект, по качеству серьезно уступающий конкуренту. Для того, чтобы качество перевода стало лучше необходима аудитория, которая бы сама переводив тексты, подсказывала Яндексу верный перевод. И если с Google это прокатило, так как конкурентов у него тогда почти не было, то будут ли толпы юзверей, которые способны улучшить поиск пользуясь сыроватым сервисом, когда есть более лучший сторонний — вопрос открыт. Хотя с другой стороны это все же попытка потеснить Гугл и справедливости ради стоит отметить, что попытка довольно не плохая. Раз мы говорим о том, что Яндекс начинает выходить в свет Онлайн-Переводов, где правил бал Гугл, стоит записать это в актив Яндекса как 1:0.

Инновации

Следующим шагом осознавая, что компания не может так же стремительно развиваться как Google — Яндекс запускает проект Яндекс.Старт, который направлен на стимуляцию развития проектов, потенциально необходимых Яндексу сторонними молодыми разработчиками, с последующей интеграцией данных сервисов в сам Яндекс (если потребуется). Если рассмотреть то, как инвестирует в стартапы Гугл и с какой скорость он интегрирует купленные проекты в свои собственные, то можно смело сказать, что у Яндекса есть все шансы. Тем более, что в странах СНГ существуют множество студенческих проектов, которые не имеют за душой ни копейки и готовы согласиться в перспективе отдать свое детище крупной компании в обмен на условно беззаботное текущее состояние. Думаю в этом раунде вновь выходит победителем яндекс(1:0). Хотя и трактовать данный шаг можно по-разному. Так как не факт, что он сможет принести существенные выгодные вливания в дальнейшем, особенно на фоне весьма странной политики компании.

Поиск

Чем же уже политика компании не угодила? Да все просто. Что есть Яндекс? Компания, которая занимается поисковым бизнесом. Как и Гугл, у Яндекса не так уж и много бизнесов. Так почему тогда поисковая компания тратит приличные суммы на сторонние проекты (Карты, Старты), в то время, как качество основной продукции (поиска) существенно стало уступать конкурентам. Уже не раз стал замечать, что релевантность поиска стала настолько не хорошей, что даже когда вывод вроде бы удовлетворительный, нажимаю в подвале на линк Гугла, чтобы таки убедиться, что все релевантные ссылки попали мне на глаза. Ну вот несколько примеров которые можно не трудно протестировать. На купленом ноутбуке Lenovo s10-3 существует распространенная проблема с Wi-Fi, попробуем поискать. По запросу «lenovo s10-3 wi-fi issue»:

Гугл, первая ссылка в выдаче и другие ведут на странички, где есть решение;
Яндекс, на первой страничке не нашлось ни одного решения.

А вот еще забавный пример: попытка поиска по запросу «как в Яндекс делают карты» приводит к:

Гугл, первая ссылка на необходимое мне видео (на Яндекс.Видео);
Яндекс, по ссылка на первой странице выдачи видео не найдено.

Тут однозначно запад на голову впереди (1:0) и я даже не упоминал новые технологии в выдачи результатов запроса.

Социальность

Однако не все так плохо в Датском Королевстве. Google большую часть своей сознательной жизни хотел получить социальность. Правда делал он это очень странно. Как, например, выпуск социального мертво-рожденного сервиса Google Buzz (Бузик :) ), котоорый несмотря на всю социальность, был закрыт для сторонних клиентов и имел настолько убогую поддержку своих родных средств взаимодействия с ним, что многие так даже и не узнали о существовании этого сервиса. Разуметься все три гика-пользователи Gmail не в счет. Да, Бузик, к слову, был не первым. Он стал той синицей в руке, которую удалось хоть немного поднять, вместо мифического журавля Wave, монструозного и непонятного на столько, что даже когда Google начал выдавать туда инвайты пачками, люди смотрели на него с огромным подозрением. Что же Яндекс? Не смотря на более маленький объем компании, развитие социальности у них идет в правильном направлении. И вместо создания и подмены одного сервиса другим, компания плавно начинает интегрировать свои проверенные и популярные сервисы в новую, единую социальную платформу — Я.Ру. Тем более, что Я.Ру-шечка но фоне загнивающего ЖЖ (а он имел не малую популярность среди Блогеров Рунета), в следующие годы будет лишь набирать обороты и сильно. В ЖЖ уже не возможно работать без дополнительных плагинов в браузер или не уплатив им небольшую мзду. А открытие API создает прекрасную почву для развития все новых клиентов для этой платформы. И тут в лидерах однозначно Яндекс 1:0.

Мобильность

Раз уж вспомнили API, то стоит отметить, что грамотное позиционирование своих сервисов на платформы, которые широко распространены в странах СНГ, так же позволяет компании сохранять довольно серьезную конкурентоспособность. Взять хотя бы Symbian, которого еще неимоверно много в «наших Полистинах». И рядовой юзер, который выбирает между убогим Веб интерфейсом, на который надо смотреть через окошечко своего кривого браузера и быстрым, нативным клиентом, который написан специально для его платформы само собой выберет Яндекс и его специализированные клиенты (сам использовал очень долго Яндекс карты для Symbian). И вновь впереди Яндекс)

Выводы

Борьба за пользователей в самом разгаре и кто выйдет победителем еще вопрос. Яндекс по немногу развивает социальность в правильном русле и поддерживает мобильные платформы, которые распространены на его рынке, однако существенно проигрывает в технологическом плане и качестве многих основных сервисов. С другой же стороны Google, который пыжиться изо всех сил, чтобы получить социальность и рано или поздно количество должно перерости в качество. И, если к тому времени, Яндекс не накопит более существенных решений ,то даже его родной рынок будет проигран. Хотя сейчас ситуация все еще кажется радужной. И о прекрасном текущем положении свидетельствует текущей результат битвы описанной в этой статье. 6-ть фронтов и 4:2 в пользу Яндекса, но это лишь текущий срез и не тенденций, а текущего положения в странах СНГ, а не всего мира. Что будет завтра, мне кажется вектор будет не спеша, но кардинально меняться. PS: есть, разумеется, еще почта, контекстная реклама, финансы и множество иных сервисов, о которых стоит поговорить отдельно, но это довольно обширная и интересная тема, о которой мы поговорим в следующий раз.

Чего стоит ждать от версии 2.1

analiz — Fri, 01 Apr 2011 13:07:23 GMT

(b0noI) До выхода финального релиза 2.0, который получив новое имя, получит и новый счет версий превратившись в 1.0, осталось меньше недели. А мы уже будем говорить о том что будет ждать нас в 2.1. Дело в том что финальный релиз по факту уже мало чем будет отличаться от RC4 так что и рассказывать тут нечего, а вто в 2.1 Вас будут ждать некоторые вкусности) Начнем по порядку:

1. Множественные источники данных, отныне Вам нет необходимости выберать между тем что исследовать, отчет может быть построин на базе нескольких запросов, нескольких сайтов и множества папок и плюс пару конкретных файлов и все это одновременно

2. Немного переработаный грфический интерфейс который теперь получит несколько табов и разделит по функциональным элементам весь интерфейс

3. изменения в отчете, тепер можно будет просматривать по желанию цепочки связей между персонами

4. интеграция в KDE и возможно Windows 7 с возможностью автоматически выставлять теги в системе к файлам в заданой папке

Дальнейшее развитие проекта MadWin

analiz — Wed, 30 Mar 2011 12:11:01 GMT

Немного о том куда движется MadWin. По факту это последние дни жизни проекта со старым названием, так уж случилось что оно будет изменено в очень скором времени. Здесь я немного опишу смысл концепта к которому все движется. И так в итоге пользователю програмного комплекса должны быть досутпны такие возможности как:

мониторинг присустствия в сети персоны или организации;
мониторинг изменения связей данной персоны с другими объектами сети и интернета;
поиск контактных даных персоны и уточнения ссылок на эту персону в основных популярных сервисах;
мониторинг активности персоны или компании в каком либо отдельном сегменте интернета (например в какой либо конкретной социальной сети);
анализ новосных потоков и создание кратких "портретов" по новостям благодаря которым можно более коротко получить всю основную ифнормацию;
автоматическое присвоение меток к файлма на соновании того, о каких персонах идет речь в файле.

И это пока лишь первые наброски того, во что превратится наш проект.

Блог на Я.ру — b0noI!

Workstreamer. Автоматизированная информационная аналитика

analiz — Mon, 28 Mar 2011 13:28:04 GMT

Все чаще перед игроками рынка появляется потребность мониторинга состояния и деятельности тех или иных компаний. Дело весьма затратное и ресурсоемкое. В помощь при решении подобных задач был создан веб сервис www.workstreamer.com , в лучших традициях интерактивности и Веб 2.0. Итак данный сервис предоставляет возможности составив список интересующих Вас уомпаний производить мониторинг их деятельности. Достаточно лишь уточнить наименования компаний все-остальное система сделает за Вас.

В результате работы Вы сможете ознакомится с следущими данными о компании:

- местами пресутствия в сети (основные ссылки),

- упоминания о искомой организации в сети,

- связь заданых компаний с важными элементами и словами (напимер тесно связана искомая компания с "oil")

Отчет интерактивный и меняется прямо в режиме реального времени.

Более детально смотрите сами:

Видео демонстрирует работу данного сервиса. Продукт получился удачным и действенным, однако как по функционалу так и по тарегтенгу существенно отличается от нашего. Ну а теперь давайт понемного разберемся что именно у нас преед глазами, в чем его преимущества и недостатки.

Ну первое и главное это необходимость что бы искомая компания имела широкий сегмент прсутствия в сети, так как Вы не сможете промониторить пусть и очень значимую компанию для Вашего места жительства но мало значимою с мировой точки зрения. Плюс систеа довольно сильно привязана к наборю ключевых слов и как результат довольно сильно зависет от конкретного языка.

Все сказанное выше делает данный продукт существенно отличным от нашего и скорее всего эти два продукта никогда не будут решать один и тот же спектр задач.

Блог на Я.ру — b0noI!

Судьба (думаете мы творим ее сами?)

analiz — Tue, 30 Mar 2010 13:39:59 GMT

Логично возникает вопрос, если в мета-информации есть все что необходимо для предсказания почему мы часто получаем неожиданные для нас результаты эксперимента. Почему в конце концов машинка скатываясь с горки хоть каждый раз и делает это за приблизительно похожее время, тем не менее каждое время все же отличается? Все очень просто. Дело в том что наш мир не является чем то простым и на каждый объект который в нем влияют сотни факторов. Даже в случае с машинкой, дважды Вы не можете ожидать на ювелирно точное совпадение результатов, так как для этого необходимо в точности одинаковые условия. В конце концов даже луна за пару минут изменит не значительно свое положение относительно Земли, что конечно же пусть на очень мизерную долю но влияет на события.

Когда человек не способен полностью получить всю мета-информацию об объекте он начинает предполагать, строить модели и делать вероятностные выводы. Значит ли это что нет мета-информации исходя из которой мы бы могли предвидеть поведения той или иной система. Само собою есть, но или эта сама информация или способ ее получения настолько сложны что под часть нереальны или сопряжены с недопустимыми затратами (действиями). Так к примеру мы можем в теории смоделировать каждый атом человека и связать все это в единую структуру, чтобы спрогнозировать его точное действие через одну секунду после времени моделирования, однако для этого нам потребуется несколько сотен лет. К стате о человеке, раз уж заговорили о нем. В силу указанных особенностей мы не получаем полную мета-информацию, а строим более высокие модели прогнозирования и назвали мы их «психология».

Но значит ли появление психологии отсутствием мета-информации о четких и конкретных действиях любого объекта этого мира и человека в том числе. Конечно нет, как бы Вы не хотели но Ваши мысли это электрический сигнал между нейронами головного мозга, а чудес в нашем мире как известно не бывает. Соответственно и данные о всех Ваших действиях наперед уже были известны. И если бы скажем до существования человечества предположим на Землю прилетели инопланентяне с технологией которая давала неограниченные ресурсы вычисления, они бы могли получив всю мета-информацию с точностью до секунд написать время и мои действия сейчас предугадав эту статью и все остальное что-бы только захотеть.

Будующее неизвестно, но вовсе не от того что оно не предопределено!

Смерть через PowerPoint

analiz — Fri, 26 Mar 2010 09:22:20 GMT

Найдено на простораз интернета:

Death By PowerPoint Rus

View more presentations from www.kapterev.com.

НЕМНОГО О СМЫСЛЕ ЖИЗНИ В КОНТЕКСТЕ РЕЛИГИЙ

analiz — Tue, 23 Mar 2010 07:59:00 GMT

Давайте поговорим о смысле нашего с Вами бытия или о смысле вообще всего, если Вам так будет угодно. Будем полагать априори что термин 'смысл' Вам понятен (само собой разумеется он сам тоже не является тривиальным и если читатели захотят как и прошлый раз услышать мои мнения на этот счет, милости прошу, мой адрес у Вас есть;)). От слова к делу.
в данной заметки мы рассмотрим лишь смысл с геологической точки зрения так как именно с этой стороны эта категория изобилует множеством аллогичных фкусностей о которых мы и поговорим. Ну а для старта нам необходима отправная точка, базис для размышления, пускай им станет простая фраза: 'жизнь имеет смысл')) от нее мы и начнем нашу игру. Напомню, сегодня мы условились не выходить за рамки теологии, а следовательно данная фраза имеет интересное следствие: вселенная как составляющая всего этого мира может иметь смысл в том случае если кто-либо (что либо) наделило ее оным, в противном случае мы придем к выводу что ее развитие хаотично, а значит и появление нас с Вами как вида лишь случайность, а это противоречит с некоторыми канонами. И вот вам первый показанный тезис: для наличия смысла этому миру необходимо что бы этим смыслом его наделили.
Далее по немного мы будем двигаться к самому интересному. Необходимость наличие чего либо вне этого мира, что способно вдохнуть в этот мир смысл вроде бы не входит в противоречие ни с какими тео-канонами. Но это так лишь на первый взгляд;) давайте углубился в наших размышлениях и попробуем представить, а как именно для нашего мира выбирался смысл. Существует бесконечное множество возможных комбинаций физических постоянных, зависимостей и законов изменяя которые в начале создания мира мы бы имели иной результат. Но выбор был сделан именно такой какой сделан, значит среди многих не имеющих смысла вариантов существования вселенной (в которых может и живое вообше появится не могло) был выбран именно наш.
Далее для большей наглядности я бы хотел показывать все на более бытовом примере. Представьте что Вы находитесь на кухне и перед Вами яблоки (яблоки будут символизировать варианты выбора развития вселенной), и Вам надо выбрать самое сладкое/вкусное (сладость будет символизировать смысл того пути развития который Вы выберете). Вы в данном примере выступаете такой высшей «супер силой» которая наделена правом оценить все яблоки и выбрать самое вкусное. Надеюсь сравнение понятны? Отлично, Значит продолжаем.
Существует два известных варианта выбора самого вкусного яблока из тех что перед Вами:
1. Вы берете любое на обум и полагаете что оно самое вкусное. Эту позицию важно понять. Так как очень много сегодня разных тео-концепций базируются на том, что какое либо действие той или иной 'супер силы' уже есть осмысленно так как субъектом этого действия выступает 'супер сила'. Такая позиция сродни тому что было написано в начале этого пункта, Вы выбираете одно яблоко на обум и утверждаете что оно самое вкусное так как сравнить нельзя, так как Вы выбираете один, и так как Вы никогда не сравните его с другими.
2. Каждое из лежащих перед Вами яблок Вы тщательно анализирует на предмет соответствия его базису 'вкусного' и лишь после анализа выбираете самое вкусное. С первого взгляда можно предположить что раз Вы супер сила то и Вы сами создаете это самый базис «вкусное», но это не так. Во-первых данный базис является данный Вам от рождения, во вторых если бы Вы могли на него влиять то вся эта схема выродилась бы в первый вариант выбора яблок. То есть мы приходим к выводу что у Вас есть некий данный Вам свыше базис с которым Вы и сопоставляете свой выбор. На уровне вселенной мы имеем в виду что над создателем (супер силой) есть еще базис смысла ей не подвластный (иначе как мы уже увидели это будет первый тип выбора смысла).
Что мы имеем в результате. Два варианта. В первом само понятие вообще теряет смысл так как очевиден абсурд выбора (неважно что будет выбрано, то мы осмысленным и назовем, т. е. назовем яблоко вкусным потому что выбрали именно его, а не потому что оно действительно вкусное). Во втором мы имеем проблему наличия более высокого базиса а значит появляется вопрос: откуда он? Варианта для появления (читайте «выбора») этого базиса два)))) думаю не стоит продолжать что бы понять что мы войдем в вечный цикл продолжая размышлять о базисе для базиса.
Быть может для кого то ситуация со смыслом может показаться тупиковой. Отнюдь, но об этом уже в другой раз)

Небольшое сравнение того что можем мы и что предлогает Яндекс

analiz — Sun, 19 Jul 2009 12:23:23 GMT

Ранее при рассмотрении алгоритма поиска фактов (напомню что прошлыми постами я начал рассматривать решение задачи поиска фактов в тексте по отношению к персонам указанным в том же тексте) были разумно приведены программное решения от Яндекса, как альтернатива. Однако решения от Яндекса во первых: не может быть применено локально к одному файлу, во вторых Яндекс до сих пор не способен построить сколь либо серьезный граф связей между любыми двумя персонами. По этому напомню функционал который мы собираемся реализовывать:

Программный комплекс в итоге должен:
- Уметь находить в тексте персоны
- Уметь находить в тексте факты и привязывать их к найденным персонам
- Уметь строить взаимосвязи (и проводить градацию взаимосвязей) между любыми найденными персонами