Агроном

[Akim Onoke]

Чтобы активизировать дискуссию привожу сомнение о корректности вычисления частных критериев по одним и тем же формулам:
INF1 и INF2; INF4 и INF5; INF6 и INF7. Смотрите Таблицу 7 – Частные критерии знаний системы «Эйдос-Х++» в монографии: "Прогнозирование и принятие решений по выбору агротехнологий в зерновом производстве с применением методов искусственного интеллекта (на примере СК-анализа). Монография (научное издание). – Краснодар, КубГАУ. 2013. – 168 с."
Меня не покидает надежда, что Евгений Вениаминович в следующей монографии или статье приведет детальные пояснения к формулам вычисления частных критериев вместе с алгоритмами и примерами расчетов.

[Eugene Lutsenko]

Там в таблицах написано, что означают Nj в INF1 и INF2, и в других парах моделей с одинаковой формулой. А означают они разные вещи. И в каждой строке таблицы это пояснение дается. А алгоритм расчета, когда есть такая простая формула, сводится просто к вложенному циклу по строкам и столбцам матрицы ABS в результате чего ПРЯМЫМ СЧЕТОМ получаются матрицы PRC1, PRC2 и INF#. исходный текст системы Эйдос приводится. Это функции, имеющие такие же имена, как режимы их расчета: F3_1(), F3_2(), F3_3(), F3_5(), F3_5(). Еще детальнее уже не бывает.

Реальные довольно подробные алгоритмы всех базовых когнитивных операций, реализованных в системе Эйдос, я привел в книге:
Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). – Краснодар: КубГАУ. 2002. – 605 с.
которая, как и другие, есть на моем сайте: по адресу: http://lc.kubagro.ru/aidos/index.htm
конкретно оглавление: http://lc.kubagro.ru/aidos/aidos02/index.htm
алгоритмы на странице: http://lc.kubagro.ru/aidos/aidos02/4.3.htm

[Akim Onoke]

На странице: http://lc.kubagro.ru/aidos/aidos02/4.3.htm приведены 25 алгоритмов, которые задают последовательность базовых когнитивных операций системного анализа. Приходится только удивляться трудолюбию автора. Многие алгоритмы позволяют определить уровни или диаграммы Мерлина, но ни один алгоритм не показывает как вычислять "Частные критерии знаний системы Эйдос"
Давайте рассуждать так: имеем одинаковые исходные данные, имеем одинаковые формулы для вычисления частных критериев. По имеющейся формуле можно построить несколько алгоритмов вычислений. Но если придерживаться правил: сначала умножаем и делим, потом складываем и вычитаем, то результат будет один и тот же. Участников форума прошу опровергнуть или поддержать данный тезис.

[Eugene Lutsenko]

Алгоритмы вычисления частных критериев есть в многочисленных статьях, например в таблице 5 на стр.13 в статье http://ej.kubagro.ru/2014/03/pdf/48.pdf. В статье http://ej.kubagro.ru/2014/01/pdf/07.pdf подробно описываются расчеты матриц знаний на основе эмпирических днных.

Когда я писал монографию в 2002 году был только один частный критерий, который соотвествует INF1 в таблице 5.
Про него в этой монографии написано здесь: http://lc.kubagro.ru/aidos/aidos02/3.htm

Если в одну и ту же формулу подставлять разные значения, то будет получаться разный результат. Мне казалось, что это не требует какого-то дополнительного объяснения

[Akim Onoke]

Если в формулы подставлять разные значения, то обозначения этих переменных в формулах должно быть разным. Нельзя разные переменные обозначать в формулах одинаковыми символами, тем более что их значения разные.
Частные критерии INF6, INF7 рассчитываем по одинаковым формулам, зачем? Неужели символов для разных переменных не хватает?

[Eugene Lutsenko]

Там в каждой строчке даны определения ипользуемых переменных. Если этого недостаточно - можете использовать для INF6 латинский алфавит, а для INF7 - греческий. В принипе я с Вами согласен. Если Вам так удобнее - введите свои обозначения. При программировании программы расчета не отличаются, различие только в источнике данных, поэтому мне так было удобнее. В этом факте тоже содержится полезная информация.

[Akim Onoke]

Из-за большого объема публикаций физически не удается все прочитать. Но остается непонятным следующий вопрос.
Для каждой модели рассчитывается количество ошибок первого и второго рода. Кто этот арбитр? Как эти ошибки определяются? Если существует универсальная модель (безошибочная), то может ее надо сразу ее и применять?

[Eugene Lutsenko]

Из-за большого объема публикаций физически не удается все прочитать. Но остается непонятным следующий вопрос.
Для каждой модели рассчитывается количество ошибок первого и второго рода. Кто этот арбитр? Как эти ошибки определяются? Если существует универсальная модель (безошибочная), то может ее надо сразу ее и применять?

Эти ошибки вычисляются при распознавании обучающей выборки. Арбитр тот, кто ее формировал. Для разных случаев разные модели показывают наилучшие результаты (поэтому мы с Александром Петровичем использовали алгоритмы голосования моделей), но обычно модели знаний намного лучше статистических.

Положительный псевдопрогноз.
Предположим, модель дает такой прогноз: выпадет 1, 2, 3, 4, 5 или 6. В этом случае у нее будет 100% достоверность идентификации, т.е. не будет ни одного объекта, не отнесенного к тому классу, к которому он действительно относится, но при этом будет очень большая ошибка ложной идентификации, т.к. огромное количество объектов будет отнесено к классам, к которым они не относятся (и именно за счет этого у модели и будет очень высокая достоверность идентификации). Ясно, что такой прогноз бесполезен, поэтому он и назван мной псевдопрогнозом.

Отрицательный псевдопрогноз.
Представим себе, что мы выбрасываем кубик с 6 гранями, и модель предсказывает, что не выпадет: 1, 2, 3, 4, 5 и 6, а что-то из этого естественно выпало. Конечно, модель дает ошибку в прогнозе в том плане, что не предсказала, что выпадет, зато она очень хорошо угадала, что не выпадет. Но ясно, что выпадет что-то одно, а не все, что предсказано, поэтому такого рода предсказания хорошо оправдываются в том, что не произошло и плохо в том, что произошло, т.е. в этом случае у модели будет 100% достоверность не идентификации, но очень низкая достоверность идентификации.

Идеальный прогноз.
Если в случае с кубиком мы прогнозируем, что выпадет, например 1, и соответственно прогнозируем, что не выпадет 2, 3, 4, 5, и 6, то это идеальный прогноз, имеющий, если он осуществляется, 100% достоверность идентификации и не идентификации. Идеальный прогноз, который полностью снимает неопределенность о будущем состоянии объекта прогнозирования, на практике удается получить крайне редко и обычно мы имеем дело с реальным прогнозом.

Реальный прогноз.
На практике мы чаще всего сталкиваемся именно с этим видом прогноза. Реальный прогноз уменьшает неопределенность о будущем состоянии объекта прогнозирования, но не полностью, как идеальный прогноз, а оставляет некоторую неопределенность не снятой. Например, для игрального кубика делается такой прогноз: выпадет 1 или 2, и, соответственно, не выпадет 3, 4, 5 или 6. Понятно, что полностью на практике такой прогноз не может осуществиться, т.к. варианты выпадения кубика альтернативны, т.е. не может выпасть одновременно и 1, и 2. Поэтому у реального прогноза всегда будет определенная ошибка идентификации. Соответственно, если не осуществится один или несколько из прогнозируемых вариантов, то возникнет и ошибка не идентификации, т.к. это не прогнозировалось моделью.
Теперь представите себе, что у Вас не 1 кубик и прогноз его поведения, а тысячи. Тогда можно посчитать средневзвешенные характеристики всех этих видов прогнозов.

Таким образом, если просуммировать проценты верной идентификации и не идентификации и вычесть проценты ложной идентификации и ложной не идентификации, то это и будет критерий качества модели, учитывающий как ее способность верно относить объекты к классам, которым они относятся, так и ее способность верно не относить объекты к тем классам, к которым они не относятся.

[Akim Onoke]

Если обучающая выборка составлена пользователем неправильно, тогда все сформированные модели будут неверными и полученные результаты применять нельзя. Что же тогда делать?

[Eugene Lutsenko]

Если обучающая выборка составлена пользователем неправильно, тогда все сформированные модели будут неверными и полученные результаты применять нельзя. Что же тогда делать?

Если в лучшую в мире мясорубку, пусть даже за миллион долларов, загрузить пропавший фарш, то получите отвратительные котлетки, но разработчики и изготовители мясорубок здесь не при чем. Что же делать? Загружать нормальный фарш! Из дерьма конфетку не вылепишь. Но вообще-то вылепить можно, но она все равно будет не шоколадная, а из дерьма