Home Credit Default Risk

[Eugene Lutsenko]

Хорошо, значит это доделаю и тогда уже вышлю новый модуль синтеза модели.

неверно тебе сказал. Это так рассчитывается первая колонка после классов:

[Eugene Lutsenko]

А Model_sint_S.exe работает без замечаний, txt-файлы в системе открываются нормально.

Модуль Model_sint_D.exe записывает файлы в папку, в которой он находится, а не в папку приложения. Если их туда скопировать самому, то они тоже открываются нормально.

Надо бы, конечно, делать проверку на то, доступны необходимые файлы или нет, и, если недоступны (заняты), выдавать сообщение о необходимости их закрыть (выйти в главное меню системы). А то сейчас просто выдается ошибка доступа

[Eugene Lutsenko]

Ждем модули распознавания!

Дима!

Не мог бы ты сделать, чтобы модуль распознавания выдавал такой же результат, как режим 4.1.2() (пакетное распознавание), но по всем моделям и интегральным критериям, а не только по текущей модели (без выходных форм - я их сам посчитаю). Я имею в виду файл: Rasp.dbf.

В нем уже есть поля по двум инт.критериям, поэтому достаточно записать файлы вида: Rasp_abs.dbf, Rasp_prc#.dbf, Rasp_inf#.dbf. А один из них, по той модели, которая в базе Appls.dbf задана текущей, кроме того еще и записать как Rasp.dbf.

Я понял, как для мультиклассового распознавания выглядит обобщение того наблюдения над моделями бинарной классификации.

[Eugene Lutsenko]

Модуль Model_sint_D.exe все равно записывает txt-матрицы в папку, где находится, а не в папку текущего приложения.
На отсутствие доступа к файлам реакция разумная.

Если в некоторой модели при бинарной классификации получены результаты: {Xi}, обеспечивающие достоверность (A), то при замене Xi => 1-Xi для всех i будет получена достоверность (1-A).

Я рассуждал так. В любой модели у каждого класса всегда есть наиболее сильно отличающийся от него класс, а вместе они составляют полюса конструкта. Если по одному из таких классов получены результаты распознавания: {Xi}, обеспечивающие достоверность (A), то при замене Xi => 1-Xi для всех i для противоположного класса будет получена достоверность (1-A). Но роль наиболее низкой достоверности (в бинарной классификации это было 0,5) в мультиклассовом варианте будет играть 1/W, где W - это число классов. Это просто вероятность случайно угадывания правильного класса в предположении, что они равновероятны. Так что все это делать имеет смысл только для моделей и классов, у которых достоверность идентификации ниже вероятности случайного угадывания и обрабатывать по 2 класса.

Цикл по классам.
Если достоверность идентификации класса ниже вероятности случайного угадывания, то поступаем с ним и с самым на него не похожим классом как в модели бинарной классификации.
Конец цикла по классам.

[Eugene Lutsenko]

Это про классы. А по признакам я тоже пробовал дихотомические признаки указывать не только "да", но и "нет" (1, 0). Отсутствие данных тоже можно считать признаком. Результат при этом получается лучше. Возможность задать эту опцию есть в параметрах режима 2.3.2.2.

[Eugene Lutsenko]

А как движутся дела с модулем распознавания?

В базе Appls.dbf отмечено текущее приложение, а текущая модель в файлах:

c:\Aidos-X\AID_DATA\A0000001\System\_CurrInf.arx
c:\Aidos-X\AID_DATA\A0000001\System\_CurrInf.txt (сделал для твоего удобства, но его еще нет в той версии, которая на сайте).
В нем просто порядковый номер модели в соответствии с массивом: {"Abs", "Prc1", "Prc2", "Inf1", "Inf2", "Inf3", "Inf4", "Inf5", "Inf6", "Inf7" }. Число занимает первые 3 разряда

[Eugene Lutsenko]

Текущую модель нужно знать для распознавания? Но зачем, я ведь всё равно делал распознавание для всех моделей. Или делать только текущей?

распознавать для всех моделей и инт.критериев, а потом потом текущую записать еще и как rasp.dbf. А имена остальных вида: rasp_abs.dbf, rasp_prc#.dbf, rasp_inf#.dbf, где #=1,2 (для prc),...,7 (для inf).

Не мог бы ты сделать, чтобы модуль распознавания выдавал такой же результат, как режим 4.1.2() (пакетное распознавание), но по всем моделям и интегральным критериям, а не только по текущей модели (без выходных форм - я их сам посчитаю). Я имею в виду файл: Rasp.dbf.

В нем уже есть поля по двум инт.критериям, поэтому достаточно записать файлы вида: Rasp_abs.dbf, Rasp_prc#.dbf, Rasp_inf#.dbf. А один из них, по текущей модели, кроме того еще и записать как Rasp.dbf.

[Eugene Lutsenko]

Дима!
С твоими модулями синтеза моделей и распознавания можно поэкспериментировать с режимами сочетаний классов (3.7.7.) и сочетаний признаков (3.7.8.)





Без них я эти режимы не использовал из-за большого времени расчетов.

[Eugene Lutsenko]

Это все работает. Я проверял на маленьких задачах (лабораторных работах). Эти режимы были еще в dos-версии системы Эйдос. Сейчас я только жду твой модуль распознавания. Само докодирование занимает тоже много времени (это на задаче Каггла: http://www.kaggle.com/c/house-prices-ad ... techniques для новичков).

В общем надо писать все заново более эффективно. Но я наверное уже не буду. Я ничего не успеваю даже того, что должен. Начались занятия. И т.д.......... очень много всего

[Eugene Lutsenko]

Система Эйдос очень большая, в ней есть очень много всего, кроме синтеза и распознавания. И даже в режимах синтеза и распознавания есть очень много всего, чего нет в твоих модулях. Наверное ты прав, что новую система, которую ты разрабатываешь, в чем-то можно считать потомком системы Эйдос. Но пока ей до этого (чтобы все делалось в твоей программе) очень и очень далеко. Посмотри здесь: http://lc.kubagro.ru/aidos/_Aidos-X.htm перечень подсистем и режимов системы Эйдос уровня главного меню (без экранных форм, в которых тоже есть свои кнопки, меню, переключатели и т.п.). Но ты едва ли все это будешь делать, т.к. оно тебе не надо. Это мне было надо (и сейчас надо), вот я это и делаю. А ты сделаешь что-то другое, что тебе надо. Здесь есть общее краткое описание системы Эйдос: http://lc.kubagro.ru/aidos/Presentation ... online.pdf с многочисленными ссылками на некоторые мои работы, где что-то описывается подробнее. И, конечно, ты уже вырос из просто программиста, реализующего чужие постановки (проекты), в разработчика, у которого есть свое видение и который уже способен создать свою систему, которой еще не было. Я когда начинал делать систему Эйдос ничего похожего тоже вообще нигде не было. Это теперь что-то подобное есть, но не вполне.