[phpBB Debug] PHP Notice: in file /viewtopic.php on line 981: date(): It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected the timezone 'UTC' for now, but please set date.timezone to select your timezone.
[phpBB Debug] PHP Notice: in file /viewtopic.php on line 981: getdate(): It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected the timezone 'UTC' for now, but please set date.timezone to select your timezone.
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4183: Cannot modify header information - headers already sent by (output started at /includes/functions.php:3493)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4185: Cannot modify header information - headers already sent by (output started at /includes/functions.php:3493)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4186: Cannot modify header information - headers already sent by (output started at /includes/functions.php:3493)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4187: Cannot modify header information - headers already sent by (output started at /includes/functions.php:3493)
Chaos and Correlation • Просмотр темы - Home Credit Default Risk

Home Credit Default Risk

Модераторы: ТВЧ, Petrovich

Re: Home Credit Default Risk

Сообщение Eugene Lutsenko » Ср авг 29, 2018 8:27 pm

Petrovich писал(а):
Eugene Lutsenko писал(а):Поэтому я и использовал как меру ценности признака вариабельность информативности, т.е. чем больше она отклоняется от нуля по всем классам, тем признак лучше. И модель та лучше, в которой выше вариабельность информативностей. Об этом я тоже пишу везде много лет.

https://www.vestifinance.ru/articles/105929

Это ценное наблюдение. Надо бы придумать сходящийся процесс из отдельных неудачных моделей, как в методе стрельбы.

Перед сравнением все значения в матрицах моделей нужно стандартизировать. После этого модели можно сравнивать по ср.кв.откл. значений в них
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Home Credit Default Risk

Сообщение Eugene Lutsenko » Пт авг 31, 2018 10:41 am

Дмитрий Бандык писал(а):На выходных вышлю переработанные и исправленные версии модулей и опишу своё видение дальнейшего движения.

Много ли пришлось исправлять, что и где? (основные)
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Home Credit Default Risk

Сообщение Eugene Lutsenko » Пт авг 31, 2018 12:42 pm

Дмитрий Бандык писал(а):Только есть пару нюансов по текстовой форме матриц prc - надо будет уточнить у вас как правильно делать. Не смог сам понять содержание третьего справа столбца. Оно отличается по смыслу от этого же столбца во всех других матрицах - в других это просто сумма по строке, а в prc я не понял что.
=====
По распознаванию скажу позже.

Это безусловная вероятность. Рассчитывается также, как и условная, только данные берутся не из колонки abs по классу, а из колонки abs: "Сумма"
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Home Credit Default Risk

Сообщение Eugene Lutsenko » Пт авг 31, 2018 1:39 pm

Дмитрий Бандык писал(а):Хорошо, значит это доделаю и тогда уже вышлю новый модуль синтеза модели.

неверно тебе сказал. Это так рассчитывается первая колонка после классов:
Изображение
Изображение
Изображение
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Home Credit Default Risk

Сообщение Eugene Lutsenko » Пт авг 31, 2018 2:09 pm

А Model_sint_S.exe работает без замечаний, txt-файлы в системе открываются нормально.

Модуль Model_sint_D.exe записывает файлы в папку, в которой он находится, а не в папку приложения. Если их туда скопировать самому, то они тоже открываются нормально.

Надо бы, конечно, делать проверку на то, доступны необходимые файлы или нет, и, если недоступны (заняты), выдавать сообщение о необходимости их закрыть (выйти в главное меню системы). А то сейчас просто выдается ошибка доступа
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Home Credit Default Risk

Сообщение Eugene Lutsenko » Пт авг 31, 2018 3:00 pm

Ждем модули распознавания!

Дима!

Не мог бы ты сделать, чтобы модуль распознавания выдавал такой же результат, как режим 4.1.2() (пакетное распознавание), но по всем моделям и интегральным критериям, а не только по текущей модели (без выходных форм - я их сам посчитаю). Я имею в виду файл: Rasp.dbf.
Изображение
В нем уже есть поля по двум инт.критериям, поэтому достаточно записать файлы вида: Rasp_abs.dbf, Rasp_prc#.dbf, Rasp_inf#.dbf. А один из них, по той модели, которая в базе Appls.dbf задана текущей, кроме того еще и записать как Rasp.dbf.

Я понял, как для мультиклассового распознавания выглядит обобщение того наблюдения над моделями бинарной классификации.
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Home Credit Default Risk

Сообщение Eugene Lutsenko » Сб сен 01, 2018 8:22 am

Модуль Model_sint_D.exe все равно записывает txt-матрицы в папку, где находится, а не в папку текущего приложения.
На отсутствие доступа к файлам реакция разумная.

Если в некоторой модели при бинарной классификации получены результаты: {Xi}, обеспечивающие достоверность (A), то при замене Xi => 1-Xi для всех i будет получена достоверность (1-A).

Я рассуждал так. В любой модели у каждого класса всегда есть наиболее сильно отличающийся от него класс, а вместе они составляют полюса конструкта. Если по одному из таких классов получены результаты распознавания: {Xi}, обеспечивающие достоверность (A), то при замене Xi => 1-Xi для всех i для противоположного класса будет получена достоверность (1-A). Но роль наиболее низкой достоверности (в бинарной классификации это было 0,5) в мультиклассовом варианте будет играть 1/W, где W - это число классов. Это просто вероятность случайно угадывания правильного класса в предположении, что они равновероятны. Так что все это делать имеет смысл только для моделей и классов, у которых достоверность идентификации ниже вероятности случайного угадывания и обрабатывать по 2 класса.

Цикл по классам.
Если достоверность идентификации класса ниже вероятности случайного угадывания, то поступаем с ним и с самым на него не похожим классом как в модели бинарной классификации.
Конец цикла по классам.
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Home Credit Default Risk

Сообщение Eugene Lutsenko » Сб сен 01, 2018 12:33 pm

Это про классы. А по признакам я тоже пробовал дихотомические признаки указывать не только "да", но и "нет" (1, 0). Отсутствие данных тоже можно считать признаком. Результат при этом получается лучше. Возможность задать эту опцию есть в параметрах режима 2.3.2.2.
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Home Credit Default Risk

Сообщение Eugene Lutsenko » Вс сен 02, 2018 2:13 pm

А как движутся дела с модулем распознавания?

В базе Appls.dbf отмечено текущее приложение, а текущая модель в файлах:

c:\Aidos-X\AID_DATA\A0000001\System\_CurrInf.arx
c:\Aidos-X\AID_DATA\A0000001\System\_CurrInf.txt (сделал для твоего удобства, но его еще нет в той версии, которая на сайте).
В нем просто порядковый номер модели в соответствии с массивом: {"Abs", "Prc1", "Prc2", "Inf1", "Inf2", "Inf3", "Inf4", "Inf5", "Inf6", "Inf7" }. Число занимает первые 3 разряда
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Home Credit Default Risk

Сообщение Eugene Lutsenko » Вс сен 02, 2018 3:19 pm

Дмитрий Бандык писал(а):Текущую модель нужно знать для распознавания? Но зачем, я ведь всё равно делал распознавание для всех моделей. Или делать только текущей?

распознавать для всех моделей и инт.критериев, а потом потом текущую записать еще и как rasp.dbf. А имена остальных вида: rasp_abs.dbf, rasp_prc#.dbf, rasp_inf#.dbf, где #=1,2 (для prc),...,7 (для inf).

Не мог бы ты сделать, чтобы модуль распознавания выдавал такой же результат, как режим 4.1.2() (пакетное распознавание), но по всем моделям и интегральным критериям, а не только по текущей модели (без выходных форм - я их сам посчитаю). Я имею в виду файл: Rasp.dbf.
Изображение
В нем уже есть поля по двум инт.критериям, поэтому достаточно записать файлы вида: Rasp_abs.dbf, Rasp_prc#.dbf, Rasp_inf#.dbf. А один из них, по текущей модели, кроме того еще и записать как Rasp.dbf.
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Пред.След.

Вернуться в Chaos and Correlation

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 25

cron