Chaos and Correlation

Petrovich писал(а):

Eugene Lutsenko писал(а):я имел в виду другую задачу - 2-ю про банки, в которой 4993 класса:
https://www.kaggle.com/c/santander-valu ... lenge/data
https://www.kaggle.com/c/santander-valu ... evaluation
хотя разработки Димы могут сыграть очень большую роль при решении любых задач большой размерности и задач, которые должны решаться в реальном времени (например общение с роботом на естественном языке).

Это вообще дурацкая задача. И сочиняют такие задачи идиоты из банков. Хотя задача с ускорителя ничем не лучше, ее сочиняли такие же идиоты.

Да, задача дурацкая, в смысле примитивная. Если бы не два "но". 1-е - это огромное число классов: 4993. 2-е - чудовищно огромная тестирующая выборка которая даже в csv около 1.5 Гб (а в базах данных будет в три раза больше). Эта тестирующая выборка ничем не открывается. Я даже не представлю, сколько там тестируемых объектов. Миллиарды наверное. Я пока делаю версию системы, которая сможет со всем этим справится. Но эта работа продвигается медленно, т.к. у меня есть сверхсрочные и сверхважные задания от шефа, которые я выполняю в отпуске. Пока я за отпуск (со 2-го июля) успел только написать свою часть монографии, почти написал учебное пособие и уже написал 6 ваковских статей. При таком числе классов ее можно распознавать годами без Диминых технологий. Или надо иметь доступ к суперкомпьютеру. В общем сложность только в огромной размерности задачи, а не в ее логической сложности. Похоже постановщики издеваются над исполнителями и тестируют не столько их самих, сколько возможности их программных систем, которые они создали.

Конечно 4993 не классов, а вообще всех шкал. Классификационная шкала только одна: TARGET. Таким образом 4993-2=4991 описательных шкал (есть еще колонка ID, которая не является шкалой). На сколько я знаю в факторном анализе можно использовать не более 7 шкал, в статистических системах не более 70. В системе Эйдос текущей версии до 1500 (это суммарное количество классификационных и описательных шкал). Сейчас я делаю, чтобы не было особого ограничения, ну например можно было использовать суммарно до 16000 шкал и более.

Посчитал сколько примерно объектов тестовой выборки в файле test.csv:

Код: Выделить всё

Файл:           Число           Размер
                объектов        файла (байт)
train.csv:      4461              65160613
test.csv:         Х             1014174166


X=(4461*1014174166)/65160613=69431,98883850279, т.е. около 70000 объектов тестовой (распознаваемой) выборки

Дмитрий Бандык писал(а):Евгений Вениаминович, не могли бы вы показать примеры файлов которые должен сгенерировать мой модуль после выполнения верификации модели.

Надо в системе в режиме 1.3 установить лаб.работу 3.03, потом выполнить 3.5 (синтез и верификация моделей), а затем 4.1.2 (распознавание - верификация) и посмотреть 4.1.3.6 (отображение результатов верификации). Если в папке приложения: c:\Aidos-X\AID_DATA\A0000001\System рассортировать файлы по дате и времени, то базы данных режимов 4.1.2 и 4.1.3.6 окажутся вверху списка.

Да, это и есть основной файл.
Но можно создать новую базу по результатам распознавания:

строки - объекты распознаваемой выборки
колонки - класс
на пересечении уровень сходства/различия.

Такие файлы нужно создавать для всех моделей и всех интегральных критериев и отражать модель интегральный критерий в имени файла:
- модель прямо писать Abs, Prc1, Prc2, Inf#? где # = 1,2,...,7
- интегральный критерий сумма информации - i, резонанс знаний - k

Получится имя типа: Rsp_Inf3_i.dbf

Вообще-то распознавание с интегральным критерием "сумма знаний" - это просто операция перемножения матриц обучающей выборки и модели: в матрице-результате получаются суммы произведений элементов строки на элементы столбца исходных матриц

Все же в 1-й колонке нужно указывать имя объекта распознаваемой выборки из базы: Rso_Zag.dbf, а номер строки должен совпадать с номером строки в этой базе (код объекта). А дальше уже классы

Получен 1-й предварительный результат по распознаванию части обучающей выборки по задаче с банками.
Получилась модель высокой достоверности:

Дима!

Шлю тебе полную модель на 253 описательных шкалах, 10 интервальных значений во всех шкалах: в 1 классификационной и 253 описательных: http://lc.kubagro.ru//Dima/Aidos-X_min.rar. Разворачивать надо на диске c:\Aidos-X.

В архиве есть файл: "c:\Aidos-X\AID_DATA\Inp_data\Экранные формы 254 шкалы 1-м файлом.doc" с небольшим описанием. В этом примере всего сколько должно быть.

я много сил потратил на создание версии системы Эйдос, работающей с мультитаблицами, но пока безуспешно

я уже не смогу существенно изменить стиль программирования, т.к. создание и совершенствование системы уже вложены многие годы труда, а еще осталось совсем не многие годы

Евгений, у тебя есть наши монографии в формате пдф?