Chaos and Correlation

Petrovich писал(а):

Дмитрий Бандык писал(а): Ну а я могу этим пользоваться как своим эксклюзивным методом уже сейчас. И думаю могу вполне успешно конкурировать с другими.

ты, Дима, сам по себе уникален как музейный экспонат.

я тоже думаю, что Дима уникален, как, впрочем и остальные форумчане и сам форум

Объявили конкурс по банковской тематике на https://www.kaggle.com/c/santander-valu ... +June+2018
Там дают 60К за простенькую задачку.

Petrovich писал(а):Объявили конкурс по банковской тематике на https://www.kaggle.com/c/santander-valu ... +June+2018
Там дают 60К за простенькую задачку.

Давай попробуем решить под руководством Александра Петровича.
Мне нужны исходные данные для формирования обучающей выборки и тестовая выборка.
Задачка может быть и не очень сложная, но в этом случае сложность наверное состоит в получении модули наиболее высокой достоверности, выше, чем у других команд

Eugene Lutsenko писал(а):

Petrovich писал(а):Объявили конкурс по банковской тематике на https://www.kaggle.com/c/santander-valu ... +June+2018
Там дают 60К за простенькую задачку.

Давай попробуем решить под руководством Александра Петровича.
Мне нужны исходные данные для формирования обучающей выборки и тестовая выборка.
Задачка может быть и не очень сложная, но в этом случае сложность наверное состоит в получении модули наиболее высокой достоверности, выше, чем у других команд

данные здесь https://www.kaggle.com/c/santander-valu ... lenge/data
начать можно с train.csv.zip для тренировки

Запущу на компьютере на работе. Пусть пашет. А сроки какие обозначены? Какие-то странные наименования колонок. Наверное зашифрованные. Есть ли там какие-нибудь требования к погрешности предсказания величине транзакции? Если я возьму и разделю весь диапазон изменения величины транзакции на 10 интервалов, этого будет достаточно? Или нужно делить
этот диапазон на 100 или на 1000 интервалов? Комп на работе уже 2 часа преобразует train.csv в нормальный Excel-файл и уже около 60% преобразовал. Наверное тестовая выборка будет распознаваться на одном компе лет 10, точнее скажу позже. Сложность этой задачи в огромном объеме исходных данных и гигантском объеме тестирующей выборки. В какой форме нужно представить на Каггл результат распознавания тестирующей выборки? Мне еще ни разу не встречалась задача, в которой было бы 4990 описательных шкал, а в этой задаче их именно столько. Сейчас запустил процесс ввода этой Excel-таблицы в систему Эйдос и она вылетела. Попробую ввести в систему Эйдос dbf-файл, сначала сделав его из csv не используя Excel. Так что это не такая уж и простая задача

Я вспоминал про этот модуль. Но я все время вношу в систему много изменений и до него не доходят руки

Давай попробуем. Хотя режим 3.5 считает и верифицирует не только 10 моделей с разными вариантами настроек, но и еще делает около 20 выходных форм и баз данных, которые потом используются в других режимах. Поэтому твой модуль его не заменяет. но пока проблема не в этом, а в том, что CSV-файлы содержат по 4990 полей-описательных шкал (я никогда не сталкивался с задачами такой размерности), а система Эйдос в текущей версии обеспечивает создание моделей с 1500 (максимум с 1700 шкалами: описательные+классификационные). Это очень много. Для сравнения: системы статистика и SPSS кажется поддерживают до 70 шкал. Я могу снять это ограничение. Это даже и не очень сложно. Но требует переделки нескольких режимов. Что касается 60 тыс. долларов. Если честно, я думаю в мире найдется кому их заработать, кроме нас.

я тоже, видимо, переделаю систему так, чтобы снять это ограничение

Ограничение на размерность матриц моделей я снял давно: еще в 2012 году. Проверял на численных примерах 100000 на 100000. А вот сейчас в этой простенькой задаче оказалось 4990 описательных шкал, тогда как текущая версия системы Эйдос позволяет строить модели на примерно 1500-1700 классификационных+описательных шкал. Сейчас я думаю, как снять это ограничение. Прорабатываю 2 варианта. Один уже придумал, как реализовать. Не сложно, но нужно программировать. А 2-й может быть если получится вообще можно быстро сделать, т.к. программирования там почти нет. Но сейчас идут защиты (у меня 5 дипломников и 3 магистранта с диссертациями), потом техобслуживание (80000 км), 6 статей по 3 грантам, журнал, около 20 дисциплин в 2-х университетах: http://lc.kubagro.ru/aidos/p14.htm, http://lc.kubagro.ru/My_training_schedule.doc, по которым надо делать кучу документов, совершенствование системы Эйдос, т.е. работы на отпуск хватит, чтобы вообще не отдохнуть

Конечно попробуем. В этом есть перспектива. Но у меня очень большое подозрение, что целостный продукт на новых принципах ты будешь создавать сам. А потом с ним придешь на Каггл и займешь первые места по всем конкурсам