Santander Value Prediction Challenge

[Eugene Lutsenko]

спокойной ночи

[Eugene Lutsenko]

Доброе утро!

Дима!

1. В модуле распознавания в конце надо писать не "Объектов обучающей выборки", а "Объектов распознаваемой выборки".

2. Прошу все же доделать формат txt-матриц моделей в модуле синтеза моделей. А то я так фактически не могу его использовать в системе.

3. С модулями нормализации вроде все понятно, но почему-то не получаются твои результаты. Пока твой результат: минимальный RMSLE какой тебе удалось получить - 1.3328303099 (модель inf5k), повторить не получилось. В этой модели в файле results_RMSLEmin_inf5k.csv получается вот что (совсем другое):

RMSLE; 1.921272635
A; 0.200000002
B; 901367.187500000
Id; target
000d6aaf2; 3925102.25000000
000fbd867; 3325552.25000000
0027d6b71; 1087232.25000000
0028cbf45; 1726752.25000000
002a68644; 1007292.18750000
002dbeb22; 8721502.00000000

4. Запустил новые модули на модели с 1000 классов и по 5 градаций в описательных шкалах.
Модуль минимизации написал, что выход за пределы памяти (out of memory) на загрузке матрицы Inf2:
.
А вообще видно, что решение было правильным, т.е. эти модели получаются более достоверными (многие модели в районе 1.5). Жалко, что может не хватить времени их посчитать, минимизировать и нормализовать.

PS
Конечно п.1 инструкции: "1. Устанавливаете в файлы Rsp_Kpr.dbf и Rsp_Kcl.dbf обучающую выборку" можно было бы исключить, если бы модуль брал данные прямо из обучающей выборки. Тогда и п.4 инструкции: "4. Устанавливаете в файлы Rsp_Kpr.dbf и Rsp_Kcl.dbf тестовую выборку" сам собой стал бы ненужным, т.к. она там и так установлена и не испорчена на п.1.

Ссылку на модели послал на почту

[Eugene Lutsenko]

Сейчас перезагрузил комп и запустил на тех же данных, на которых вылетало по памяти. Сейчас не вылетает

[Eugene Lutsenko]

Все же дает. Без него было где-то 2.06, а сейчас 1.51. Таких моделей несколько (это на 1000 кл.и по 5 гр.обуч.выборки):

RMSLE; 1.511955142
A; 0.301999986
B; 392334.000000000
Id; target
000d6aaf2; 11862751.0000000
000fbd867; 938550.812500000
0027d6b71; 6636034.00000000
0028cbf45; 1928367.87500000
002a68644; 4740897.00000000
002dbeb22; 1240324.37500000
003925ac6; 407429.468750000

[Eugene Lutsenko]

Отлично! Спасибо!

[Eugene Lutsenko]

Дима!

Я придумал высокоэффективный алгоритм обучения, позволяющий создавать существенно более достоверные модели. Давай расскажу тебе по Скайпу.

Модуль распознавания все равно так и пишет, что распознавал обучающую выборку:

[Eugene Lutsenko]

работает правильно, а просто на этом экране надпись сделана из надписи из модуля синтеза моделей и осталось, что расп.выб.

с матрицами лучше, но все равно что-то не то. потом напишу

[Eugene Lutsenko]

Это тоже касается создания промежуточного скрытого слоя. Просто я уже это делал, но в виде отдельного режима. А теперь придумал, как это совместить с обучением. Вообще-то я давно это придумал, но не делал, т.к. для этого нужно использовать твою технологию, иначе комп встанет колом и все.

При нормализации реальной тестовой выборки (49342 объекта) при начале работы модуля сразу возникает ошибка:

Я давал ссылку на реальные модели. Надо проверять на них, что я и делаю

[Eugene Lutsenko]

а ошибка?

[Eugene Lutsenko]

ок