Santander Value Prediction Challenge

[Eugene Lutsenko]

остается неясной причина отличия от результатов полученных у вас.

У меня модуль Model_rec_RMSLE_minimize.exe создает файлы вида: results_RMSLEmin_inf3k.csv, в которых разделители точка с запятой, пробелы между названиями и значениями полей, нет десятичных знаков:

results_RMSLEmin_prc2k.csv:
RMSLE; 1.949274897
A; 0.200000002
B; 959960.937500000
Id; target
000137c73; 1385645
00021489f; 1425615
0004d7953; 1625465
00056a333; 5022916
00056d8eb; 4982945
0005fc190; 3504055
000787e86; 8180545
0008510a0; 8220516
000895faf; 6661685
000986fba; 6701656

Может быть у меня модули устарели? Или может быть какой-нибудь модуль вообще неправильно работает? Вышли мне версии, которыми ты пользуешься, плз. Я сейчас все пересчитаю и запишу в облако по той же ссылке, чтобы ты мог посмотреть.

Пошли все свои файлы результатов Александру Петровичу. У меня такое чувство, что у меня они считаются неправильно

[Eugene Lutsenko]

Получилась довольно плохонькая модель с оценкой 1.83, а лучшая там 0.47. Надо заняться ее улучшением. Отправлять можно каждый день по три варианта. https://www.kaggle.com/c/santander-valu ... eaderboard

У меня есть идеи, но они требуют времени для программной реализации и проверки.

[Eugene Lutsenko]

ok.

модуль Model_rec.exe дает ошибку по памяти на большой распознаваемой выборке. ты ее исправил в модулях Model_rec_RMSLE_minimize.exe и Model_rec_test_normalize.exe.

только что посчитал с новыми программами:

results_RMSLEmin_inf2k.csv
RMSLE,2.075202226
A,0.200000002
B,252441.406250000
Id,target
000137c73,6433806.000000002
00021489f,4315396.500000001
0004d7953,4275426.000000001
00056a333,4315396.500000001
00056d8eb,4275426.000000001
0005fc190,8072576.500000002

[Eugene Lutsenko]

До окончания расчета распознаваемой выборки на 1000 классов с 5 градациями в описательных шкалах осталось около суток. Так что может быть успеем. Как только посчитается, я сразу пошлю Диме, он посчитает и пошлет все результаты Александру Петровичу, а он, если конкурс к тому времени еще не закончится, разместит на Каггле. Вроде по времени это возможно. У меня на компе считается не так, как у Димы.

[Petrovich]

Дима, твой результат 1.77 на варианте results_RMSLEmin_prc1k. остальные хуже.

[Eugene Lutsenko]

Модуль Model_rec.exe нормально сработал на большой выборке. Единственно, в конце написал, что распознавал обучающую выборку, а не распознаваемую:)

[Eugene Lutsenko]

Дима! Это определил Каггл распознав нормализованную тестовую выборку на 45% данных/
Дима! Я могу дать тебе доступ на мой комп по TeamViewer в любое время (если буду дома в это время)

[Eugene Lutsenko]

Понял. Тогда это нормально - это может отличаться от значений посчитанных на обучающей выборке.

Должно отличаться. Значения, посчитанные на обучающей выборке - это наша прикидка, попытка определить лучшуюю модель и инт.критерий на ограниченных данных

[Eugene Lutsenko]

Модуль Model_rec.exe нормально сработал на большой выборке. Единственно, в конце написал, что распознавал обучающую выборку, а не распознаваемую:)

исправлю.

Это во всех модулях распознавания, базовом, мин, и норм

[Eugene Lutsenko]

Вообще говоря модули Model_rec_RMSLEmin и Model_rec_test_normalise потеряют актуальность завтра - есть ли смысл тратить время на текст выводимый в них в конце.

Если же говорить о модуле Model_rec который сохранит актуальность немного дольше то он не знает какую на самом деле выборку обрабатывает - он просто берет данные из файлов Rsp_Kpr и Rsp_Kcl.

Поэтому я сделал просто - написал "Объектов выборки" - не конкретизируя какой именно.

Rsp_Kpr и Rsp_Kcl - это файлы распознаваемой выборки. В них можно скопировать обучающую выборку, что я иногда и делаю. Но они все равно остаются базами распознаваемой выборки.

Надо понять, почему у тебя и у меня получаются разные результаты.

Я не смогу использовать модуль синтеза моделей в составе системы Эйдос, пока он не будут давать же txt-матрицы моделей, что система Эйдос.