Chaos and Correlation

ok.

модуль Model_rec.exe дает ошибку по памяти на большой распознаваемой выборке. ты ее исправил в модулях Model_rec_RMSLE_minimize.exe и Model_rec_test_normalize.exe.

только что посчитал с новыми программами:

results_RMSLEmin_inf2k.csv
RMSLE,2.075202226
A,0.200000002
B,252441.406250000
Id,target
000137c73,6433806.000000002
00021489f,4315396.500000001
0004d7953,4275426.000000001
00056a333,4315396.500000001
00056d8eb,4275426.000000001
0005fc190,8072576.500000002

До окончания расчета распознаваемой выборки на 1000 классов с 5 градациями в описательных шкалах осталось около суток. Так что может быть успеем. Как только посчитается, я сразу пошлю Диме, он посчитает и пошлет все результаты Александру Петровичу, а он, если конкурс к тому времени еще не закончится, разместит на Каггле. Вроде по времени это возможно. У меня на компе считается не так, как у Димы.

Дима, твой результат 1.77 на варианте results_RMSLEmin_prc1k. остальные хуже.

Модуль Model_rec.exe нормально сработал на большой выборке. Единственно, в конце написал, что распознавал обучающую выборку, а не распознаваемую:)

Дима! Это определил Каггл распознав нормализованную тестовую выборку на 45% данных/
Дима! Я могу дать тебе доступ на мой комп по TeamViewer в любое время (если буду дома в это время)

Дмитрий Бандык писал(а):Понял. Тогда это нормально - это может отличаться от значений посчитанных на обучающей выборке.

Должно отличаться. Значения, посчитанные на обучающей выборке - это наша прикидка, попытка определить лучшуюю модель и инт.критерий на ограниченных данных

Дмитрий Бандык писал(а):

Eugene Lutsenko писал(а):Модуль Model_rec.exe нормально сработал на большой выборке. Единственно, в конце написал, что распознавал обучающую выборку, а не распознаваемую:)

исправлю.

Это во всех модулях распознавания, базовом, мин, и норм

Дмитрий Бандык писал(а):Вообще говоря модули Model_rec_RMSLEmin и Model_rec_test_normalise потеряют актуальность завтра - есть ли смысл тратить время на текст выводимый в них в конце.

Если же говорить о модуле Model_rec который сохранит актуальность немного дольше то он не знает какую на самом деле выборку обрабатывает - он просто берет данные из файлов Rsp_Kpr и Rsp_Kcl.

Поэтому я сделал просто - написал "Объектов выборки" - не конкретизируя какой именно.

Rsp_Kpr и Rsp_Kcl - это файлы распознаваемой выборки. В них можно скопировать обучающую выборку, что я иногда и делаю. Но они все равно остаются базами распознаваемой выборки.

Надо понять, почему у тебя и у меня получаются разные результаты.

Я не смогу использовать модуль синтеза моделей в составе системы Эйдос, пока он не будут давать же txt-матрицы моделей, что система Эйдос.

хорошо.

На счет 1000 классов пишет, что закончит завтра примерно к 20 часам по Москве. А на Каггле написано, что остался еще 1 день до окончания закачки данных. Так что успеем или нет - вопрос. Но наверное это не имеет особого значения, т.к. ясно, что в лидеры мы не выбьемся. А так опыт мы получили. Кое-то полезное в плане разработок сделали.

Я не знаю, когда у них закрывается прием результатов по Москве. Если будет точно понятно, что мы не успеваем, то можно еще 3 модели разместить из тех, что ты прислал Александру Петровичу.

На сайте Каггл написано, что еще 20 часов до закрытия закачек результатов. А у меня на рабочем компе прогноз до окончания синтеза обучающей выборки 10 часов (всего это займет около 106 часов). Это произойдет от 18 до 19 часов по Моск.времени. Получается, что мы вполне должны успеть просчитать результаты и послать их на Каггл.

Так как у меня результаты отличаются от Диминых (по сути модули работают неправильно), то я пошлю Диме приложение (это 4-е приложение) с распознаваемой выборкой на 1000 классов и по 5 градаций описательных шкал, Дима проведет синтез модели (модуль Model_sint.exe), распознавание обучающей выборки с поиском наилучшей модели и инт.критерия (Model_rec_RMSLE_minimize.exe) и распознавание тестовой (распознаваемой) выборки (Model_rec_test_normalize.exe), а потом пошлет все результаты Александру Петровичу для размещения на Каггле лучших трех по RMSLE. Просьба к Диме конкретно сказать имена файлов с наилучшими результатами.