Santander Value Prediction Challenge

[Eugene Lutsenko]

По по поду приоритетов. Да, сейчас надо сделать чтобы GPU-модули просто работали правильно на нашей модели по решаемой задаче. Пока они вообще на ней не работают.

Еще было бы здорово оценить достоверность всех моделей и инт.критериев в их метрике:

которую они приводят на сайте: https://www.kaggle.com/c/santander-valu ... evaluation. Это чтобы знать, какое решение им посылать. В системе Эйдос это делается в режимах 3.5, 4.1.3.6, 4.1.3.7, 4.1.3.11, а в GPU-модулях пока вообще не делается.

Для этого нужно сделать DBF-базу, похожую на ту базу результатов, которую ты уже сделал, но с еще колонками для фактического значения и самой достоверности:
ϵ is the RMSLE value (score)
pi is your prediction of target, and
ai is the actual target for i.

Конечно достоверность можно посчитать только в том случае, если распознается обучающая выборка, а не тестовая, т.к. только для нее известны фактические значения.

А остальным действительно можно заняться потом.

[Eugene Lutsenko]

По по поду приоритетов. Да, сейчас надо сделать чтобы GPU-модули просто работали правильно на нашей модели по решаемой задаче. Пока они вообще на ней не работают.

опишите конкретней. Я вчера около 21 часов выслал исправленную версию. Вы проверяли? Я проверял на 3-х компьютерах - всё работало.

Проверял. Сейчас проверил еще раз. Внешне все почти работает.

Синтез модели вообще проходит до конца, но в конце это поле ввода надо убрать.
Распознавание проходит до конца, но в самом конце после записи матриц выдает ошибку:


Но сами значения в матрицах моделей все 0.
Соответственно и результат распознавания не тот, что хотелось бы.

[Eugene Lutsenko]

Я сейчас проверю на лабораторных работах

[Eugene Lutsenko]

Результат для Каггла тоже может быть с двумя инт.критериями:
results_inf4i.csv,
results_inf4k.csv,
а сейчас есть только один и непонятно с каким: results_inf4.csv

Синтез модели на лаб.работе работает правильно, а на нашей задаче нет.
Оказалось, что пока не выполнен режим 3.5 в системе Эйдос GPU-распознавание не работает. Сейчас проверю почему

[Eugene Lutsenko]

Модуль синтеза модели написал, что у меня не та видеокарта, но раньше все работало и этого сообщения не было

[Eugene Lutsenko]

Результаты с разными инт.критериями получаются вообще говоря разные, хотя и коррелируют друг с другом. Поэтому нужно показывать результаты с разными инт.критериями.

Проверил на компе который на работе. Тоже пишет, что не та видеокарта. Но все работает нормально, в смысле и матрицы моделей, и результаты распознавания.

Режим 3.5 копирует обучающую выборку в распознаваемую. Если это сделать самому в режиме 2.3.1, то 3.5 можно не выполнять

[Eugene Lutsenko]

Еще классы могут быть числами, а могут быть текстами. Но это потом.

Как ты рассчитываешь прогнозируемое значение? Как среднее границ интервального значения? Откуда берешь эти границы? Из наименований шкал или поля, о котором я говорил? В поле значение формируется режимом 3.5

[Eugene Lutsenko]

если классы - тексты, то в результате надо размещать просто код и наименование наиболее похожего класса.

Но сейчас надо сделать, чтобы просто все работало на реальной модели Каггла, т.е. синтез моделей и распознавание.

Может попробовать еще на ноутбуке и ультрабуке (у меня есть)

[Eugene Lutsenko]

Пойдет. А может быть так, что твоя программа что-то делает с видеокартой, переключает ее в какой-то другой режим? Ведь до этого распознавание на модели с примерно 5000 объектов шло менее секунды, а сейчас 20 минут. Еще окошко модуля распознавания стало само немного смещаться по экрану несколько раз в секунду

[Eugene Lutsenko]

Там в статьях есть про инт.критерии. Достоверность моделей получается разная.

Сейчас проверил распознавание на реальной обучающей выборке (около 5000 объектов). Прошло все нормально 21 минута. результаты правдоподобные, похожие на правильные. Надо выдавать результаты по двум инт.критерям. Надо бы теперь проверить их достоверность по их метрике.