Santander Value Prediction Challenge

[Eugene Lutsenko]

А зачем запускать модуль при отсутствии исходных данных?

дело в том, что пользователи часто делают то, что не имеет смысла, т.к. не понимают, что они делают. Но система при этом не должна давать ошибки, а должна советовать что-то разумное.

А поля ввода после окончания работы не нужно. А сообщение об успешном окончании работы нужно.

Чтобы узнать условия конкурса надо перейти по ссылкам:
https://www.kaggle.com/c/santander-valu ... lenge/data
https://www.kaggle.com/c/santander-valu ... evaluation

Они были приведены в начале темы

[Eugene Lutsenko]

Посмотри статьи, приведенные ниже. В них описана работа режима 2.3.2.2:

Луценко Е.В. Теоретические основы системно-когнитивного моделирования процессов и машин агроинженерных систем / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2018. – №01(135). С. 1 – 49. – IDA [article ID]: 1351801001. – Режим доступа: http://ej.kubagro.ru/2018/01/pdf/01.pdf, 3,062 у.п.л.

Луценко Е.В. Автоматизированный системно-когнитивный анализ в агрономии / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2018. – №02(136). С. 87 – 145. – IDA [article ID]: 1361802011. – Режим доступа: http://ej.kubagro.ru/2018/02/pdf/11.pdf, 3,688 у.п.л.

Луценко Е.В. Автоматизированный системно-когнитивный анализ в ветеринарии (на примере разработки диагностических тестов) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2018. – №03(137). С. 143 – 196. – IDA [article ID]: 1371803031. – Режим доступа: http://ej.kubagro.ru/2018/03/pdf/31.pdf, 3,375 у.п.л.

Луценко Е.В. Агломеративная когнитивная кластеризация нозологических образов в ветеринарии / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2018. – №04(138). С. 122 – 139. – IDA [article ID]: 1381804033. – Режим доступа: http://ej.kubagro.ru/2018/04/pdf/33.pdf, 1,125 у.п.л.

Луценко Е.В. Агломеративная когнитивная кластеризация симптомов и синдромов в ветеринарии / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2018. – №05(139). С. 99 – 116. – IDA [article ID]: 1391805033. – Режим доступа: http://ej.kubagro.ru/2018/05/pdf/33.pdf, 1,125 у.п.л.

Луценко Е.В. Автоматизированный системно-когнитивный анализ антибиотиков в ветеринарии / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2018. – №06(140). С. 171 – 220. – IDA [article ID]: 1401806033. – Режим доступа: http://ej.kubagro.ru/2018/06/pdf/33.pdf, 3,125 у.п.л.

[Eugene Lutsenko]

По по поду приоритетов. Да, сейчас надо сделать чтобы GPU-модули просто работали правильно на нашей модели по решаемой задаче. Пока они вообще на ней не работают.

Еще было бы здорово оценить достоверность всех моделей и инт.критериев в их метрике:

которую они приводят на сайте: https://www.kaggle.com/c/santander-valu ... evaluation. Это чтобы знать, какое решение им посылать. В системе Эйдос это делается в режимах 3.5, 4.1.3.6, 4.1.3.7, 4.1.3.11, а в GPU-модулях пока вообще не делается.

Для этого нужно сделать DBF-базу, похожую на ту базу результатов, которую ты уже сделал, но с еще колонками для фактического значения и самой достоверности:
ϵ is the RMSLE value (score)
pi is your prediction of target, and
ai is the actual target for i.

Конечно достоверность можно посчитать только в том случае, если распознается обучающая выборка, а не тестовая, т.к. только для нее известны фактические значения.

А остальным действительно можно заняться потом.

[Eugene Lutsenko]

По по поду приоритетов. Да, сейчас надо сделать чтобы GPU-модули просто работали правильно на нашей модели по решаемой задаче. Пока они вообще на ней не работают.

опишите конкретней. Я вчера около 21 часов выслал исправленную версию. Вы проверяли? Я проверял на 3-х компьютерах - всё работало.

Проверял. Сейчас проверил еще раз. Внешне все почти работает.

Синтез модели вообще проходит до конца, но в конце это поле ввода надо убрать.
Распознавание проходит до конца, но в самом конце после записи матриц выдает ошибку:


Но сами значения в матрицах моделей все 0.
Соответственно и результат распознавания не тот, что хотелось бы.

[Eugene Lutsenko]

Я сейчас проверю на лабораторных работах

[Eugene Lutsenko]

Результат для Каггла тоже может быть с двумя инт.критериями:
results_inf4i.csv,
results_inf4k.csv,
а сейчас есть только один и непонятно с каким: results_inf4.csv

Синтез модели на лаб.работе работает правильно, а на нашей задаче нет.
Оказалось, что пока не выполнен режим 3.5 в системе Эйдос GPU-распознавание не работает. Сейчас проверю почему

[Eugene Lutsenko]

Модуль синтеза модели написал, что у меня не та видеокарта, но раньше все работало и этого сообщения не было

[Eugene Lutsenko]

Результаты с разными инт.критериями получаются вообще говоря разные, хотя и коррелируют друг с другом. Поэтому нужно показывать результаты с разными инт.критериями.

Проверил на компе который на работе. Тоже пишет, что не та видеокарта. Но все работает нормально, в смысле и матрицы моделей, и результаты распознавания.

Режим 3.5 копирует обучающую выборку в распознаваемую. Если это сделать самому в режиме 2.3.1, то 3.5 можно не выполнять

[Eugene Lutsenko]

Еще классы могут быть числами, а могут быть текстами. Но это потом.

Как ты рассчитываешь прогнозируемое значение? Как среднее границ интервального значения? Откуда берешь эти границы? Из наименований шкал или поля, о котором я говорил? В поле значение формируется режимом 3.5

[Eugene Lutsenko]

если классы - тексты, то в результате надо размещать просто код и наименование наиболее похожего класса.

Но сейчас надо сделать, чтобы просто все работало на реальной модели Каггла, т.е. синтез моделей и распознавание.

Может попробовать еще на ноутбуке и ультрабуке (у меня есть)