Santander Value Prediction Challenge

[Eugene Lutsenko]

Ну да. запустил распознавание тестовой выборки Пишет, что займет чуть больше 20 минут. Потом сделаю два результата для Каггла: в наиболее достоверной модели согласно здравого смысла и по их критерию. Это разные модели

[Eugene Lutsenko]

Модуль распознавания работал чуть меньше получаса (28 минут) и в конце после 100% выдал сообщение об ошибке памяти, а не о нормальном завершении.

Сейчас тоже можно кое-что сделать, типа того, что я делал в Excel.
Напишу тебе на почту, чтобы не пользовались конкуренты.

Но если это не учитывать, то результат уже получен. Но лучше учитывать. Дима! Может быть сделаешь модуль определения наилучшей модели по критерию RMSLE и подбора смещения результатов распознавания тестовой выборки по результатам распознавания обучающей выборки? Алгоритм и Ecel-файл с решением этой задачи я послал тебе и Александру Петровичу на почту

[Eugene Lutsenko]

Но что касается разработки полезного продукта - это я конечно поддерживаю и вот в этом я вам готов помогать.

Твои модули будут полезными, если полностью интегрировать их в систему Эйдос. Для этого они должны работать на основе файлов, создаваемых системой Эйдос (это уже есть), и сами в свою очередь будут создавать файлы, воспринимаемые системой Эйдос (это пока не вполне так). После этого я сделаю в системе Эйдос вызовы твоих модулей и это ОЧЕНЬ И ОЧЕНЬ усилит возможности системы, особенно на больших и очень больших выборках.

[Eugene Lutsenko]

По RMSLE не спеши. Сейчас я все смакетирую в Excel, а потом можно будет делать, и то, если это окажется оправданным

[Eugene Lutsenko]

Послал на почту тебе и Александру Петровичу свои эксперименты по обобщению результатов распознавания в Excel. Пока ничего удовлетворительного не получилось.

Джимми тебе написал: http://bb.donnay-software.com/donnay/vi ... 126db6d98a
Заинтересовался твоими разработками с GPU



Может написать в окне модулей:
GPU-модуль распознавания системы "Эйдос"
GPU-модуль синтеза моделей системы "Эйдос"

Дима!

Теперь я думаю надо прямым перебором попытаться так изменить результаты распознавания обучающей выборки, чтобы найти минимум метрики Каггла: среднеквадратичное отклонение логарифмов факта и прогноза (RMSLE).

Для этого надо результаты распознавания во всех моделях со всеми инт.критериями изменять по двум параметрам: A и B:
K(X)=A*Y(X)+B и вычислять эту меру RMSLE во вложенном цикле. Найти минимальную RMSLE для каждой модели и инт.критерия и минимальную из всех моделей и инт.критериев. Потом точно также преобразовать результаты распознавания тестовой выборки в нужной модели (той, для которой найдена минимальная RMSLE по всем моделям и инт.критериям) и с нужным инт.критерием с найденными A и B и после этого ее можно посылать.

[Eugene Lutsenko]

Я почитал про эту библиотеку. Говорят надо удалить инсталляцию видеокарты и заново ее установить.
Переустановил. Но ничего не изменилось.

Если класс не числовой, то в результат распознавания (target) надо помещать его наименование из Classes.dbf, а если числовой - то среднее значение числового интервала (min+(max-min)/2)

[Eugene Lutsenko]

В файле "Обобщение результатов2.xls", который я послал тебе на почту, показано, как получить стандартизированные результаты распознавания. Из них уже удобно получить такие, которые дадут минимальный RMSLE. Для этого можно посчитать матрицу с разными A, B от минимального до максимального значений в обучающей выборке. В этом же файле получены результаты распознавания с такими же средними и ср.кв.откл. как в обучающей выборке. Но они не оказались очень уж хорошими. Поэтому и возникла мысль получить много таких матриц с разными A,B и найти из них наилучшую по RMSLE. А потом с этими же A,B преобразовать результаты распознавания тестовой выборки. И тогда уже посылать результаты, полученные в наилучшей по этому критерию модели с наилучшим инт.критерием

[Eugene Lutsenko]

Буду смотреть.

=$B$11*AB15+$B$10

[Eugene Lutsenko]

И еще обнаружил и исправил одну важную ошибку - при чтении объектов из исходных данных последний объект не читался - это тоже было одной из причин отличия моих матриц от ваших. Сейчас мои матрицы информативностей совпадают с вашими с точностью 4-6 знаков после запятой. Матрицы abs, prc1, prc2 совпадают с вашими по всем знакам.

По этой причине я пересоздал модели и заново запустил распознавание. Закончится - все заархивирую и размещу в облаке по той же ссылке.

Убрал деинициализацию OpenGL в конце.

Это не повлияло. Все равно выводит ошибку в той же библиотеке и не выводит сообщения о нормальном завершении и т.д.

[Eugene Lutsenko]

Попробуйте этот вариант:
https://yadi.sk/d/2RtGQHUw3ZyaZc

Наконец-то я это увидел:

Все прошло без ошибок!

Для RMSLE мне нужен файл с исходными данными из каггла. Где его можно взять?

Все файлы в папках приложений:
c:\Aidos-X\AID_DATA\A0000001\System\.. распознаваемая выборка - тестовая выборка 49342 объекта.
c:\Aidos-X\AID_DATA\A0000002\System\.. распознаваемая выборка - тренировочная выборка 4459 объектов.
Я все пересчитал в новой версии в обоих моделях, заархивировал и записал в облако. А ссылку для скачивания послал тебе и Александру Петровичу на почту.