[phpBB Debug] PHP Notice: in file /viewtopic.php on line 981: date(): It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected the timezone 'UTC' for now, but please set date.timezone to select your timezone.
[phpBB Debug] PHP Notice: in file /viewtopic.php on line 981: getdate(): It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected the timezone 'UTC' for now, but please set date.timezone to select your timezone.
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4183: Cannot modify header information - headers already sent by (output started at /includes/functions.php:3493)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4185: Cannot modify header information - headers already sent by (output started at /includes/functions.php:3493)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4186: Cannot modify header information - headers already sent by (output started at /includes/functions.php:3493)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4187: Cannot modify header information - headers already sent by (output started at /includes/functions.php:3493)
Chaos and Correlation • Просмотр темы - Santander Value Prediction Challenge

Santander Value Prediction Challenge

Модераторы: ТВЧ, Petrovich

Re: Santander Value Prediction Challenge

Сообщение Eugene Lutsenko » Ср авг 08, 2018 2:31 pm

Дмитрий Бандык писал(а):Знаю. И давно талдычу об этом. Если б еще кто слушал.

Если делать как я - полная программа для решения задачи может быть написана за неделю-две. Но это будет специальная программа под задачу. Но основанная на универсальных идеях. Не нужно делать монстра-долгостроя. Нужно выработать идеи, принципы и методы. А программы под конкретные задачи должны собираться быстро. В том числе и из наработанных ранее заготовок. Заготовки должны быть простыми функциями, минимум необходимого - входные данные, выходные данные - всё. Не нужно строить какие-то монструозные графические интерфейсы которые потребляют в сто раз больше времени разработки чем собственно функции по самой сути вопроса. Не нужно делать весь этот инструментарий под каких-то гипотетических сторонних пользователей которые возможно никогда ничем этим не воспользуются - нужно делать ДЛЯ СЕБЯ. Коротко и ясно. Не нужно пытаться продавать этот инструментарий - нужно им пользоваться самим и продавать то что получено с помощью этого инструментария. В том числе свои услуги.

Ты знаешь, ты описал все очень похоже на то, как мы и делали, когда проводили с Александром Петровичем исследования, описанные в наших многочисленных статьях и двух монографиях. Но дело в том, что я использую систему Эйдос не только для научных исследований, но и в учебном процессе: http://lc.kubagro.ru/aidos/Presentation ... online.pdf. Поэтому пытался придать ей вид пригодный и для этого.

Трунев А.П., Луценко Е.В. Астросоциотипология: Монография (научное издание). – Краснодар: КубГАУ, 2008. – 264 с. http://lc.kubagro.ru/aidos/aidos08_TL/index.htm

Трунев А.П., Луценко Е.В. Автоматизированный системно-когнитивный анализ влияния факторов космической среды на ноосферу, магнитосферу и литосферу Земли: Под науч. ред. д.т.н., проф. В.И.Лойко. Монография (научное издание). – Краснодар, КубГАУ. 2012. – 480 с. ISBN 978-5-94672-519-4. http://lc.kubagro.ru/aidos/aidos12_TL2/index.htm

Луценко Е.В., Трунев А.П., Шашин В.Н., Система типизации и идентификации социального статуса респондентов по их астрономическим показателями на момент рождения "Эйдос-астра" (Система "Эйдос-астра"). Пат. № 2008610097 РФ. Заяв. № 2007613722 РФ. Опубл. от 09.01.2008. – Режим доступа: http://lc.kubagro.ru/aidos/2008610097.jpg, 3,125 / 2,500 у.п.л.

Луценко Е.В., Трунев А.П., Шашин В.Н., Бандык Д.К., Интеллектуальная система научных исследований влияния космической среды на глобальные геосистемы «Эйдос-астра» (ИСНИ «Эйдос-астра»). Пат. № 2011612054 РФ. Заяв. № 2011610345 РФ 20.01.2011. Опубл. от 09.03.2011. – Режим доступа: http://lc.kubagro.ru/aidos/2011612054.jpg, 3,125 у.п.л.

Луценко Е.В. Типизация и идентификация респондентов в социологии по их астрономическим показателями на момент рождения. / Е.В. Луценко, А.П. Трунев, В.Н. Шашин // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2007. – №01(025). С. 217 – 250. – Шифр Информрегистра: 0420700012\0014, IDA [article ID]: 0250701014. – Режим доступа: http://ej.kubagro.ru/2007/01/pdf/14.pdf, 2,125 у.п.л.

Луценко Е.В. Астросоциотипология и спектральный анализ личности по астросоциотипам с применением семантических информационных мультимоделей / Е.В. Луценко, А.П. Трунев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2008. – №01(035). С. 101 – 151. – Шифр Информрегистра: 0420800012\0002, IDA [article ID]: 0350801010. – Режим доступа: http://ej.kubagro.ru/2008/01/pdf/10.pdf, 3,188 у.п.л.

Луценко Е.В. Повышение адекватности спектрального анализа личности по астросоциотипам путем их разделения на типичную и нетипичную части / Е.В. Луценко, А.П. Трунев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2008. – №02(036). С. 153 – 174. – Шифр Информрегистра: 0420800012\0017, IDA [article ID]: 0360802010. – Режим доступа: http://ej.kubagro.ru/2008/02/pdf/10.pdf, 1,375 у.п.л.

Луценко Е.В. Artificial intelligence system for identification of social categories of natives based on astronomical parameters / Е.В. Луценко, А.П. Трунев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2008. – №03(037). С. 65 – 85. – IDA [article ID]: 0370803007. – Режим доступа: http://ej.kubagro.ru/2008/03/pdf/07.pdf, 1,312 у.п.л.

Трунев А.П. Фундаментальные закономерности распознавания социальных категорий по астрономическим данным на момент рождения / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2008. – №10(044). С. 1 – 27. – Шифр Информрегистра: 0420800012\0138, IDA [article ID]: 0440810001. – Режим доступа: http://ej.kubagro.ru/2008/10/pdf/01.pdf, 1,688 у.п.л.

Трунев А.П. Исследование вариабельности интегральной информативности моделей реагирования субъектов на положение небесных тел солнечной системы в момент рождения / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2009. – №01(045). С. 101 – 116. – Шифр Информрегистра: 0420900012\0014, IDA [article ID]: 0450901009. – Режим доступа: http://ej.kubagro.ru/2009/01/pdf/09.pdf, 1 у.п.л.

Трунев А.П. Устойчивость зависимости интегральной информативности от расстояния до небесных тел Солнечной системы / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2009. – №02(046). С. 175 – 201. – Шифр Информрегистра: 0420900012\0016, IDA [article ID]: 0460902012. – Режим доступа: http://ej.kubagro.ru/2009/02/pdf/12.pdf, 1,688 у.п.л.

Трунев А.П. Прогнозирование землетрясений по астрономическим данным с использованием системы искусственного интеллекта / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2009. – №08(052). С. 172 – 194. – Шифр Информрегистра: 0420900012\0086, IDA [article ID]: 0520908013. – Режим доступа: http://ej.kubagro.ru/2009/08/pdf/13.pdf, 1,438 у.п.л.

Трунев А.П. Прогнозирование сейсмической активности и климата на основе семантических информационных моделей / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2009. – №09(053). С. 98 – 122. – Шифр Информрегистра: 0420900012\0098, IDA [article ID]: 0530909009. – Режим доступа: http://ej.kubagro.ru/2009/09/pdf/09.pdf, 1,562 у.п.л.

Трунев А.П. Системно-когнитивный анализ и прогнозирование сейсмической активности литосферы Земли, как глобальной активной геосистемы / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2010. – №01(055). С. 299 – 321. – Шифр Информрегистра: 0421000012\0001, IDA [article ID]: 0551001022. – Режим доступа: http://ej.kubagro.ru/2010/01/pdf/22.pdf, 1,438 у.п.л.

Трунев А.П. Семантические информационные модели глобальной сейсмической активности при смещении географического и магнитного полюса / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2010. – №02(056). С. 195 – 223. – Шифр Информрегистра: 0421000012\0023, IDA [article ID]: 0561002015. – Режим доступа: http://ej.kubagro.ru/2010/02/pdf/15.pdf, 1,812 у.п.л.

Трунев А.П. Корреляция фондового индекса s & p 500 с астрономическими и геофизическими параметрами (Системно-когнитивный анализ взаимосвязи ноосферы, литосферы, магнитосферы и космической среды) / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2010. – №03(057). С. 237 – 256. – Шифр Информрегистра: 0421000012\0039, IDA [article ID]: 0571003013. – Режим доступа: http://ej.kubagro.ru/2010/03/pdf/13.pdf, 1,25 у.п.л.

Луценко Е.В. «Эйдос-астра» – интеллектуальная система научных исследований влияния космической среды на поведение глобальных геосистем / Е.В. Луценко, А.П. Трунев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2010. – №07(061). С. 204 – 228. – Шифр Информрегистра: 0421000012\0163, IDA [article ID]: 0611007017. – Режим доступа: http://ej.kubagro.ru/2010/07/pdf/17.pdf, 1,562 у.п.л.

Трунев А.П. Автоматизированный системно-когнитивный анализ влияния тел Солнечной системы на движение полюса Земли и визуализация причинно-следственных зависимостей в виде когнитивных функций / А.П. Трунев, Е.В. Луценко, Д.К. Бандык // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2011. – №01(065). С. 232 – 258. – Шифр Информрегистра: 0421100012\0002, IDA [article ID]: 0651101020. – Режим доступа: http://ej.kubagro.ru/2011/01/pdf/20.pdf, 1,688 у.п.л.

Трунев А.П. Семантические информационные модели влияния солнечных пятен на сейсмическую активность, движение полюса и магнитное поле Земли / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2011. – №02(066). С. 546 – 571. – Шифр Информрегистра: 0421100012\0030, IDA [article ID]: 0661102046. – Режим доступа: http://ej.kubagro.ru/2011/02/pdf/46.pdf, 1,625 у.п.л.

Луценко Е.В. Метод визуализации когнитивных функций – новый инструмент исследования эмпирических данных большой размерности / Е.В. Луценко, А.П. Трунев, Д.К. Бандык // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2011. – №03(067). С. 240 – 282. – Шифр Информрегистра: 0421100012\0077, IDA [article ID]: 0671103018. – Режим доступа: http://ej.kubagro.ru/2011/03/pdf/18.pdf, 2,688 у.п.л.

Луценко Е.В. Развитие интеллектуальной системы «Эйдос-астра», снимающее ограничения на размерность баз знаний и разрешение когнитивных функций / Е.В. Луценко, А.П. Трунев, Е.А. Трунев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2011. – №05(069). С. 353 – 377. – Шифр Информрегистра: 0421100012\0159, IDA [article ID]: 0691105031. – Режим доступа: http://ej.kubagro.ru/2011/05/pdf/31.pdf, 1,562 у.п.л.

Луценко Е.В. Коэффициент эмерджентности классических и квантовых статистических систем / Е.В. Луценко, А.П. Трунев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2013. – №06(090). С. 214 – 235. – IDA [article ID]: 0901306014. – Режим доступа: http://ej.kubagro.ru/2013/06/pdf/14.pdf, 1,375 у.п.л.

Прогнозирование землетрясений на основе астрономических данных с применением АСК-анализа на примере большого калифорнийского разлома Сан-Андреас / Н.А. Чередниченко, Е.В. Луценко, Д.К. Бандык, А.П. Трунев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2013. – №07(091). С. 1322 – 1377. – IDA [article ID]: 0911307093. – Режим доступа: http://ej.kubagro.ru/2013/07/pdf/93.pdf, 3,5 у.п.л.

Трунев А.П. Гравитационные волны и коэффициент эмерджентности классических и квантовых систем / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2014. – №03(097). С. 1343 – 1366. – IDA [article ID]: 0971403092. – Режим доступа: http://ej.kubagro.ru/2014/03/pdf/92.pdf, 1,5 у.п.л.

Чередниченко Н.А. Моделирование смещения полюса Земли и алгоритм прогнозирования его динамики с применением АСК-анализа / Н.А. Чередниченко, Е.В. Луценко, А.П. Трунев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2014. – №05(099). С. 149 – 188. – IDA [article ID]: 0991405010. – Режим доступа: http://ej.kubagro.ru/2014/05/pdf/10.pdf, 2,5 у.п.л.

Чередниченко Н.А. Моделирование и прогноз динамики глобальных климатических аномалий типа Эль-Ниньо и Ла-Нинья / Н.А. Чередниченко, А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2015. – №06(110). С. 1545 – 1577. – IDA [article ID]: 1101506102. – Режим доступа: http://ej.kubagro.ru/2015/06/pdf/102.pdf, 2,062 у.п.л.

Трунев А.П. Логарифмический закон и коэффициент эмерджентности классических и квантовых систем / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2016. – №06(120). С. 1659 – 1685. – IDA [article ID]: 1201606110. – Режим доступа: http://ej.kubagro.ru/2016/06/pdf/110.pdf, 1,688 у.п.л.
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Santander Value Prediction Challenge

Сообщение Eugene Lutsenko » Ср авг 08, 2018 2:36 pm

Дмитрий Бандык писал(а):Но дальше, как закончим с этой задачей - меня уже очень настойчиво привлекает глубокое обучение и многослойные модели. Вычислительные ресурсы позволяют. Надо использовать. Можем обсудить идеологические вопросы в новых темах.

дальше она сама закончится:)
давай
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Santander Value Prediction Challenge

Сообщение Eugene Lutsenko » Ср авг 08, 2018 4:39 pm

Дмитрий Бандык писал(а):Так же не имеет никакого значения объем написанного ранее кода. Весь код можно написать с нуля за две недели, за месяц, ну пусть за два месяца.

Загадка:
"Сколько страниц программы в день надо писать, чтобы написать за 2 месяца такой код: http://lc.kubagro.ru/__AIDOS-X.txt"
Ответ: "Если страницы А4 и шрифт 10, то 50"
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Santander Value Prediction Challenge

Сообщение Eugene Lutsenko » Ср авг 08, 2018 4:41 pm

Там очень много всего, о всем и не расскажешь...
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Santander Value Prediction Challenge

Сообщение Eugene Lutsenko » Чт авг 09, 2018 2:19 am

Дима!

Я сейчас подумал, что для минимизации RMSLE в модуле распознавания надо при запуске сделать опцию (птичку): "Минимизировать RMSLE" (по умолчанию не надо), и если, задана эта опция:

1. Провести распознавание обучающей выборки во всех моделях со всеми инт.критериями.
2. Результаты распознавания обучающей выборки записать в базу данных такой же структуры, как "Обобщение результатов2.xls".
3. Найти в этой базе наиболее достоверную модель по критерию RMSLE, подбирая два параметра: A и B (амплитуду и постоянную составляющую).
4. Провести распознавание тестовой выборки во всех моделях со всеми инт.критериями.
5. Нормировать результат распознавание тестовой выборки во всех моделях со всеми инт.критериями.

В выходной форме должны быть видны значения RMSLE всех моделей со всеми инт.критериями и указана модель и инт.крит. с минимальным RMSLE и его значение. Если эта опция не задана, то модуль распознавания должен работать как раньше.

Модуль распознавания должен работать в текущем приложении системы Эйдос и к другим приложениям не обращаться.

Сейчас формируется распознаваемая выборка для 1000 классов по 5 градаций на описательную шкалу.

В этой связи возникает вопрос: "Сколько раз можно посылать результат?". Я так понял, что вроде 3 раза. Тогда можно сразу послать результат с 200 классами и 10 градациями описательных шкал, а потом, заменить его на результат с 1000 классов и 5 гр.о.шкал, если он будет лучше и если успеем
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Santander Value Prediction Challenge

Сообщение Eugene Lutsenko » Чт авг 09, 2018 6:07 am

ОК. Я и сам думал сохранить предыдущий вариант
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Santander Value Prediction Challenge

Сообщение Eugene Lutsenko » Чт авг 09, 2018 6:43 pm

Дмитрий Бандык писал(а):Пока минимальный RMSLE какой удалось получить - 1.3328303099 (модель inf5k)

Это значение соответствует рейтингу 1358 из 4229. Правда это не на тестовой выборке, а на распознаваемой. Это уже 1-я треть команд. Я считаю для первого опыта неплохо. Но нужно все равно послать результат.
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Santander Value Prediction Challenge

Сообщение Eugene Lutsenko » Чт авг 09, 2018 7:26 pm

Спасибо, Дима! Попробую разобраться
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Santander Value Prediction Challenge

Сообщение Eugene Lutsenko » Чт авг 09, 2018 8:15 pm

А старые модули синтеза модели и распознавания нужно предварительно запускать или эти новые модули все делают сами?
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Re: Santander Value Prediction Challenge

Сообщение Eugene Lutsenko » Чт авг 09, 2018 8:36 pm

Спасибо. А где можно увидеть сами значения критерия? А чего ты не ложишься спать?
Аватара пользователя
Eugene Lutsenko
 
Сообщения: 9738
Зарегистрирован: Вт мар 09, 2010 6:11 am
Откуда: Krasnodar, Russia

Пред.След.

Вернуться в Chaos and Correlation

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 37

cron