Распознавание траекторий частиц в детекторе

[Eugene Lutsenko]

Я местами - тут умный тут дурак

Если ты это понимаешь, значит это не так.
Я уже позже подумал, что если блоками загружать в оперативку и распознаваемую выборку, и сами результаты распознавания, то вообще не важно, в каком это делается порядке.

[Eugene Lutsenko]

Еще в случае распознавания получается более плотно задействована видеокарта - то есть должно получиться еще лучшее соотношение производительности между вашей и моей программой.

Это хорошо. В задаче Александра Петровича тестирующая выборка в CSV занимает гигабайты. Я пока даже не могу представить, сколько там распознаваемых объектов

[Petrovich]

Еще в случае распознавания получается более плотно задействована видеокарта - то есть должно получиться еще лучшее соотношение производительности между вашей и моей программой.

Это хорошо. В задаче Александра Петровича тестирующая выборка в CSV занимает гигабайты. Я пока даже не могу представить, сколько там распознаваемых объектов

распознаются траектории элементарных частиц, образующихся при соударении протонов и при распаде. Понятно, что траекторий может быть бесконечно много. Но задача там ставится относительно самой траектории - как восстановить отдельную траекторию по точкам событий в детекторах? Тогда все упрощается. есть примеры восстановления. При обучении надо просто по этим примерам выстроить модель. И т.д. и т.п.

[Eugene Lutsenko]

я имел в виду другую задачу - 2-ю про банки, в которой 4993 класса:
https://www.kaggle.com/c/santander-valu ... lenge/data
https://www.kaggle.com/c/santander-valu ... evaluation
хотя разработки Димы могут сыграть очень большую роль при решении любых задач большой размерности и задач, которые должны решаться в реальном времени (например общение с роботом на естественном языке).

[Eugene Lutsenko]

Да. Я думаю в ближайшее время проблема больших задач для нас безвозвратно уйдет в прошлое.

Больших - да, но тогда наступит эра очень больших задач, а потом очень-очень больших и т.д.

[Petrovich]

я имел в виду другую задачу - 2-ю про банки, в которой 4993 класса:
https://www.kaggle.com/c/santander-valu ... lenge/data
https://www.kaggle.com/c/santander-valu ... evaluation
хотя разработки Димы могут сыграть очень большую роль при решении любых задач большой размерности и задач, которые должны решаться в реальном времени (например общение с роботом на естественном языке).

Это вообще дурацкая задача. И сочиняют такие задачи идиоты из банков. Хотя задача с ускорителя ничем не лучше, ее сочиняли такие же идиоты.

[Eugene Lutsenko]

я имел в виду другую задачу - 2-ю про банки, в которой 4993 класса:
https://www.kaggle.com/c/santander-valu ... lenge/data
https://www.kaggle.com/c/santander-valu ... evaluation
хотя разработки Димы могут сыграть очень большую роль при решении любых задач большой размерности и задач, которые должны решаться в реальном времени (например общение с роботом на естественном языке).

Это вообще дурацкая задача. И сочиняют такие задачи идиоты из банков. Хотя задача с ускорителя ничем не лучше, ее сочиняли такие же идиоты.

Да, задача дурацкая, в смысле примитивная. Если бы не два "но". 1-е - это огромное число классов: 4993. 2-е - чудовищно огромная тестирующая выборка которая даже в csv около 1.5 Гб (а в базах данных будет в три раза больше). Эта тестирующая выборка ничем не открывается. Я даже не представлю, сколько там тестируемых объектов. Миллиарды наверное. Я пока делаю версию системы, которая сможет со всем этим справится. Но эта работа продвигается медленно, т.к. у меня есть сверхсрочные и сверхважные задания от шефа, которые я выполняю в отпуске. Пока я за отпуск (со 2-го июля) успел только написать свою часть монографии, почти написал учебное пособие и уже написал 6 ваковских статей. При таком числе классов ее можно распознавать годами без Диминых технологий. Или надо иметь доступ к суперкомпьютеру. В общем сложность только в огромной размерности задачи, а не в ее логической сложности. Похоже постановщики издеваются над исполнителями и тестируют не столько их самих, сколько возможности их программных систем, которые они создали.

[Eugene Lutsenko]

Конечно 4993 не классов, а вообще всех шкал. Классификационная шкала только одна: TARGET. Таким образом 4993-2=4991 описательных шкал (есть еще колонка ID, которая не является шкалой). На сколько я знаю в факторном анализе можно использовать не более 7 шкал, в статистических системах не более 70. В системе Эйдос текущей версии до 1500 (это суммарное количество классификационных и описательных шкал). Сейчас я делаю, чтобы не было особого ограничения, ну например можно было использовать суммарно до 16000 шкал и более.

Посчитал сколько примерно объектов тестовой выборки в файле test.csv:

Код: Выделить всё

Файл:           Число           Размер
                объектов        файла (байт)
train.csv:      4461              65160613
test.csv:         Х             1014174166


X=(4461*1014174166)/65160613=69431,98883850279, т.е. около 70000 объектов тестовой (распознаваемой) выборки

[Eugene Lutsenko]

Евгений Вениаминович, не могли бы вы показать примеры файлов которые должен сгенерировать мой модуль после выполнения верификации модели.

Надо в системе в режиме 1.3 установить лаб.работу 3.03, потом выполнить 3.5 (синтез и верификация моделей), а затем 4.1.2 (распознавание - верификация) и посмотреть 4.1.3.6 (отображение результатов верификации). Если в папке приложения: c:\Aidos-X\AID_DATA\A0000001\System рассортировать файлы по дате и времени, то базы данных режимов 4.1.2 и 4.1.3.6 окажутся вверху списка.

[Eugene Lutsenko]

Да, это и есть основной файл.
Но можно создать новую базу по результатам распознавания:

строки - объекты распознаваемой выборки
колонки - класс
на пересечении уровень сходства/различия.

Такие файлы нужно создавать для всех моделей и всех интегральных критериев и отражать модель интегральный критерий в имени файла:
- модель прямо писать Abs, Prc1, Prc2, Inf#? где # = 1,2,...,7
- интегральный критерий сумма информации - i, резонанс знаний - k

Получится имя типа: Rsp_Inf3_i.dbf

Вообще-то распознавание с интегральным критерием "сумма знаний" - это просто операция перемножения матриц обучающей выборки и модели: в матрице-результате получаются суммы произведений элементов строки на элементы столбца исходных матриц