Chaos and Correlation

Решил вплотную заняться распознаванием первичных данных с детектора БАК. Детектор это хитроумно устроенное сооружение цилиндрической формы, окружающее трубу ускорителя в том месте, где происходит столкновение пучков протонов. В каждой ячейке детектора частица может оставить след, в результате возникает сложная картина распределения точек локализации отдельных сигналов, приведенная на рис. 1. Это первичные данные, с которыми можно работать. По этим данным можно восстановить траектории отдельных частиц. В качестве дополнительной информации используется энергия и импульс частицы, а также заряд. Несколько таких траекторий вместе с исходными точками приведены на рис. 2. Такие восстановленные траектории используются для машинного обучения. Число точек. приведенных на рис. 1 равно 120939. Число траекторий частиц 10566. Т.е. каждая траектория восстанавливается по 10-12 точкам. Но это только одно событие. Таких событий надо обработать не менее 8000, чтобы получить устойчивый результат.
Рис. 1. Распределение точек сигналов в детекторе. Все линейные размеры даны в мм.


Рис. 2. Траектории отдельных частиц вместе с данными точек сигналов.

а в табличной форме данные есть?

Eugene Lutsenko писал(а):а в табличной форме данные есть?

есть, можно скачать https://www.kaggle.com/c/trackml-partic ... ation/data

Посмотрел и почти ничего не понял.

По идее должна быть обучающая выборка и тестовая выборка. Обычно достоверность модели оценивает сам Каггл.

Но должен быть и пример для отладки модели, включающий в себя и обучающую выборку, и тестовую выборку с указанием правильных классов, к которым относятся тестовые наблюдения.

Eugene Lutsenko писал(а):Посмотрел и почти ничего не понял.

По идее должна быть обучающая выборка и тестовая выборка. Обычно достоверность модели оценивает сам Каггл.

Но должен быть и пример для отладки модели, включающий в себя и обучающую выборку, и тестовую выборку с указанием правильных классов, к которым относятся тестовые наблюдения.

Сложного ничего нет. Фактически надо установить закон движения частиц в силиконовом детекторе в зависимости от начальных данных, заряда и типа частицы. Все директории с именем train содержат обучающую выборку для 8850 событий соударения пучков протонов, по которой можно этот закон установить. Сложность в том, что частицы могут распадаться и рождаться по ходу движения, т.е. траектория может обрываться и начинаться в теле детектора. Но, поскольку есть квантовая теория сильных, слабых и электромагнитных взаимодействий, начало и конец любой траектории предопределен с некоторой вероятностью. После обучения надо выстроить наиболее вероятный сценарий для 125 событий, используя данные директории test.
Как я посмотрю, они эту задачу сильно замудрили (физики они и есть физики). В таком виде эту задачу решить будет невозможно. Дело в том, что они используют идентификаторы не для 1000 частиц, которые есть в реальности, а для более 10000 частиц. Т.е. они достоверно определяют только электрический заряд +1, -1, 0. Масса, спин, гиперзаряд и т.д. это все не определено, за счет чего множество частиц расширяется, а сам закон движения становится более размытым (на по Ньютону и Эйнштейну).

В твоей постановке все звучит понятнее. Но чтобы решить эту задачу нужно поставить ее еще понятнее. Если это сделать, то я могу попробовать. Начал скачивание данных. Там гигабайты. Это очень много. Но вроде есть и сравнительно небольшой пример, на котором можно потренироваться. Мне надо понять, как из всего этого сделать таблицу для ввода в систему Эйдос: https://yadi.sk/i/QJocCp-03Wvsqs

Eugene Lutsenko писал(а):В твоей постановке все звучит понятнее. Но чтобы решить эту задачу нужно поставить ее еще понятнее. Если это сделать, то я могу попробовать. Начал скачивание данных. Там гигабайты. Это очень много. Но вроде есть и сравнительно небольшой пример, на котором можно потренироваться. Мне надо понять, как из всего этого сделать таблицу для ввода в систему Эйдос: https://yadi.sk/i/QJocCp-03Wvsqs

В тестовом примере для распознавания включены два вида файлов hits и cells. В первом файле столбцы hit_id x y z volume_id layer_id module_id, надо будет распознать координаты вдоль траектории каждой частицы, т.е. объединить координаты траекторий под одним номером track_id, который потом будет перенесен в файл sample_submission и отправлен на аттестацию.
Для распознавания используем информацию из файла cells, в котором каждому hit_id сопоставляются параметры ch0 ch1 value.
При обучении имеем 4 типа файлов - hits, cells, particles, truth. В последнем файле выстроены траектории для каждой частицы и для каждого хита hit_id particle_id tx ty tz tpx tpy tpz weight. Координаты траектории tx ty tz, импульс tpx tpy tpz. Выбирая строки для одного номера particle_id строим траекторию (даны на рисунке вместе с точками координат). Под частицей здесь понимается именно траектория, для которой установлены начальные данные из файла particles. Дальше смотри, что можно использовать для обучения из файлов hits, cells.
Частицы под номером 0 это шум. У них траектория состоит из одной точки. Этого шума довольно много, более 10%. Не знаю, добавили они шум специально или так оно и есть.

на рис. приведены 999 траекторий и соответствующие им 9725 точек. Хорошо видно, что траектории в основном начинаются в окрестности точки соударения пучков, дальше следуют через линейки модулей и покидают детектор. После распознавания этого основного множества траекторий остальные выстраиваются по остаточному принципу.

Petrovich писал(а):Решил вплотную заняться распознаванием первичных данных с детектора БАК.

Самому найти частицу Бога?

Есть онлайн программа для визуализации данных https://emoyse.web.cern.ch/emoyse/WebEv ... ackML.html