Распознавание траекторий частиц в детекторе

[Eugene Lutsenko]

Несколько функций для работы со многими физическими базами данных как с одной логической (мультитаблицей):

Код: Выделить всё

**************************************************************************************************************
FUNCTION FIELDGET2322(mF)                                         // Для 2.3.2.2-CSV. mF - номер поля в мультитаблице

*   mNFieldsTabl = IF(Len(aTokens)<=255,Len(aTokens),255)         // Число полей в таблице
*   mNFieldsALL  = Len(aTokens)                                   // Число полей всего (в мультитаблице)

    mNumTabl      = 1+INT((mF-1)/mNFieldsTabl)                    // Номер таблицы
    mInpData      = 'Inp_data'+STRTRAN(STR(mNumTabl,3),' ','0')   // Наименование таблицы
    mNumFieldTabl = mF-(mNumTabl-1)*mNFieldsTabl                  // Номер поля в таблице
    mVal          = (mInpData)->(FIELDGET(mNumFieldTabl))
RETURN(mVal)
**************************************************************************************************************
******** Индексировать по нужному полю в нужной таблице
**************************************************************************************************************
FUNCTION IndexOn2322(mF)                                                 // Для 2.3.2.2-CSV. mF - номер поля в мультитаблице
                                                                         
*   mNFieldsTabl = IF(Len(aTokens)<=255,Len(aTokens),255)                // Число полей в таблице
*   mNFieldsALL  = Len(aTokens)                                          // Число полей всего (в мультитаблице)
                                                                         
    mNumTabl      = 1+INT((mF-1)/mNFieldsTabl)                           // Номер таблицы
    mInpData      = 'Inp_data'+STRTRAN(STR(mNumTabl,3),' ','0')          // Наименование таблицы
    mNumFieldTabl = mF-(mNumTabl-1)*mNFieldsTabl                         // Номер поля в таблице
*   mVal          = (mInpData)->(FIELDGET(mNumFieldTabl))

    SELECT(mInpData)
    INDEX ON SUBSTR(FIELDGET(mNumFieldTabl),1,256) TO Inp_tmp UNIQUE     // ###################### Индексировать по нужному полю в нужной таблице, как в FIELDGET2322()

RETURN(mVal)
**************************************************************************************************************
******** Перейти на следующую запись во всех таблицах мультитаблицы. Для 2.3.2.2-CSV               
**************************************************************************************************************
FUNCTION DBSKIP2322(nr)
    FOR zz=1 TO mNumberFiles
        mInpData = 'Inp_data'+STRTRAN(STR(zz,3),' ','0')
        (mInpData)->(DBSKIP(nr))
    NEXT
RETURN NIL
**************************************************************************************************************
******** Открыть все базы данных: Inp_data###.dbf                    Для 2.3.2.2-CSV 
**************************************************************************************************************
FUNCTION UseInpDataALL()
    FOR zz=1 TO mNumberFiles
        mInpData = 'Inp_data'+STRTRAN(STR(zz,3),' ','0')
        USE (mInpData) EXCLUSIVE NEW
    NEXT
RETURN NIL
**************************************************************************************************************
******** Открыть все базы данных: Inp_rasp###.dbf                    Для 2.3.2.2-CSV 
**************************************************************************************************************
FUNCTION UseInpRaspALL()
    FOR zz=1 TO mNumberFiles
        mInpRasp = 'Inp_rasp'+STRTRAN(STR(zz,3),' ','0')
        USE (mInpData) EXCLUSIVE NEW
    NEXT
RETURN NIL
**************************************************************************************************************


[Eugene Lutsenko]

Эта ситуация возникает когда решаются задачи очень большой размерности, типа той, решить которую предложил Александр Петрович. На самом деле можно вычислить диапазоны классов для каждого файла и считать их ПО ОЧЕРЕДИ, а не одновременно. Тогда это вообще не должно сказаться на производительности, т.к. в этом случае не будет одновременного обращения ко многим файлам

[Eugene Lutsenko]

Можно провести сначала распознавание всех объектов тестовой выборки для диапазона классов, соответствующего 1-му файлу, потом всех объектов тестовой выборки для диапазона классов, соответствующего 2-му файлу и т.д. Тогда обращений к файлам будет мало, т.к. объектов распознаваемой выборки гораздо больше, чем классов.

[Petrovich]

Дима, ты умный, просто забыл

[Eugene Lutsenko]

Я местами - тут умный тут дурак

Если ты это понимаешь, значит это не так.
Я уже позже подумал, что если блоками загружать в оперативку и распознаваемую выборку, и сами результаты распознавания, то вообще не важно, в каком это делается порядке.

[Eugene Lutsenko]

Еще в случае распознавания получается более плотно задействована видеокарта - то есть должно получиться еще лучшее соотношение производительности между вашей и моей программой.

Это хорошо. В задаче Александра Петровича тестирующая выборка в CSV занимает гигабайты. Я пока даже не могу представить, сколько там распознаваемых объектов

[Petrovich]

Еще в случае распознавания получается более плотно задействована видеокарта - то есть должно получиться еще лучшее соотношение производительности между вашей и моей программой.

Это хорошо. В задаче Александра Петровича тестирующая выборка в CSV занимает гигабайты. Я пока даже не могу представить, сколько там распознаваемых объектов

распознаются траектории элементарных частиц, образующихся при соударении протонов и при распаде. Понятно, что траекторий может быть бесконечно много. Но задача там ставится относительно самой траектории - как восстановить отдельную траекторию по точкам событий в детекторах? Тогда все упрощается. есть примеры восстановления. При обучении надо просто по этим примерам выстроить модель. И т.д. и т.п.

[Eugene Lutsenko]

я имел в виду другую задачу - 2-ю про банки, в которой 4993 класса:
https://www.kaggle.com/c/santander-valu ... lenge/data
https://www.kaggle.com/c/santander-valu ... evaluation
хотя разработки Димы могут сыграть очень большую роль при решении любых задач большой размерности и задач, которые должны решаться в реальном времени (например общение с роботом на естественном языке).

[Eugene Lutsenko]

Да. Я думаю в ближайшее время проблема больших задач для нас безвозвратно уйдет в прошлое.

Больших - да, но тогда наступит эра очень больших задач, а потом очень-очень больших и т.д.

[Petrovich]

я имел в виду другую задачу - 2-ю про банки, в которой 4993 класса:
https://www.kaggle.com/c/santander-valu ... lenge/data
https://www.kaggle.com/c/santander-valu ... evaluation
хотя разработки Димы могут сыграть очень большую роль при решении любых задач большой размерности и задач, которые должны решаться в реальном времени (например общение с роботом на естественном языке).

Это вообще дурацкая задача. И сочиняют такие задачи идиоты из банков. Хотя задача с ускорителя ничем не лучше, ее сочиняли такие же идиоты.