Chaos and Correlation

Дмитрий Бандык писал(а):Синтез модели готов:
https://yadi.sk/d/HDZCq7Un3Z5HZx

Пожалуйста протестируйте и скажите насколько получилось успешно. Если возможно попробуйте запустить на разных компьютерах.

Запустил на домашнем компьютере. Работает мгновенно. А почему данные для синтеза моделей не берутся из файла Inp_data.dbf в папке Inp_data, например: c:\Aidos-X\AID_DATA\Inp_data\Inp_data.dbf ?

Дмитрий Бандык писал(а):Я беру данные из Obi_kpr и Obi_kcl . Или там не то? Но ведь матрица частот получилась правильная.

Я просто не знал точно откуда брать и сделал как сам понял. Завтра переделаю чтобы данные брались из нужного файла. Это не долго.

Подожди, Дима! Ты работаешь как в 2777 раз быстрее, чем обычный программист. Надо сначала подумать, а потом уже делать

Если в выходной форме классы будут колонками, а объекты распознаваемой выборки - строками, то это нормально. Такие файлы должны быть созданы по каждому интегральному критерию сходства (их 2) и по каждой модели (их 10) отдельно.

Вот здесь это неплохо описано:

Луценко Е.В. Автоматизация Функционально-стоимостного анализа и метода "Директ-костинг" на основе АСК-анализа и системы "Эйдос" (автоматизация управления натуральной и финансовой эффективностью затрат без содержательных технологических и финансово-экономических расчетов на основе информационных и когнитивных технологий и теории управления) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2017. – №07(131). С. 1 – 18. – IDA [article ID]: 1311707001. – Режим доступа: http://ej.kubagro.ru/2017/07/pdf/01.pdf, 1,125 у.п.л.

Луценко Е.В. Теоретические основы системно-когнитивного моделирования процессов и машин агроинженерных систем / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2018. – №01(135). С. 1 – 49. – IDA [article ID]: 1351801001. – Режим доступа: http://ej.kubagro.ru/2018/01/pdf/01.pdf, 3,062 у.п.л.

Верификация - это аналог режима 4.1.2.
При этом формируется довольно много выходных форм.

Файлы распознаваемой выборки:
Rso_Zag.dbf
Rso_Kcl.dbf
Rso_Kpr.dbf

Эти файлы аналогичны файлам обучающей выборки:
Obi_Zag.dbf
ObI_Kcl.dbf
Obi_Kpr.dbf

Перед верификацией моделей надо скопировать обучающую выборку в распознаваемую.
В режиме 3.5 есть разные варианты копирования не всей выборки, а различных ее подмножеств.

если классов будет больше 1500, то надо будет делить выходные базы на фрагменты по числу, заданных в одном файле

дело в том, что число колонок в dbf файле ограничено количеством не более 1500, а число строк вообще не ограничено, но при условии, что весь файл меньше 2Гб. Поэтому если объектов очень много получается что нужно делать файлы по столько колонок, чтобы эти файлы были меньше 2Гб

Файл имеет имя: "_NumberFields.txt"
Его содержимое: 4993 26
Первое число - число полей всего=число классов всего - 2.
Второе число число полей в файлах с именами вида: Inp_data003.DBF, где 003 - номер файла.

Несколько функций для работы со многими физическими базами данных как с одной логической (мультитаблицей):

Код: Выделить всё

**************************************************************************************************************
FUNCTION FIELDGET2322(mF)                                         // Для 2.3.2.2-CSV. mF - номер поля в мультитаблице

*   mNFieldsTabl = IF(Len(aTokens)<=255,Len(aTokens),255)         // Число полей в таблице
*   mNFieldsALL  = Len(aTokens)                                   // Число полей всего (в мультитаблице)

    mNumTabl      = 1+INT((mF-1)/mNFieldsTabl)                    // Номер таблицы
    mInpData      = 'Inp_data'+STRTRAN(STR(mNumTabl,3),' ','0')   // Наименование таблицы
    mNumFieldTabl = mF-(mNumTabl-1)*mNFieldsTabl                  // Номер поля в таблице
    mVal          = (mInpData)->(FIELDGET(mNumFieldTabl))
RETURN(mVal)
**************************************************************************************************************
******** Индексировать по нужному полю в нужной таблице
**************************************************************************************************************
FUNCTION IndexOn2322(mF)                                                 // Для 2.3.2.2-CSV. mF - номер поля в мультитаблице
                                                                         
*   mNFieldsTabl = IF(Len(aTokens)<=255,Len(aTokens),255)                // Число полей в таблице
*   mNFieldsALL  = Len(aTokens)                                          // Число полей всего (в мультитаблице)
                                                                         
    mNumTabl      = 1+INT((mF-1)/mNFieldsTabl)                           // Номер таблицы
    mInpData      = 'Inp_data'+STRTRAN(STR(mNumTabl,3),' ','0')          // Наименование таблицы
    mNumFieldTabl = mF-(mNumTabl-1)*mNFieldsTabl                         // Номер поля в таблице
*   mVal          = (mInpData)->(FIELDGET(mNumFieldTabl))

    SELECT(mInpData)
    INDEX ON SUBSTR(FIELDGET(mNumFieldTabl),1,256) TO Inp_tmp UNIQUE     // ###################### Индексировать по нужному полю в нужной таблице, как в FIELDGET2322()

RETURN(mVal)
**************************************************************************************************************
******** Перейти на следующую запись во всех таблицах мультитаблицы. Для 2.3.2.2-CSV               
**************************************************************************************************************
FUNCTION DBSKIP2322(nr)
    FOR zz=1 TO mNumberFiles
        mInpData = 'Inp_data'+STRTRAN(STR(zz,3),' ','0')
        (mInpData)->(DBSKIP(nr))
    NEXT
RETURN NIL
**************************************************************************************************************
******** Открыть все базы данных: Inp_data###.dbf                    Для 2.3.2.2-CSV 
**************************************************************************************************************
FUNCTION UseInpDataALL()
    FOR zz=1 TO mNumberFiles
        mInpData = 'Inp_data'+STRTRAN(STR(zz,3),' ','0')
        USE (mInpData) EXCLUSIVE NEW
    NEXT
RETURN NIL
**************************************************************************************************************
******** Открыть все базы данных: Inp_rasp###.dbf                    Для 2.3.2.2-CSV 
**************************************************************************************************************
FUNCTION UseInpRaspALL()
    FOR zz=1 TO mNumberFiles
        mInpRasp = 'Inp_rasp'+STRTRAN(STR(zz,3),' ','0')
        USE (mInpData) EXCLUSIVE NEW
    NEXT
RETURN NIL
**************************************************************************************************************


Эта ситуация возникает когда решаются задачи очень большой размерности, типа той, решить которую предложил Александр Петрович. На самом деле можно вычислить диапазоны классов для каждого файла и считать их ПО ОЧЕРЕДИ, а не одновременно. Тогда это вообще не должно сказаться на производительности, т.к. в этом случае не будет одновременного обращения ко многим файлам

Можно провести сначала распознавание всех объектов тестовой выборки для диапазона классов, соответствующего 1-му файлу, потом всех объектов тестовой выборки для диапазона классов, соответствующего 2-му файлу и т.д. Тогда обращений к файлам будет мало, т.к. объектов распознаваемой выборки гораздо больше, чем классов.

Дима, ты умный, просто забыл