Перейти к основному содержимому

Расширенные настройки NLU

При редактировании настроек проекта вы можете задать новые параметры для настройки NLU. Параметры передаются в виде JSON-объекта.

Общие настройки​

К общим настройкам относятся параметры, не зависящие от алгоритма классификатора в проекте:

{
    "classificationAlgorithmVersion": 1,
    "patternsEnabled": true,
    "tokenizerEngine": "udpipe",
    "dictionaryAutogeneration": true
}

  • classificationAlgorithmVersion — версия классификатора. Возможные значения:

    • null — версия в ранее созданных проектах. В ней алгоритм STS не всегда распознает самый длинный вариант сущности во фразе.
    • 1 — актуальная версия с улучшенным STS. Это значение указывается по умолчанию при создании нового проекта.
    предупреждение

    Если вы измените значение этого параметра, то вес интентов при использовании STS будет рассчитываться по-другому. Это может повлиять, например, на результаты автоматизированных тестов.

  • patternsEnabled — при активном параметре в тренировочных фразах доступно использование паттернов.

  • tokenizerEngine — токенизатор, который будет выполнять токенизацию и лемматизацию текста.

  • dictionaryAutogeneration — при активном параметре пользовательский словарь заполняется согласно содержимому сущностей.

tokenizerEngine​

Для разных языков NLU доступны разные движки токенизации.

Язык NLUТокенизаторыПримечания
Русскийudpipe
mystem
morphsrus		Токенизаторы mystem и morphsrus предназначены для миграции проектов на NLU.
Китайскийpinyin
Португальскийudpipe
Казахскийkaznlp
Другие языкиspacy

STS​

Параметры для классификатора STS по умолчанию:

{
    "allowedPatterns": [],

    "stsSettings": {
        "exactMatch": 1.0,
        "lemmaMatch": 0.95,
        "jaccardMatch": 0.5,
        "jaccardMatchThreshold": 0.82,
        "acronymMatch": 1.0,
        "synonymMatch": 0.5,
        "synonymContextWeight": 0.0,
        "patternMatch": 1,
        "throughPatternMatch": 0.8,
        "wordSequence1": 0.8,
        "wordSequence2": 0.9,
        "wordSequence3": 1.0,
        "idfShift": 0.0,
        "idfMultiplier": 1.0,
        "namedEntitiesRequired": false
    }
}

  • allowedPatterns — список сущностей, для которых включен параметр Автоматически расширять интенты.

  • exactMatch — коэффициент, на который умножается вес слова при полном совпадении слов в запросе клиента и в одной из тренировочных фраз. Например, дом и дом.

  • lemmaMatch — коэффициент, на который умножается вес слова при совпадении слов по словарным формам (леммам). Например, дома и дом.

  • jaccardMatch — коэффициент, на который умножается вес слова при совпадении слов по мере Жаккара. jaccardMatch срабатывает, если:

    • Слова совпадают по символам, но символы расположены в разном порядке. Например, дома и мода.
    • Слова почти совпадают по символам, а их мера сходства больше или равна jaccardMatchThreshold. Например, компьютер и компютер.

  • jaccardMatchThreshold — минимальное значение меры Жаккара. По умолчанию параметр jaccardMatch учитывает совпадение двух слов, если их мера сходства больше или равна 0.82.

  • acronymMatch — коэффициент, на который умножается вес словосочетания при совпадении словосочетания и его аббревиатуры. Аббревиатуры определяются с помощью регулярного выражения. Например, Московский государственный университет и МГУ.

  • synonymMatch — коэффициент, на который умножается вес слова при совпадении по синониму. Готовый словарь синонимов встроен в NLU и поддерживается только для русского языка.

  • synonymContextWeight — коэффициент, на который штрафуется вес синонима:

    • При "synonymContextWeight": 0.0 синоним не штрафуется.
    • При "synonymContextWeight": 1.0 вес синонима существенно снижается.

  • patternMatch — коэффициент, на который умножается вес слова при совпадении по сущности, указанной в тренировочной фразе.

    Например, в интенте есть фраза Позови @agent. Сущность @agent содержит синонимы консультант, специалист и оператор. Если пользователь напишет боту Позови оператора, слово оператор распознается как сущность, и его вес будет умножен на значение patternMatch.

  • throughPatternMatch — коэффициент, на который умножается вес слова при совпадении по сущности, указанной в allowedPatterns.

  • Коэффициенты, на которые умножается вес слова, если во фразе встречается совпадающая последовательность слов:

    • На wordSequence1 умножается вес первого слова в последовательности.
    • На wordSequence2 умножается вес второго слова в последовательности.
    • На wordSequence3 умножается вес третьего слова в последовательности. Четвертое и последующие слова также будут умножаться на значение wordSequence3. Рекомендуется варьировать эти параметры в промежутке от 0 не включительно до 1 включительно. Сохраняйте соотношение wordSequence1 < wordSequence2 < wordSequence3.

    Например, в интенте есть тренировочная фраза Хочу купить курс по очень выгодной цене. Пользователь пишет боту Решил вот купить курс у вас по очень выгодной цене. Алгоритм находит совпадающие последовательности:

    ПоследовательностьСловоМножитель веса слова
    купитькупитьwordSequence1
    купить курскурсwordSequence2
    попоwordSequence1
    по оченьоченьwordSequence2
    по очень выгоднойвыгоднойwordSequence3
    по очень выгодной ценеценеwordSequence3

  • idfShift и idfMultiplier — параметры, которые влияют на расчет веса слова через IDF. Не рекомендуется менять их значения.

  • namedEntitiesRequired — при активном параметре в запросе пользователя должна быть найдена системная сущность, чтобы запрос попал в интент.

    Например, в интент была добавлена фраза с системной сущностью Мне нужно @duckling.number яблок. При активном параметре запрос пользователя Мне нужно яблок не попадет в интент, так как в запросе нет системной сущности.

Classic ML​

Параметры для классификатора Classic ML:

{
    "classicMLSettings": {
        "C": 1,
        "lang": "ru",
        "word_ngrams": [
            1,
            2
        ],
        "lemma_ngrams": [
            0
        ],
        "stemma_ngrams": [
            1,
            2
        ],
        "char_ngrams": [
            3,
            4
        ],
        "lower": true,
        "useTfIdf": false,
        "min_document_frequency": 1
    }
}

  • C — коэффициент регуляризации, с помощью которого можно контролировать переобучение модели. Используется при работе с большими значениями коэффициентов целевой функции, штрафует их на величину параметра. Принимает следующие значения: 0.01, 0.1, 1, 10.

  • word_ngrams — количество слов, которые будут объединены в словосочетания. При значении "word_ngrams": [2, 3] будут использованы словосочетания из двух и трех слов. Например, для фразы я люблю зеленые яблоки будут составлены словосочетания:

    • я люблю,
    • люблю зеленые,
    • зеленые яблоки,
    • я люблю зеленые,
    • люблю зеленые яблоки.
    предупреждение
    Не рекомендуется использовать значение параметра больше 3.

  • lemma_n_grams — количество слов, которые будут приведены в нормальную форму и объединены в словосочетания. При значении "lemma_n_grams": [2] будут использованы словосочетания из двух слов. Например, для фразы я люблю зеленые яблоки будут составлены словосочетания:

    • я любить,
    • любить зеленый,
    • зеленый яблоко.
    предупреждение
    Не рекомендуется использовать значение параметра больше 3.

  • stemma_ngrams — количество стемов, которые будут объединены в словосочетания. Стем — основа слова, не обязательно совпадает с морфологическим корнем слова. При значении "stemma_ngrams": [2] будут использованы словосочетания из двух стемов. Например, для фразы я люблю зеленые яблоки будут составлены словосочетания:

    • я любл,
    • любл зелен,
    • зелен яблок.
    предупреждение
    Не рекомендуется устанавливать значение для stemma_ngrams больше 3 и использовать параметр stemma_ngrams вместе с lemma_n_grams, поскольку модель может переобучиться.

  • char_n_grams — количество символов, которые рассматриваются в качестве отдельной единицы. Например, при значении "char_n_grams": [5] фраза зеленые яблоки преобразуется в набор:

    • зелен,
    • елены,
    • леные и т. д.

  • lower — при значении true все фразы приводятся к нижнему регистру.

  • useTfIdf — параметр определяет, какой алгоритм использовать при векторизации тренировочных фраз. Значение по умолчанию — false.

    • Если true, используется TF-IDF. Он вычисляет значимость слова или выражения в контексте всех тренировочных фраз. Рекомендуется для проектов с небольшой выборкой, чтобы повысить качество распознавания интентов. Векторизация будет проходить медленнее, чем при значении false, но ее качество будет выше.
    • Если false, используется CountVectorizer. Он вычисляет, как часто слова или выражения встречаются в интенте. Рекомендуется для проектов со средней или большой выборкой. Векторизация будет проходить быстрее, но при работе с небольшой выборкой точность алгоритма будет снижаться.

  • min_document_frequency — минимальная частота, с которой слово должно встречаться в тренировочных фразах, чтобы оно учитывалось при векторизации и классификации. Значение по умолчанию — 1.

    • Если вы работаете со средней или большой выборкой, повысьте значение параметра, чтобы ускорить обучение классификатора. Слова, которые редко встречаются в выборке, не будут учитываться.
    • Если вы работаете с небольшой выборкой, менять значение по умолчанию не рекомендуется.

Deep Learning​

Параметры для классификатора Deep Learning:

{
    "cnnSettings": {
        "lang": "ru",
        "kernel_sizes": [
            1,
            2
        ],
        "n_filters": 1024,
        "emb_drp": 0.25,
        "cnn_drp": 0.25,
        "bs": 64,
        "n_epochs": 15,
        "lr": 0.001,
        "pooling_name": "max"
    }
}

  • kernel_sizes — список размеров сверточных ядер. Сверточное ядро — размер контекстного окна, на которое классификатор будет обращать внимание. Например, "kernel_sizes": [3] означает, что модель будет находить признаки в тексте, основываясь на всех тройках соседних слов. Для одной модели может быть задано несколько сверточных ядер.

  • n_filters — количество фильтров. Один фильтр — это определенный паттерн, выученный моделью. Для каждого ядра модель имеет свой набор паттернов. Например, если указать "kernel_sizes": [2, 3] и "n_filters": 512, то всего фильтров будет 1024 (на каждое ядро по 512).

  • emb_drp — вероятность исключения нейрона на первом скрытом слое. Метод исключения искусственно отключает часть весов в процессе обучения, чтобы избежать переобучения нейронной сети. Благодаря ему сеть не только запоминает весь набор данных, но и сохраняет способность к обобщению информации. Принимает значение от 0 до 1.

  • cnn_drp — вероятность исключения нейрона на сверточных слоях сети.

  • bs — размер входного пакета для обучения. Параметр определяет, какое количество тренировочных примеров будет подаваться на входной слой сети за один шаг в процессе обучения. Если в выборке менее 3 000 примеров, рекомендуемое значение составляет 16–32. При большой выборке это значение может составить 32–128.

  • n_epochs — количество эпох обучения. Параметр определяет, сколько раз модель увидит все тренировочные данные.

  • lr — коэффициент скорости обучения. Множитель, с которым модель будет обновлять свои веса в процессе обучения.

  • pooling_name — стратегия агрегации. После нахождения паттернов во входной строке модель должна их обобщить перед финальным классификационным слоем. Стратегии агрегации: max, mean, concat.

Параметры для классификатора Deep Learning:

ПараметрОбъем выборки
1–3 тысячи примеров3–10 тысяч примеров10–30 тысяч примеров30–100 тысяч примеровБолее 100 тысяч примеров
kernel_sizes[2, 3][2, 3] или [2, 3, 4][2, 3] или [2, 3, 4][2, 3, 4][2, 3, 4]
n_filters512102410241024–20481024–2048
emb_drp0.50.4–0.50.3–0.50.3–0.40.3–0.4
cnn_drp0.50.4–0.50.3–0.50.3–0.40.3–0.4
bs16–323232–6432–12864–128
n_epochs7–154–73–533
lr0.0010.0010.0010.0010.001
pooling_name«max»«max»«max»«max» или «concat»«max» или «concat»

Transformer​

Сервис классификации Transformer развернут на платформе Caila. Если в своем проекте вы выбрали этот тип классификатора, то при помощи расширенных настроек вы можете использовать вместо стандартного сервиса любой другой классификатор из Caila. Ознакомьтесь с примерами такой интеграции в статье Подключение сервисов Caila в JAICP.

примечание

В описании настроек ниже используются такие понятия, как базовый сервис, производный сервис, predict-конфигурация. Вы можете ознакомиться с ними в документации Caila.

Параметры для классификатора Transformer:

{
    "mlp": {
        "restUrl": "https://caila.io",
        "mlpAccessKey": "1234567.8.xxxxxxxxxxx",
        "noTraining": false,
        "trainingModel": {
            "account": "just-ai",
            "model": "text-classifier-logreg-labse"
        },
        "derivedModel": {
            "account": "1000005",
            "model": "my-little-wizard",
            "token": "8765432.1.xxxxxxxxxxx"
        },
        "nerModels": [
            {
                "account": "just-ai",
                "model": "ner-duckling",
                "config": {
                    "language": "ru",
                    "version": "v1"
                }
            }
        ],
        "markup": {
            "account": "just-ai",
            "model": "ner-duckling",
            "config": {}
        }
    }
}

  • restUrl — адрес сервера Caila. Если вы указываете этот параметр, обязательно также задать mlpAccessKey.

  • mlpAccessKey — токен доступа к Caila. Токены создаются в интерфейсе Caila в разделе Мое пространство → API-токены.

  • noTraining — этот флаг указывает, что JAICP не должна запускать обучение сервиса в Caila при публикации бота. Используйте этот параметр, если сервис обновляется вручную.

  • trainingModel — параметры базового сервиса, от которого нужно создать производный сервис:

    • account — ID аккаунта, из-под которого создан сервис.
    • model — ID сервиса. Оба идентификатора могут быть как строковыми, так и числовыми.
    Где найти значения account и model

    Оба идентификатора можно найти в URL карточки сервиса, например:

    • Сервис из каталога caila.io/catalog/just-ai/FAQ: account = just-ai, model = FAQ.
    • Личный сервис caila.io/workspace/model/12345/67890: account = 12345, model = 12345.

  • derivedModel — параметры производного сервиса. Одновременно можно указать либо только trainingModel, либо только derivedModel. Если указать оба параметра, будет ошибка.

    • token — токен доступа к производному сервису, необязательный параметр. Указывайте его, если используете приватный сервис из другого аккаунта.

  • nerModels — список сервисов для распознавания именованных сущностей. Для каждого сервиса помимо основных параметров можно задать config — predict-конфигурацию сервиса.

  • markup — параметры сервиса для морфологической разметки текста. Для сервиса помимо основных параметров можно задать config — predict-конфигурацию сервиса.

    примечание

    Если вы хотите использовать параметры nerModels и markup, также нужно добавить настройки внешнего NLU-сервиса и установить nluType для нужных провайдеров в значение mlp:

    {
        "externalNluSettings": {
            "nluProviderSettings": {
                "markup": {
                    "nluType": "mlp",
                    "url": null
                },
                "ner": {
                    "nluType": "mlp",
                    "url": null
                },
                "classification": {
                    "nluType": "mlp",
                    "url": null
                }
            }
        }
    }

Внешний NLU-сервис​

К JAICP можно подключить внешний NLU-сервис с помощью Model API. Вы можете использовать сторонние сервисы для распознавания именованных сущностей и интентов в проектах JAICP.

Чтобы подключить внешний NLU-сервис к проекту, используйте в расширенных настройках поле externalNluSettings:

{
    "externalNluSettings": {
        "nluProviderSettings": {
            "markup": {
                "nluType": "external",
                "url": "http://example.com"
            },
            "ner": {
                "nluType": "external",
                "url": "http://example.com"
            },
            "classification": {
                "nluType": "external",
                "url": "http://example.com"
            }
        },
        "language": "ja",
        "nluActionAdditionalProperties": {
            "markup": null,
            "ner": null,
            "classification": {
                "modelId": "123",
                "classifierName": "example",
                "properties": null
            }
        }
    }
}

  • nluProviderSettings — объект, определяющий, где будет выполняться действие NLU.

  • markup — параметры для запросов на разметку.

  • nluType — тип NLU. Может быть установлен внешний external или внутренний internal NLU.

  • ner — параметры для распознавания именованных сущностей.

  • classification — параметры для запросов на классификацию интентов.

  • language — язык внешнего NLU. Если не установлен, будет использован язык из настроек проекта.

  • nluActionAdditionalProperties — дополнительные настройки для внешнего NLU-сервиса.

  • modelID — ID модели классификатора.

  • classifierName — имя классификатора.

Использование​

предупреждение
В проекте нельзя одновременно использовать интенты и сущности от внешнего NLU-сервиса и от NLU-ядра.

В проекте JAICP вы можете:

  1. Использовать сущности и интенты внешнего NLU-сервиса.

    • Установите "nluType": "external" для параметров markup, ner и classification.
    • В сценарии интенты доступны по тегу intent, а сущности — по тегу q.
    • Визуальная настройка в разделе NLU для интентов и сущностей внешнего NLU-сервиса не поддерживается.

  2. Использовать сущности внешнего NLU-сервиса и интенты NLU-ядра.

    • Установите "nluType": "external" для параметра ner и "nluType": "internal" для markup и classification.
    • Использование сущностей внешнего NLU-сервиса при настройке интентов и слотов не будет доступно.
    • В сценарии сущности доступны по тегу q.

  3. Использовать интенты внешнего NLU-сервиса и сущности NLU-ядра.

    • Установите "nluType": "external" для параметра classification и "nluType": "internal" для markup и ner.
    • В сценарии интенты доступны по тегу intent.

  4. Использовать разметку внешнего NLU-сервиса с сущностями и интентами NLU-ядра.

    • Установите "nluType": "external" для параметра markup и "nluType": "internal" для classification и ner.
    • В разделе NLU → Интенты вы можете использовать Тренировочные фразы на языках, которые не поддерживаются платформой. Они будут распознаны в сценарии.
подсказка
Вы можете ознакомиться с примером внешнего NLU-сервиса в репозитории на GitHub.