Защитные механизмы

Блок "Защитные механизмы" проверяет и защищает ваши AI-воркфлоу, проверяя контент на соответствие нескольким типам валидации. Обеспечивайте качество данных, предотвращайте галлюцинации, обнаруживайте PII и применяйте требования к формату до того, как контент пройдет через ваш воркфлоу.

Типы валидации

Валидация JSON

Проверяет, что контент правильно отформатирован как JSON. Идеально подходит для обеспечения того, что структурированные выходные данные LLM могут быть безопасно разобраны.

Варианты использования:

• Проверка JSON-ответов от блоков "Агент" перед разбором
• Обеспечение правильного форматирования полезных данных API
• Проверка целостности структурированных данных

Выходные данные:

• passed: true, если JSON валиден, false в противном случае
• error: Сообщение об ошибке, если валидация не удалась (например, "Invalid JSON: Unexpected token...")

Валидация регулярных выражений

Проверяет, соответствует ли контент указанному шаблону регулярного выражения.

Варианты использования:

• Проверка адресов электронной почты
• Проверка форматов телефонных номеров
• Проверка URL или пользовательских идентификаторов
• Применение определенных текстовых шаблонов

Конфигурация:

• Шаблон регулярного выражения: Регулярное выражение для сопоставления (например, ^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$ для email)

Выходные данные:

• passed: true, если контент соответствует шаблону, false в противном случае
• error: Сообщение об ошибке, если валидация не удалась

Обнаружение галлюцинаций

Использует Retrieval-Augmented Generation (RAG) с оценкой LLM для обнаружения случаев, когда AI-генерируемый контент противоречит или не основан на вашей базе знаний.

Как это работает:

1. Запрашивает вашу базу знаний для получения релевантного контекста
2. Отправляет как AI-выходные данные, так и полученный контекст в LLM
3. LLM присваивает оценку уверенности (шкала 0-10)
   • 0 = Полная галлюцинация (полностью необоснованная)
   • 10 = Полностью обоснованная (полностью поддерживается базой знаний)
4. Валидация проходит, если оценка ≥ порогового значения (по умолчанию: 3)

Конфигурация:

• База знаний: Выберите из существующих баз знаний
• Модель: Выберите LLM для оценки (требуется сильное логическое мышление - рекомендуется GPT-4o, Claude 3.7 Sonnet)
• API-ключ: Аутентификация для выбранного провайдера LLM (автоматически скрывается для хостинговых/Ollama или совместимых с VLLM моделей)
• Уверенность: Минимальная оценка для прохождения (0-10, по умолчанию: 3)
• Top K (Расширенные): Количество фрагментов базы знаний для извлечения (по умолчанию: 5)

Выходные данные:

• passed: true, если оценка уверенности ≥ порогового значения
• score: Оценка уверенности (0-10)
• reasoning: Объяснение LLM для оценки
• error: Сообщение об ошибке, если валидация не удалась

Варианты использования:

• Проверка ответов "Агента" на соответствие документации
• Обеспечение фактической точности ответов службы поддержки
• Проверка соответствия сгенерированного контента исходному материалу
• Контроль качества для RAG-приложений

Обнаружение PII

Обнаруживает личную идентифицируемую информацию с помощью Microsoft Presidio. Поддерживает более 30 типов сущностей в нескольких странах и языках.

Как это работает:

1. Передайте контент для проверки (например, <agent1.content>)
2. Выберите типы PII для обнаружения с помощью модального селектора
3. Выберите действие (Блокировать запрос или Маскировать PII)
4. Контент сканируется на наличие соответствующих сущностей PII
5. Возвращает результаты обнаружения и, при необходимости, замаскированный текст

Конфигурация:

• Типы PII для обнаружения: Выберите из сгруппированных категорий через модальный селектор
  • Общие: Имя человека, Email, Телефон, Кредитная карта, IP-адрес и т.д.
  • США: SSN, Водительские права, Паспорт, Номер банковского счета, ITIN
  • Великобритания: Номер NHS, Номер национального страхования
  • Испания: NIF, NIE
  • Италия: Код налогоплательщика, Водительские права, Удостоверение личности, Паспорт
  • Польша: PESEL
  • Сингапур: NRIC/FIN
  • Австралия: ABN, ACN, TFN, Medicare
  • Индия: Aadhaar, PAN, Регистрация транспортного средства, Номер избирателя, Паспорт
• Действие:
  • Блокировать запрос: Только идентифицировать PII (по умолчанию)
  • Маскировать PII: Заменить обнаруженный PII замаскированными значениями
• Язык: Язык обнаружения (по умолчанию: Английский)

Выходные данные:

• passed: false, если обнаружены какие-либо выбранные типы PII
• detectedEntities: Массив обнаруженных сущностей PII с типом, местоположением и уверенностью
• maskedText: Контент с замаскированным PII (только если режим = "Mask")
• error: Сообщение об ошибке, если валидация не удалась

Варианты использования:

• Блокировка контента, содержащего конфиденциальную личную информацию
• Маскировка PII перед логированием или хранением данных
• Соответствие GDPR и другим нормам конфиденциальности
• Очистка пользовательских вводов перед обработкой

Конфигурация

Контент для проверки

Входной контент для проверки. Обычно поступает из:

• Выходных данных блока "Агент": <agent.content>
• Результатов блока "Функция": <function.result>
• Ответов API: <api.output>
• Любых других выходных данных блоков

Тип валидации

Выберите из четырех типов валидации:

• Валидный JSON: Проверить, правильно ли отформатирован контент как JSON
• Совпадение с регулярным выражением: Проверить, соответствует ли контент шаблону регулярного выражения
• Проверка на галлюцинации: Проверить на соответствие базе знаний с оценкой LLM
• Обнаружение PII: Обнаружить и, при необходимости, замаскировать личную идентифицируемую информацию

Выходные данные

Все типы валидации возвращают:

• <guardrails.passed>: Логическое значение, указывающее, прошла ли валидация
• <guardrails.validationType>: Тип выполненной валидации
• <guardrails.input>: Исходный ввод, который был проверен
• <guardrails.error>: Сообщение об ошибке, если валидация не удалась (опционально)

Дополнительные выходные данные по типам:

Проверка на галлюцинации:

• <guardrails.score>: Оценка уверенности (0-10)
• <guardrails.reasoning>: Объяснение LLM

Обнаружение PII:

• <guardrails.detectedEntities>: Массив обнаруженных сущностей PII
• <guardrails.maskedText>: Контент с замаскированным PII (если режим = "Mask")

Примеры использования

Проверка JSON перед разбором - Обеспечение того, что выходные данные "Агента" являются валидным JSON

Agent (Generate) → Guardrails (Validate) → Condition (Check passed) → Function (Parse)

Предотвращение галлюцинаций - Проверка ответов службы поддержки на соответствие базе знаний

Agent (Response) → Guardrails (Check KB) → Condition (Score ≥ 3) → Send or Flag

Блокировка PII во вводах пользователей - Очистка контента, отправленного пользователями

Input → Guardrails (Detect PII) → Condition (No PII) → Process or Reject

Рекомендации

• Цепочка с блоками "Условие": Используйте <guardrails.passed> для ветвления логики воркфлоу на основе результатов валидации
• Используйте валидацию JSON перед разбором: Всегда проверяйте структуру JSON перед попыткой разбора выходных данных LLM
• Выбирайте соответствующие типы PII: Выбирайте только типы сущностей PII, релевантные вашему варианту использования, для лучшей производительности
• Устанавливайте разумные пороги уверенности: Для обнаружения галлюцинаций настраивайте порог на основе ваших требований к точности (выше = строже)
• Используйте сильные модели для обнаружения галлюцинаций: GPT-4o или Claude 3.7 Sonnet обеспечивают более точную оценку уверенности
• Маскируйте PII для логирования: Используйте режим "Mask", когда вам нужно логировать или хранить контент, который может содержать PII
• Тестируйте шаблоны регулярных выражений: Тщательно проверяйте ваши шаблоны регулярных выражений перед развертыванием в production
• Мониторьте сбои валидации: Отслеживайте сообщения <guardrails.error> для выявления распространенных проблем валидации