Блок "Оценщик" использует ИИ для оценки и анализа качества контента по пользовательским метрикам. Идеально подходит для контроля качества, A/B-тестирования и обеспечения соответствия выходных данных ИИ определенным стандартам.
Параметры конфигурации
Метрики оценки
Определите пользовательские метрики для оценки контента. Каждая метрика включает:
- Название: Краткий идентификатор метрики
- Описание: Подробное объяснение того, что измеряет метрика
- Диапазон: Числовой диапазон для оценки (например, 1-5, 0-10)
Примеры метрик:
Точность (1-5): Насколько фактически точен контент?
Ясность (1-5): Насколько понятен и ясен контент?
Релевантность (1-5): Насколько контент соответствует исходному запросу?Контент
Контент для оценки. Это может быть:
- Непосредственно предоставлен в конфигурации блока
- Подключен из выходных данных другого блока (обычно блока Агент)
- Динамически сгенерирован во время выполнения воркфлоу
Выбор модели
Выберите модель ИИ для выполнения оценки:
- OpenAI: GPT-4o, o1, o3, o4-mini, gpt-4.1
- Anthropic: Claude Sonnet 4.5
- Google: Gemini 2.5 Pro, Gemini 2.0 Flash
- Другие провайдеры: Groq, Cerebras, xAI, DeepSeek
- Локальные модели: Ollama или совместимые модели VLLM
Для лучших результатов используйте модели с сильными аналитическими возможностями, такие как GPT-4o или Claude Sonnet 4.5.
API-ключ
Ваш API-ключ для выбранного провайдера LLM. Он безопасно хранится и используется для аутентификации.
Примеры использования
Оценка качества контента - Оценка контента перед публикацией
Агент (Генерация) → Оценщик (Оценка) → Условие (Проверка порога) → Публикация или РедактированиеA/B-тестирование контента - Сравнение нескольких ответов, сгенерированных ИИ
Параллельный (Варианты) → Оценщик (Оценка каждого) → Функция (Выбор лучшего) → ОтветКонтроль качества поддержки клиентов - Обеспечение соответствия ответов стандартам качества
Агент (Ответ поддержки) → Оценщик (Оценка) → Функция (Логирование) → Условие (Проверка при низкой оценке)Выходные данные
<evaluator.content>: Сводка оценки с баллами<evaluator.model>: Модель, использованная для оценки<evaluator.tokens>: Статистика использования токенов<evaluator.cost>: Расчетная стоимость оценки
Рекомендации
- Используйте конкретные описания метрик: Четко определите, что измеряет каждая метрика, чтобы получить более точные оценки
- Выбирайте подходящие диапазоны: Выбирайте диапазоны оценки, которые обеспечивают достаточную детализацию без излишней сложности
- Подключайте к блокам Агент: Используйте блоки Оценщик для оценки выходных данных блоков Агент и создания циклов обратной связи
- Используйте согласованные метрики: Для сравнительного анализа поддерживайте согласованные метрики по аналогичным оценкам
- Комбинируйте несколько метрик: Используйте несколько метрик для получения комплексной оценки