Доверие, проверка и ограничения результатов ИИ
Кратко
Относитесь к любому результату ИИ как к хорошо организованному черновику. Приложения снижают риск: они отвечают по вашему тексту, указывают страницы, а в одном случае даже проверяют собственную работу, — но ни одно не может обещать правильности. Проверяйте важное (числа, имена, даты, обязательства) по источнику и думайте о том, что отправляете дальше, прежде чем отправить.
Подробности
Что приложения делают, чтобы не отрываться от источника
| Приложение | Встроенные меры предосторожности | Что остаётся вашей работой |
|---|---|---|
| Ask PDF / База знаний PDF | Ответы пишутся только по найденным фрагментам; инструкция запрещает заполнять пробелы общими знаниями и требует точных чисел. Маркеры ссылок, указывающие в никуда, отбрасываются; каждая оставленная ссылка показывает цитату на странице. Панель «как был построен этот ответ» перечисляет шаги | Откройте ссылку; оцените, действительно ли фрагмент поддерживает предложение; помните, что резюме по многим документам могут пропустить фрагмент |
| Генератор аннотаций | Аннотации научной и деловой литературы затем сравниваются с документом, а противоречащие утверждения исправляются (если хватает времени). Аннотации художественной литературы не проверяются | Прочитайте аннотацию, сверяя с документом; проверьте имена и числа |
| Шпаргалка | С документом элементы берутся из его текста. Только с темой — из общих знаний модели, и ничто их не проверяет | Проверяйте формулы и факты, особенно в режиме «только тема» |
| Чек-лист | Каждый пункт несёт страницу-источник и фрагменты. Уровень Direct остаётся при явных утверждениях | На уровне Moderate и выше пункты включают выводы; считайте их предложениями |
Где ИИ ошибается
- Выборка. Длинные документы часто читаются частично. Об этом говорят сообщения о ходе работы и FAQ приложений; в результате может не оказаться того, что не попало в выборку.
- Выдуманные или перепутанные детали, особенно числа, имена и юридические формулировки.
- Неверно прочитанная структура: таблицы, многоколоночная вёрстка и сноски могут извлекаться в неправильном порядке.
- Слепота к изображениям. Диаграммы, фотографии и схемы не анализируются.
- Гладко, но неверно на других языках. Когда это важно, пусть переводы проверит носитель языка.
- Это не консультация. Юридические, медицинские или финансовые решения требуют квалифицированного специалиста.
Короткая процедура проверки
- Откройте ссылку (Ask PDF, База знаний PDF) или страницу-источник (Чек-лист) для каждого утверждения, на которое будете полагаться.
- Перепроверьте все числа, даты и имена по странице.
- Задайте обратный вопрос («Где документ говорит иначе?»).
- Сравните два запуска с разными параметрами; пункты, которые появились только в одном, заслуживают внимания.
- Пометьте результат как подготовленный ИИ, если передаёте его дальше.
Что отправляется в модель
По результатам чтения кода воркеров:
- Текст, а не изображения. Текст ваших страниц (или найденных фрагментов и извлечённых частей), ваш вопрос или тема и выбранные вами параметры (стиль, язык и так далее). Изображения страниц, используемые для подсветки цитат, строятся на стороне Documentize и ИИ не анализируются.
- Сканы. В Генераторе аннотаций сначала в качестве шага обработки выполняется распознавание текста; дальше идёт получившийся текст.
- Длинные документы разбиваются на части, и на один документ делается несколько запросов.
- Поиск использует также эмбеддинги (числовые «отпечатки» фрагментов) от той же конечной точки модели.
- Какой провайдер запускает модель — это серверная настройка, которой нет в коде; книга не может об этом сообщить. (проверьте в работающем приложении / у поставщика)
Как долго всё хранится
Тексты FAQ у приложений различаются — читайте тот, что относится к вашему приложению:
- Ask PDF: PDF и база знаний хранятся около суток, затем удаляются.
- База знаний PDF: хранится около суток, удаляется автоматически, «не передаётся никому».
- Чек-лист: документы удаляются по завершении задачи.
- Шпаргалка: «удаляется сразу после создания». Documentize также недолго хранит результаты для скачивания; общие правила см. в разделе Конфиденциальность и жизненный цикл данных. Не рассчитывайте ни на что из этого как на долговременное хранилище; скачивайте то, что вам нужно.
Безопасные привычки для чувствительных документов
- Уберите то, что ИИ не нужно: Разделение PDF, чтобы отправить только нужные страницы; Redactor для персональных данных.
- Не загружайте то, чем вам нельзя делиться со службой обработки; проверьте правила вашей организации.
- Для регулируемых материалов рассмотрите самостоятельное размещение.