Проблемы с качеством OCR и ИИ
Кратко
Два вида приложений угадывают: приложения распознавания (OCR) угадывают буквы по пикселям, а приложения ИИ угадывают смысл по тексту. И те и другие могут ошибаться так, что результат выглядит правдоподобно. Хороший результат даёт хороший входной материал (ровный, правильно ориентированный, с верным языком, с настоящим текстом) и проверка того, что важно. На этой странице исправления расположены в порядке убывания пользы.
Подробности
Часть 1: OCR читает плохо
OCR присутствует в Изображение в TXT (OCR Image) (на выходе текст), в Searchable (невидимый текстовый слой в вашем PDF) и в виде переключателя внутри других приложений (Converter, плиточный режим Resize). Лекарство для всех одно.
Список проверки, в порядке влияния:
- Сначала ориентация. Повёрнутые боком или вверх ногами страницы вредят распознаванию сильнее всего. В Searchable есть переключатель «Source photo is sideways (rotate 90°)», но автоматического определения ориентации нет. Для PDF сначала поверните страницы в Ротации PDF (Rotation); для фото поверните его на своём устройстве.
- Выберите язык документа. Неверный язык — причина номер один абракадабры. В списке языков около 35 пунктов, среди них языки на кириллице, арабский, китайский (упрощённый и традиционный), хинди, японский, корейский и тайский. По умолчанию выбран английский, поэтому для неанглийского документа этот параметр нужно задать.
- Выровняйте. Для фото с телефона оставьте включённым Deskew в Searchable. Для файла, который уже является PDF, сначала запустите Deskew, затем Searchable (Deskew выдаёт изображения страниц, поэтому OCR выполняйте после него, а не до).
- Очистите фон. Для пожелтевших, затенённых или проштампованных страниц отметьте «Remove background/watermark».
- Разрешение. Крошечные или размытые изображения дают плохой текст. Сделайте снимок или пересканируйте с более высоким разрешением; используйте ровное, хорошо освещённое фото.
- Исправление с помощью ИИ — в последнюю очередь. «Correct OCR errors with AI» может исправить ошибки распознавания, но может и изменить слова. Выборочно проверьте имена и числа.
- Разделите длинные файлы. Searchable отказывается от очень длинных документов и просит разделить их; используйте Разделение PDF (Splitter), затем объедините части.
Симптомы
| Симптом | Вероятное исправление |
|---|---|
| Результат выглядит как абракадабра | Язык, ориентация, разрешение |
| «Words are wrong or missing» | То же, затем попробуйте очистку фона и исправление с помощью ИИ |
| PDF «выглядит так же» после Searchable | Так и должно быть: текстовый слой невидим. Нажмите Ctrl+F в программе просмотра, чтобы проверить |
| Текст выделяется, но порядок странный | Колонки и таблицы определяются приблизительно; используйте Парсер PDF (Parser) или вывод в Excel с «tables only» |
| Таблицы превратились в строки слов | Простой текст не вмещает таблицы; Searchable в Excel с «Extract tables only» |
| Файл стал больше | Добавлен текстовый слой; запустите Сжатие PDF (Compressor) |
| Поиск слова ничего не находит, хотя вы его видите | В Поиске в формате PDF (Search) отметьте флажок для сканов и задайте язык. В скане неверно прочитанное слово найти нельзя, поэтому «ничего не найдено» не доказывает отсутствия |
Часть 2: ИИ-приложения и сканы
Большинство ИИ-приложений читают текстовый слой вашего PDF. У скана его нет.
| Приложение | Что происходит со сканом |
|---|---|
| Ask PDF | Останавливается с сообщением, что PDF «look scanned» или «No extractable text was found», и просит сделать их доступными для поиска |
| PDF Knowledge Base | Показывает для этого документа статус «No text (scanned?)» |
| Checklist | Чек-лист-заглушка либо «No checklist items could be extracted» |
| Cheat Sheet | Ошибка с просьбой дать текстовый PDF или тему; при наличии темы скан может быть молча проигнорирован |
| Chat Create | После загрузки скана ничего полезного не происходит |
| Unwatermark | Пустой результат: текста не было |
| Abstracts | Исключение. Он сам распознаёт отсканированные страницы, но медленно, и непрочитанные страницы в пределах лимита времени отбрасываются. Если ничего прочитать нельзя, вы получите «No text could be read...» |
| Resume | Работает, но качество зависит от распознавания |
Правило: сначала запустите Searchable, убедитесь, что текст в результате можно выделить, и только потом загружайте этот PDF в ИИ-приложение.
Часть 3: ответы ИИ, которые выглядят неверными
- Доверяй, но проверяй. Любой результат ИИ — это хорошо организованный черновик (Доверие, проверка и ограничения). Сверяйте числа, даты, имена и юридические формулировки с источником.
- Открывайте цитаты в Ask PDF и PDF KB. Сохранённая цитата доказывает, что отрывок существует, но не то, что модель поняла его правильно.
- «The documents don't cover it.» Сначала поверьте этому, затем переформулируйте вопрос словами из самого документа; поиск основан и на словах, и на смысле.
- Длинные документы читаются выборочно. Abstracts, Cheat Sheet и PDF KB читают части длинных документов (бесплатный тариф читает меньше частей; в тексте прогресса написано «Extracting key points from N of M parts...»). Спрашивайте о конкретных главах, чтобы получить подробности.
- Диаграммы и фотографии невидимы. Учитывается только текст.
- Шпаргалки только по теме создаются из общих знаний модели, и ничто их не проверяет; дайте исходный PDF.
- Расплывчатый запрос — расплывчатый ответ. Checklist нужна конкретная тема; Resume Improve нужен текст вакансии; укажите аудиторию и желаемый результат.
- Сравните два запуска. Пункты, которые есть только в одном из них, заслуживают внимания. Результат меняется от запуска к запуску (TOC AI, SVG Maker, Illustrator, Collage).
- Встроенная проверка: для нехудожественных текстов Abstracts после написания сверяются с документом, если хватает времени; для художественных — нет.
См. также Хорошие входные данные для ИИ-приложений.