II.6 Язык и локализация
Три разных языка в игре
Когда вы пользуетесь приложением Documentize, в комнате одновременно присутствуют до трёх языков, и они независимы:
Язык интерфейса -> слова на кнопках и в сообщениях
Язык документа -> язык текста в вашем файле
Язык вывода -> язык, на котором пишет приложение (ИИ-приложения)
Путаница между ними — классический источник непонятных результатов. Испанский договор можно загрузить через английскую страницу, распознать как испанский и пересказать по-немецки. Каждый язык выбирается в своём месте.
1. Язык интерфейса
Общие тексты страниц приложений переведены на много языков. В коде есть английский плюс 42 перевода общих текстов интерфейса, среди них арабский, китайский (упрощённый и традиционный), чешский, нидерландский, французский, немецкий, хинди, японский, корейский, польский, португальский, русский, испанский, турецкий, украинский и вьетнамский. Список на работающем сайте может отличаться; проверьте выбор языка.
Язык интерфейса меняет подписи, сообщения, FAQ и справку. Он не меняет того, как обрабатывается ваш документ.
Некоторые ИИ-приложения следуют языку интерфейса в том, что они пишут (Ask PDF отвечает на языке страницы, которой вы пользуетесь; отчёт Resume Analyzer написан на языке сайта). У других есть собственный выбор языка.
2. Язык документа: что должно знать распознавание
Для распознавания (OCR) приложению нужно знать, какой алфавит и какие слова ожидать. Здесь выбор за вами, и он важнее любой другой настройки:
| Приложение | Параметр | По умолчанию | Что будет, если выбрать неверно |
|---|---|---|---|
| Изображение в TXT (OCR Image) | Язык документов, из списка примерно из 35 | Английский | Абракадабра. Глава называет это самой частой причиной мусора |
| PDF с возможностью поиска (Searchable) | Язык документа | Английский | Неверные слова, которые в файле с поиском выглядят правдоподобно |
| Конвертер (Converter) с OCR | Языки (отметьте все, которые есть) | Английский выбран заранее | Сканы теряют или искажают текст по пути в Word |
| Поиск в PDF (Search) по сканам | Язык для шага распознавания | -- | «Нет результатов» не доказывает отсутствия |
| Объединение файлов (Merger) с OCR | Язык для распознавания | -- | То же, что выше |
Практические правила:
- Всегда устанавливайте язык по тексту на картинке, а не по языку вашего интерфейса.
- Если в документе смешаны языки, отметьте или выберите все присутствующие там, где приложение это позволяет.
- Повёрнутые на бок или перекошенные страницы распознаются плохо на любом языке. Сначала исправьте поворот и наклон.
- Языки с письмом справа налево (арабский, персидский, иврит) вёрстаются справа налево в тех ИИ-приложениях, которые создают PDF (Abstracts, Cheat Sheet, отчёт Resume).
3. Язык вывода ИИ-приложений
Если приложение пишет новый текст, оно обычно предлагает выбор языка:
| Приложение | Как выбирается язык |
|---|---|
| Abstracts | Параметр «Язык»; аннотация может быть на любом языке из списка, независимо от языка документа. По умолчанию следует языку страницы |
| Cheat Sheet | Параметр «Язык»; в движке по умолчанию английский |
| Ask PDF | Выбора языка вывода нет; ответы приходят на языке интерфейса, а задавать вопросы можно на языке, отличном от языка документов (проверьте в работающем приложении) |
| Checklist, Chat | См. главы; проверяйте результат |
| SVG Maker | Если язык вашего интерфейса не английский, приложение просит, чтобы подписи на рисунке были на этом языке |
ИИ-приложение может писать гладкий текст на языке, который освоен им хуже. Когда это важно, пусть перевод проверит носитель языка. Доверие и проверка говорят об этом прямо: гладко, но неверно — реальный вид ошибки.
Язык имени файла и содержимого
Документы с нелатинскими именами или текстом ничем не особенны с точки зрения сценария. Практический риск — шрифты: конвертация в другие форматы или пересборка страниц (Deskew, Recovery) могут подменить шрифты, поэтому проверяйте нелатинский текст в результате.
Краткая таблица: какой язык задать?
| Ситуация | Что задать |
|---|---|
| Скан французского счёта, я пользуюсь английским сайтом | Язык OCR = французский |
| Отчёт на испанском; мне нужна аннотация на английском | Язык Abstracts = английский |
| Скан арабской книги с английскими словами | Выберите оба там, где это разрешено |
| Ask PDF с документами на немецком; я пишу по-польски | Просто спрашивайте; ответ придёт на языке страницы |
Попробуйте
Возьмите печатную страницу на языке, отличном от языка вашего интерфейса. Запустите Изображение в TXT один раз с неверным языком и один раз с верным. Сосчитайте ошибки. После этого вы не забудете про эту настройку.
Дальше
Модель качества: без потерь, с потерями, распознано, сгенерировано →