Как работает технология «inpainting» (восстановления изображения) при переводе изображений?
“Простой перевод изображений заключается лишь в наложении цветных блоков поверх оригинала, что сильно ухудшает визуальное восприятие. Для качественного перевода необходимо, чтобы текст выглядел так, словно он изначально напечатан на изображении.”
Анализ первопричин
Генерация фоновой текстуры
Когда система стирает исходный иностранный текст на изображении, модель inpainting анализирует окружающие пиксели (цвет, текстуру, светотень) и интеллектуально создает, а затем заполняет фон на месте удалённого участка, чтобы результат выглядел максимально натурально.
Стилизованный рендеринг текста
При вставке переведённого текста система анализирует цвет, обводку, наклон и стиль шрифта исходного текста, а затем старается воспроизвести эти визуальные характеристики на целевом языке, обеспечивая «пиксельную» точность замены.
Итоговое резюме решения
С помощью генеративных возможностей ИИ в области рисования решаются задачи визуальной эстетики в переводе.