eng
TS_pub
technospheramag
technospheramag
ТЕХНОСФЕРА_РИЦ
Применение фото- и видеокамер сверхвысокой четкости, способных формировать изображения форматов 4К и 8К, получает широкое распространение с учетом возрастающих требований к качеству визуальной информации. В статье рассматриваются методы передачи таких изображений.
УДК 621.391:621.396:621.397, DOI: 10.22184/2070-8963.2019.79.2.46.61
УДК 621.391:621.396:621.397, DOI: 10.22184/2070-8963.2019.79.2.46.61
Теги: image transfer methods uhd 4к uhd 8к visual information визуальная информация методы передачи изображений
Введение
Эффективная передача изображений сверхвысокой четкости удаленным потребителям возможна на основе использования высокоскоростных помехозащищенных каналов связи, техническая реализация которых базируется на технологиях многоэлементных цифровых антенных решеток, Massive MIMO, сигналов COFDM и кодированной модуляции N-OFDM [1]. Примером технической реализации подобных радиолиний является технология сверхчеткого видео Ultra HD в цифровом телевидении. Можно вспомнить, как во время Международной выставки потребительской электроники Consumer Electronіcs Show в 2016 году в Лас-Вегасе была продемонстрирована трансляция в эфире телепередач в формате 4K UHDTV (2160p) в соответствии с проектом американского стандарта ATSC-3. Свои стандарты телевидения 3-го поколения прорабатываются также в Европе и Китае. Кроме того, к открытию Олимпиады 2020 года в Японии предусматривается осуществить переход к трансляции видеопотоков в формате 8К UHDTV (4320p) на основе технологии MІMO с поляризационным кодированием сигналов.
Перечисленные цифровые технологии касаются физического уровня реализации каналов связи. Высокая скорость передачи данных в них достигается распараллеливанием информационных потоков. Поэтому важной задачей является учет в процессе обработки изображений возможностей и специфики функционирования последующих каналов передачи данных. Вместе с тем наряду с сервисом передачи видеоданных достаточно востребованным является трансфер фотоснимков 4K и 8К. При этом необходимо обеспечить возможность повторной передачи изображения или его фрагментов в случае их искажения при прохождении каналами связи, а также учет структуры информационного кадра в соответствии с принятым протоколом передачи данных.
Вполне очевидно, что для распараллеливания информационного потока по поднесущим COFDM или пространственным каналам MIMO изображение перед передачей по линии связи целесообразно разбить на несколько фрагментов, трансфер которых осуществлялся бы независимо, по отдельным каналам передачи или их группам. Анализ возможных подходов к такому разбиению позволяет выделить три основных варианта: с фиксированной, адаптивной и комбинированной схемами фрагментации изображений.
В качестве наглядных примеров реализации первых двух подходов рассмотрим методы представления изображений оцифрованных манускриптов и архивов, используемые в электронных библиотеках.
Метод фиксированной фрагментации изображений
Метод с фиксированной схемой фрагментации отсканированных изображений страниц рукописей, получивший наибольшее распространение, применяется в Королевской библиотеке Бельгии. В его основе лежит трехуровневая градация разрешающей способности сканирующего устройства, задействованного для формирования изображений и позволяющего создавать изображения в низком, среднем и максимальном разрешениях.
Конкретный механизм реализации такого метода рассмотрим на примере манускрипта 12 века Ms. 5325-27 R, в котором, в частности, представлены поэмы Вергилия Маро (70–90 гг. до н.э.) "Георгика" и "Энеида". Электронная копия этого манускрипта может быть загружена для постраничного просмотра по адресу http://uurl.kbr.be/1449091. В процессе загрузки требуемой страницы рукописи специальный скрипт осуществляет переход к дисковому хранилищу изображений листов этого манускрипта по адресу http://viewerd.kbr.be/gallery.php?map=A/2/1/6/6/6/8/6/0000-00-00_00/. При этом для каждой страницы создается свой подкаталог, куда помещаются фрагменты изображений в виде файлов формата JPG. Например, http://viewerd.kbr.be/display/A/2/1/6/6/6/8/6/0000-00-00_00/zoomtiles/BE-KBR00_A-2166686_0000-00-00_00_0013/2-3-2.jpg.
Следует отметить, что наполнение этих подкаталогов происходит только по мере пролистывания рукописи на экране. При этом по умолчанию в подкаталоги загружаются только фрагменты фотоснимков в низком разрешении. Чтобы синтезировать фрагменты JPG-файлов среднего и максимального разрешений, необходимо выполнить операцию увеличения изображения на экране до соответствующего масштаба. При работе в Internet Exploler 8.0 искомые графические файлы автоматически попадают в кэш браузера на компьютере пользователя. Достаточно просто пройтись "лупой" по изображению – и все файлы загрузятся в кэш сами. При этом, правда, они попадают в разные папки произвольной россыпью. Без указанных манипуляций доступ к графическим файлам по прямым ссылкам указанного типа невозможен, и вместо искомой картинки будет появляться надпись о запрете доступа по заданному адресу. Столь подробная информация приводится для тех, кто пожелает повторить проделанные автором эксперименты.
Как следует из указанного примера, название подкаталога BE-KBR00_A-2166686_0000-00-00_00_0013 соответствует с. 13. Нумерация страниц осуществляется, начиная с лицевой обложки книги, поэтому реально с. 13 приходится на 5-й лист с текстом, лицевая часть которого нумеруется как 5r, а оборотная – 5v. Это вносит определенные трудности в позиционирование по тексту рукописи, которые частично облегчает отображение в нижней части страницы браузера уменьшенных изображений страниц текста форматом 200 Ч 200 пикселей.
Название каждого JPG-файла в постраничных подкаталогах формируется в виде трехпозиционного набора цифр. Первая слева из них соответствует разрешению, использованному при формировании изображения: 0 – низкое, 1 – среднее, 2 – максимальное. Две другие цифры в названии JPG-файла определяют положение фрагмента в структуре цельного изображения. При этом максимальный размер отдельного фрагмента фотоснимка составляет 768 Ч 768 пикселей или 589824 байт, если пиксель представлен байтом. Трудно сказать, из каких соображений выбран именно квадратный по форме блок и такой его размер. Возможно, это было связано с максимальным объемом рабочей области оперативного запоминающего устройства (ОЗУ) 640 кБ во времена операционной системы MS-DOS и кратностью массива 768 Ч 768 пикселей ровно 9 блокам по 64 кБ. Другими словами, именно такой объем пользовательских данных (768 Ч 768 пикселей) был максимально возможным для MS-DOS.
В любом случае, максимально допустимый размер фрагмента следует задавать с учетом структуры информационных блоков конкретного протокола передачи данных. Если фактическое изображение имеет меньшие размеры, то габариты блоков в рассматриваемом случае усекаются до информационно значимого массива пикселей. Например, для указанной в приведенной выше ссылке с. 13 используемый алгоритм фрагментации в режиме низкого разрешения формирует двухблочное представление исходного фотоснимка с максимальным размером верхнего блока 671 Ч 768 пикселей, а нижнего – 671 Ч 80. Графическое представление схемы разбивки с. 13 для низкого разрешения имеет вид:
0-0-0
671 Ч 768
0-0-1
671 Ч 80
Здесь верхний ряд цифр в каждом блоке соответствует названию JPG-файла, а нижний – размерам блоков в пикселях.
При переходе к среднему разрешению комплект блоков, полученных при низком разрешении, окаймляется справа и снизу аналогичными дополнительными блоками, образующими вторые столбец и строку. В результате для упомянутой с. 13 манускрипта формируется графическое изображение размером 1342 Ч 1697 = 2277374 пикселей. Схема разбивки с. 13 на фрагменты при среднем разрешении может быть представлена следующим образом:
1-0-0
768 Ч 768
1-1-0
574 Ч 768
1-0-1
768 Ч 768
1-1-1
574 Ч 768
1-0-2
768 Ч 161
1-1-2
574 Ч 161
Как видно, в названиях графических файлов цифра 0 поменялась на 1, что соответствует среднему уровню разрешения изображений. При этом комплект блоков, которые используются при низком разрешении, получает максимальные размеры 768 Ч 768 пикселей. Размеры же окаймляющих блоков варьируются по остаточному принципу и будут зависеть от конкретных габаритов снимка. В данном случае получаются блоки размерами 768 Ч 161, 574 Ч 768 и 574 Ч 161.
Процедура формирования фрагментов при максимальном разрешении отличается тем, что к комплекту блоков среднего разрешения добавляется не по одному, а сразу по два окаймляющих блока. При этом ядро нового формата образует квадрат структуры 3 Ч 3, состоящий из девяти идентичных квадратных блоков по 768 Ч 768 пикселей. Для рассматриваемой здесь с. 13 такой подход позволяет получить графическое представление отсканированной копии изображения размером 2684 Ч 3393 = 9 106 812 пикселей. При этом формируется 20 фрагментов исходного фотоснимка, из них: 12 блоков с максимальной емкостью 768 Ч 768 = 589 824; 3 блока – 768 Ч 321 = 246 528; 4 блока – 380 Ч 768 = 291 840 и один блок 380 Ч 321 = 121 980 пикселей. Схема разбивки страницы на фрагменты при максимальном разрешении представлена ниже:
2-0-0
768 Ч 768
2-1-0
768 Ч 768
2-2-0
768 Ч 768
2-3-0
380 Ч 768
2-0-1
768 Ч 768
2-1-1
768 Ч 768
2-2-1
768 Ч 768
2-3-1
380 Ч 768
2-0-2
768 Ч 768
2-1-2
768 Ч 768
2-2-2
768 Ч 768
2-3-2
380 Ч 768
2-0-3
768 Ч 768
2-1-3
768 Ч 768
2-2-3
768 Ч 768
2-3-3
380 Ч 768
2-0-4
768 Ч 321
2-1-4
768 Ч 321
2-2-4
768 Ч 321
2-3-4
380 Ч 321
Таким образом, соотношение структуры кадров различного разрешения может быть проиллюстрировано в виде:
Кадр 0
Кадр 1
Кадр 2
При всей жесткости рассмотренная схема фиксированной фрагментации обладает все же определенной гибкостью, позволяющей адаптивно подстраиваться под габариты конкретного объекта съемки. К примеру, для с. 221 той же рукописи Ms. 5325-27 R из-за меньших размеров страницы объем блоков изменяется. В этом несложно убедиться, изучив графические файлы, соответствующие режиму среднего разрешения, которые можно найти по ссылке вида: http://viewerd.kbr.be/display/A/2/1/6/6/6/8/6/0000-00-00_00/zoomtiles/BE-KBR00_A-2166686_0000-00-00_00_0221/1-1-1.jpg (или 1-1-2.jpg).
С учетом использования только информационно значимых пикселей размеры кадра среднего разрешения для с. 221 указанной рукописи изменяются до формата 1034 Ч 1712=1 770 208. Размеры фрагментов кадра среднего разрешения для с. 221 манускрипта Ms. 5325-27 R (www.kbr.be):
1-0-0
768 Ч 768
1-1-0
266 Ч 768
1-0-1
768 Ч 768
1-1-1
266 Ч 768
1-0-2
768 Ч 176
1-1-2
266 Ч 176
При максимальном разрешении количество блоков сокращается до 15, а габариты по сравнению со с. 13 уменьшаются до 2 067 Ч 3 423 пикселей. Размеры фрагментов кадра максимального разрешения для с. 221 манускрипта Ms. 5325-27 R (www.kbr.be):
2-0-0
768 Ч 768
2-1-0
768 Ч 768
2-2-0
531 Ч 768
2-0-1
768 Ч 768
2-1-1
768 Ч 768
2-2-1
531 Ч 768
2-0-2
768 Ч 768
2-1-2
768 Ч 768
2-2-2
531 Ч 768
2-0-3
768 Ч 768
2-1-3
768 Ч 768
2-2-3
531 Ч 768
2-0-4
768 Ч 351
2-1-4
768 Ч 351
2-2-4
531 Ч 351
Еще большее разнообразие в блочный формат кадров изображения вносят нетрадиционные габариты манускриптов. Примером такого рода в той же библиотеке Брюсселя является рукопись Ms. 5253 R, датированная 850 годом, в которой содержится произведение Витрувия (M. Vitruvius Pollio, около 80/70–25 гг. до н. э.) "Архитектура" (De ArchitectUra). Электронная копия данного манускрипта находится по ссылке http://uurl.kbr.be/1449089. Для ее с. 88 генерируется подкаталог графических файлов с фрагментами исходных изображений по адресу типа: http://viewerd.kbr.be/display/A/2/1/6/5/9/1/2/0000-00-00_00/zoomtiles/BE-KBR00_A-2165912_0000-00-00_00_0088/0-1-1.jpg.
При этом в режиме низкого разрешения схема разбивки фотоснимка страницы на фрагменты имеет 4-блочную структуру вместо двухблочной у рассмотренного ранее манускрипта Ms. 5325-27 R:
0-0-0
768 Ч 768
0-1-0
290 Ч 768
0-0-1
768 Ч 728
0-1-1
290 Ч 728
В режиме среднего разрешения для рукописи Ms. 5253 R формируется кадр размером 1 034 Ч 1 712 пикселей, состоящий из девяти блоков:
1-0-0
768 Ч 768
1-1-0
768 Ч 768
1-2-0
580 Ч 768
1-0-1
768 Ч 768
1-1-1
768 Ч 768
1-2-1
580 Ч 768
1-0-2
768 Ч 768
1-1-2
768 Ч 768
1-2-2
580 Ч 768
1-0-3
768 Ч 687
1-1-3
768 Ч 687
1-2-3
580 Ч 687
В то же время файлы изображения с максимальным разрешением не генерируются вовсе.
Таким образом, в рассмотренном методе Королевской библиотеки Бельгии использовано несколько фиксированных схем разбиения исходного изображения на кластеры для передачи разными каналами связи. Их адаптивный выбор в зависимости от размеров исходной сцены предоставляет определенную возможность оптимизации трафика при многопользовательском доступе к серверу изображений.
В рамках данного подхода информационные блоки максимального размера целесообразно передавать по каналам с минимальной расчетной ошибкой передачи – в частности, расположенным по центру полосы пропускания пакета COFDM-сигналов. Каналы, расположенные на периферии отведенного диапазона частот, имеют более низкую помехоустойчивость, поэтому по ним целесообразно передавать фрагменты изображений уменьшенного размера. Это позволит снизить скорость передачи данных за счет перехода к более низким уровням модуляции сигналов, а при необходимости повторной передачи потребует меньших временных затрат.
В случае использования алгоритмов сжатия изображений при одном и том же формате фрагмента количество информации, необходимой для передачи каналами связи, будет различным (зависит от степени однородности сцены). Поэтому в интересах достижения максимальной равномерности загрузки каналов связи целесообразно применять различную степень сжатия изображений в блоках, регулируя ее под выбранный размер типового фрагмента. Однако такой вариант приемлем лишь в случае, когда разброс в коэффициентах сжатия по блокам не превышает 20–30%, чтобы при восстановлении цельного изображения искажения, вносимые при сжатии, не проявляли себя заметным образом. Впрочем, в большинстве случаев имеет место разбиение на фрагменты уже сжатых тем или иным способом исходных изображений, что снимает проблему поблочной дифференциации коэффициентов сжатия.
Идея фиксированной сегментации изображений на блоки используется также сайтом Архива главного места (столицы) Праги (Archiv hlavnнho města Prahy, http://katalog.ahmp.cz), например, для отображения метрик или списков обывателей Праги 1830–1910 годов (Soupis praћskйho obyvatelstva 1830–1910 (1920)). В отличие от бельгийского варианта, в этом выбраны в три раза меньшие размеры максимального фрагмента изображения по вертикали и горизонтали, установленные равными 256 Ч 256 пикселей. Это предоставляет больше возможностей в выборе стратегий для каналообразующего менеджмента, однако, с другой стороны, усложняет процедуру сборки изображения на приемной стороне, поскольку графическому компоновщику приходится оперировать большим массивом блоков при их склейке. При этом задача ручной сборки фрагментов становится несоизмеримо сложной. Существенно, что при 8-битном представлении массива 256 Ч 256 пикселей его объем становится равным 64 кБ.
Рассмотрим детали фрагментации изображений согласно пражской версии этого процесса на примере свидетельства о браке Венцеля Маттауша (документ расположен под рубрикой Praћљtн přнsluљnнci (121763)), чей сын Йоганн Маттауш 31 января 1898 года впервые опубликовал идею радиорелейной связи [2, 3]. Кстати, благодаря этому свидетельству автору удалось установить точную дату рождения Йоганна Маттауша – 8 января 1838 года. Изображение указанного документа находится по ссылке: http://katalog.ahmp.cz/pragapublica/permalink?xid=D3C77CEF9B4311E181D3002215111B5A&scan=1.
Его вариант с минимальным разрешением (0-й уровень) имеет размер 167 Ч 119 пикселей и может быть загружен (после предварительного просмотра в браузере) по адресу: http://images.ahmp.cz/mrimage/ahmp/zoomify/cz/archives/CZ-321100010/NAD-4/dao/images/0221/2211f0dcfa9c5e0925089a06b06c8ee4.jpg/TileGroup0/0-0-0.jpg.
При переходе к следующей структуре более высокого разрешения происходит удвоение размера изображения в пикселях. При этом 1-й уровень разрешения соответствует размеру изображения 334 Ч 238 пикселей. Для последующей передачи потребителю изображение разбивается на два блока размерами 256 Ч 238 и 78 Ч 238 пикселей. Структура блоков 1-го уровня разрешения в изображениях Архива главного места (столицы) Праги представлена ниже:
1-0-0
256 Ч 238
1-1-0
78 Ч 238
Чтобы загрузить изображения на свой компьютер, нужно в указанной выше ссылке заменить окончание 0-0-0.jpg на 1-0-0.jpg и 1-1-0.jpg соответственно.
Как видно, при использовании уровней 0 и 1 максимальные габариты блока 256 Ч 256 пикселей не достигаются. Это становится возможным при переходе ко 2-му уровню разрешения. В этом случае исходное изображение указанного документа размером 667 Ч 476 пикселей представляется структурой формата 3 Ч 2 блока:
2-0-0
256 Ч 256
2-1-0
256 Ч 256
2-2-0
155 Ч 256
2-0-1
256 Ч 220
2-1-1
256 Ч 220
2-2-1
155 Ч 220
Дальнейшее увеличение разрешения сопровождается удвоением не только количества пикселей по каждой из координат, но и количества блоков по вертикали и горизонтали. К примеру, уровень разрешения № 3 для рассматриваемой копии документа В.Маттауша характеризуется структурой 6 Ч 4 блоков при общем размере изображения 1334 Ч 951 пикселей:
3-0-0
256 Ч 256
3-1-0
256 Ч 256
3-2-0
256 Ч 256
3-3-0
256 Ч 256
3-4-0
256 Ч 256
3-5-0
54 Ч 256
3-0-1
256 Ч 256
3-1-1
256 Ч 256
3-2-1
256 Ч 256
3-3-1
256 Ч 256
3-4-1
256 Ч 256
3-5-1
54 Ч 256
3-0-2
256 Ч 256
3-1-2
256 Ч 256
3-2-2
256 Ч 256
3-3-2
256 Ч 256
3-4-2
256 Ч 256
3-5-2
54 Ч 256
3-0-3
256 Ч 183
3-1-3
256 Ч 183
3-2-3
256 Ч 183
3-3-3
256 Ч 183
3-4-3
256 Ч 183
3-5-3
54 Ч 183
Вариант соответствующей ссылки на фрагменты изображения имеет вид: http://images.ahmp.cz/mrimage/ahmp/zoomify/cz/archives/CZ-321100010/NAD-4/dao/images/0221/2211f0dcfa9c5e0925089a06b06c8ee4.jpg/TileGroup0/3-0-1.jpg.
Впрочем, из-за различных размеров исходных сцен удвоение блоков может выполняться лишь с точностью до единицы. Например, при переходе на 4-й уровень разрешения вместо структуры 12 Ч 8 блоков, как это должно быть при удвоении, для указанного документа имеет место структура из 11 Ч 8 блоков. При этом аналогично, с точностью до одного пикселя, происходит и увеличение размера первоначального снимка (в данном случае 2 667 Ч 1 901 пикселей вместо 1 334 Ч 2 = 2 668 и 951 Ч 2 = 1 902 соответственно). Матрица фрагментов для 4-го уровня разрешения приведена ниже:
4-0-0
4-1-0
4-2-0
4-3-0
4-4-0
4-5-0
4-6-0
4-7-0
4-8-0
4-9-0
4 -10-0
4-0-1
4-1-1
4-2-1
4-3-1
4-4-1
4-5-1
4-6-1
4-7-1
4-8-1
4-9-1
4 -10-1
4-0-2
4-1-2
4-2-2
4-3-2
4-4-2
4-5-2
4-6-2
4-7-2
4-8-2
4-9-2
4 -10-2
4-0-3
4-1-3
4-2-3
4-3-3
4-4-3
4-5-3
4-6-3
4-7-3
4-8-3
4-9-3
4 -10-3
4-0-4
4-1-4
4-2-4
4-3-4
4-4-4
4-5-4
4-6-4
4-7-4
4-8-4
4-9-4
4 -10-4
4-0-5
4-1-5
4-2-5
4-3-5
4-4-5
4-5-5
4-6-5
4-7-5
4-8-5
4-9-5
4 -10-5
4-0-6
4-1-6
4-2-6
4-3-6
4-4-6
4-5-6
4-6-6
4-7-6
4-8-6
4-9-6
4 -10-6
4-0-7
4-1-7
4-2-7
4-3-7
4-4-7
4-5-7
4-6-7
4-7-7
4-8-7
4-9-7
4 -10-7
Предельным уровнем разрешения в рассматриваемом случае является 5-й. Для него размер полного изображения составляет 5 333 Ч 3 802 пикселей, которые группируются в 21 Ч 15 блоков с нумерацией по схеме (5-0-0 … 5-20-0) Ч (5-20-0 … 5-20-14). Объем каждого блока находится в пределах примерно 9,6–10,6 кБ, а полного файла, подлежащего передаче, равен 7 983 кБ. По количеству пикселей, формируемых на 5-м уровне разрешения, нетрудно сделать вывод, что рассмотренный метод имеет запас по отношению к передаче 5К- и 4К-изображений, полнокадровый формат которых имеет разрешение 5 120 Ч 3 840 и 4 096 Ч 3 072 пикселей соответственно.
Учитывая большое количество блоков в рамках 5-го уровня разрешения (в данном случае 315), все они на передающем сервере группируются перед отправкой в два разных подкаталога TileGroup0 и TileGroup1, например, TileGroup0/5-0-0–5-5-6.jpg и TileGroup1/5-6-6-.jpg. Примером тому является ссылка: http://images.ahmp.cz/mrimage/ahmp/zoomify/cz/archives/CZ-321100010/NAD-4/dao/images/0221/2211f0dcfa9c5e0925089a06b06c8ee4.jpg/TileGroup1/5-20-7.jpg.
Проведенный анализ различных схем фрагментации, используемых в пражском архиве, позволяет сделать вывод, что их масштабирование для работы с изображениями 8К в рассматриваемом случае потребует 4-кратного увеличения количества блоков с возрастанием общей их численности до 1 200 и более. Поэтому в перспективе для 8К-формата уместным будет все же переход к увеличенному размеру элементарных блоков, например, хотя бы до упомянутых ранее 768 Ч 768 пикселей.
Аналогично указанному архиву Праги функционирует сервис визуализации географических карт, предоставляемый сайтом www.themaphouse.com. Для отображения карт в этом проекте используются пять уровней разрешающей способности с одинаковым для всех уровней максимальным размером элементарных блоков – 256 Ч 256 пикселей. Например, карта города Бристоль (Великобритания), датированная 1860 годом, при максимальном увеличении сегментируется по схеме:
Подпись: 0_0 1_0 2_0 3_0 4_0 5_0 6_0 7_0 8_0 9_0 10_0 11_0
0_1 1_1 2_1 3_1 4_1 5_1 6_1 7_1 8_1 9_1 10_1 11_1
0_2 1_2 2_2 3_2 4_2 5_2 6_2 7_2 8_2 9_2 10_2 11_2
0_3 1_3 2_3 3_3 4_3 5_3 6_3 7_3 8_3 9_3 10_3 11_3
0_4 1_4 2_4 3_4 4_4 5_4 6_4 7_4 8_4 9_4 10_4 11_4
0_5 1_5 2_5 3_5 4_5 5_5 6_5 7_5 8_5 9_5 10_5 11_5
0_6 1_6 2_6 3_6 4_6 5_6 6_6 7_6 8_6 9_6 10_6 11_6
0_7 1_7 2_7 3_7 4_7 5_7 6_7 7_7 8_7 9_7 10_7 11_7
0_8 1_8 2_8 3_8 4_8 5_8 6_8 7_8 8_8 9_8 10_8 11_8
Типовые ссылки для загрузки соответствующих фрагментов указанной карты при таком увеличении имеют вид: http://www.themaphouse.com/Images/Zoom/SOM444_files/12/0_3.jpg; http://www.themaphouse.com/Images/Zoom/SOM444_files/12/11_7.jpg.
При наихудшем разрешении все исходное изображение вписывается в один блок форматом 256 Ч 256 пикселей. Применительно к рассматриваемой карте Бристоля соответствующее изображение получает размер 184 Ч 136 и становится доступным после предварительного открытия в браузере адресной ссылки http://www.themaphouse.com/Zoom.aspx?id=114386&ref=SOM444 по адресу: http://www.themaphouse.com/Images/Zoom/SOM444_files/8/0_0.jpg.
Следует отметить, что фрагментация файлов изображений на элементарные блоки с максимальным размером 256 Ч 256 пикселей, как оказалось, является достаточно массовой. Помимо рассмотренных примеров, она реализована также для просмотра копий документов на сайте Национального архива Бельгии (www.arch.be). Подобно пражскому архиву, здесь доступны шесть уровней разрешающей способности, однако отличие состоит в использовании в скрипте для загрузки изображений функции фрагментации, предоставляемой сервисом GoogleMaps. Детали применения соответствующего общедоступного кода рассмотрим на примере копии свидетельства о браке Emile Guarini и Lйonie Edith Tobiansky, датированного 15 апреля 1903 года. Эмиль Гуарини-Форесио известен тем, что в 1899 году изобрел первый работоспособный вариант радиорелейного ретранслятора [3, 4]. Электронная версия данного акта находится по веб-адресу: http://search.arch.be//imageserver/jsviewer.php?
FIF=541/541_9999_999/541_9999_999_2350167_000/541_9999_999_2350167_000_0_0521.jpg.
Ссылка позволяет визуализировать электронную версию изображения и с помощью компьютерной мыши управлять уровнем разрешения (запись о регистрации указанного брака приведена под номером 518). Фрагмент соответствующего скрипта настройки на отображение данного документа имеет вид:
<script src="jsviewer/html5.js"></script>
<![endif]–>
<script type="text/javascript">var FIF=’541/541_9999_999/541_9999_999_2350167_000/541_9999_999_2350167_000_0_0521.jp2’; var LAYERS=6;
</script>
<script type="text/javascript" src="jsviewer/mootools-core-1.4.2-full-compat-yc.js"></script>
<script type="text/javascript" src="http://maps.googleapis.com/maps/api/js?key=AIzaSyDvDpSoYvMPwXmWYSVzFvpL4jd29jigY9M&sensor=false"></script>
<script type="text/javascript" src="jsviewer/topview.js"></script>
<link rel="stylesheet" href="jsviewer/style.css" type="text/css" media="all" />
Для конкретного выбора уровня увеличения изображения и визуализации его элементарного фрагмента к указанной выше ссылке на скрипт необходимо добавить переменную zoom и координаты x, y начала соответствующего блока. Как и в рассмотренных выше случаях, блок, начало которого совпадает с левым верхним углом исходного изображения, имеет координаты x = 0, y = 0. При этом схема размещения фрагментов идентична их топологии, используемой в упомянутом архиве Праги. Существенно, что координаты начала блока нужно задавать строго в соответствии с исходной фрагментацией, а не произвольно.
К примеру, для указанного документа в 1-м уровне разрешения формируются два соответствующих блока изображения, загружаемые по ссылкам:
• http://search.arch.be/imageserver/tileserver.php?
FIF=541/541_9999_999/541_9999_999_2350167_000/541_9999_999_2350167_000_0_0521.jp2&zoom=1&x=0&y=0;
• http://search.arch.be/imageserver/tileserver.php?
FIF=541/541_9999_999/541_9999_999_2350167_
000/541_9999_999_2350167_000_0_0521.jp2&zoom=1&x=1&y=0.
В случае максимального разрешения (переменная zoom = 5) пример фрагмента изображения может быть получен по адресу: http://search.arch.be/imageserver/tileserver.php?
FIF=541/541_9999_999/541_9999_999_2350167_000/541_9999_999_2350167_000_0_0521.jp2&zoom=5&x=15&y=14.
При максимальном увеличении разрешения количество блоков в данном случае составляет 22 Ч 18 (учитывая нулевую нумерацию) или 5632 Ч 4608 пикселей.
Преимуществом используемой в Национальном архиве Бельгии концепции является отсутствие необходимости предварительного просмотра всего изображения в максимальном разрешении для генерации полного множества его фрагментов.
Указание в веб-адресе значений координат блока и уровня увеличения с помощью переменной zoom является достаточной информацией для формирования необходимого сегмента снимка. При этом становится довольно просто сочетать увеличенное разрешение одной части исходного изображения с низким разрешением остального его сегмента. Вариант комбинации фрагментов 2-го и 3-го уровней разрешения для детализации изображений блоков 2-1-1 и 2-2-0 приведен ниже:
2-0-0
256 Ч 256
2-1-0
256 Ч 256
3-4-0
256 Ч 256
3-5-0
54 Ч 256
3-4-1
256 Ч 256
3-5-1
54 Ч 256
2-0-1
256 Ч 256
3-2-2
256 Ч 256
3-3-2
256 Ч 256
2-2-1
256 Ч 256
3-2-3
256 Ч 183
3-3-3
256 Ч 183
По сути, этот вариант является пределом совершенства рассмотренного метода фиксированной сегментации, неким негласным стандартом, позволяющим использовать несколько фиксированных схем разбиения исходного изображения на кластеры для передачи разными каналами связи.
Адаптивный метод формирования фрагментов изображения
Принципиально иной подход состоит в использовании адаптивного метода формирования фрагментов изображения для их передачи. Этот метод использован для дистанционной работы с отсканированными манускриптами в электронной библиотеке Ватикана (Bіblіoteca Apostolіca Vatіcana, http://digi.vatlib.it). Рассмотрим конкретный пример реализации адаптивного метода на примере рукописей так называемых Римского и Ватиканского Вергилиев.
Отличительной особенностью сервиса электронной библиотеки Ватикана является возможность передачи изображения отсканированной страницы манускрипта одним большим файлом. Например, в случае Римского Вергилия (датируется V веком нашей эры, http://digi.vatlib.it/view/MSS_Vat.lat.3867) изображение страницы 0181v в среднем разрешении (формат 1 398 Ч 1 501) может быть загружено одним файлом по ссылке: http://digi.vatlib.it/pub/digit/MSS_Vat.lat.3867/iiif/Vat.lat.3867_0364_fa_0181v.jp2/full/1398,/0/native.jpg.
Данная страница из текста "Энеиды" примечательна тем, что содержит в первой сверху строке слово ANTEMNAE (текст в то время писался без пробелов, все буквы имели вид заглавных).
В названии файла ключевым признаком для скачивания полного изображения является слово full. Помимо традиционной для рукописей нумерации фронтальной (r, rectum) и обратной (v, versum) сторон листа, в наименовании также указывается абсолютный порядковый номер изображения, соответствующего конкретному манускрипту с учетом обложки. В данном случае это число 0364. Цифра же 1398 в имени файла задает в пикселях ширину изображения. Ее можно увеличивать самостоятельно без видимого изменения пропорций между шириной и высотой принятого фотоснимка вплоть до момента достижения одним из его размеров величины 5 000 пикселей. При этом второй параметр – высота – рассчитывается автоматически. При дальнейшем увеличении ширины или высоты изображения соответствующий параметр программно замораживается на уровне 5 000. Данный факт следует учитывать, задавая в ручном режиме настройки изображения перед его скачиванием. Применительно к формату указанной страницы с номером 0181v предельная ширина изображения составляет 4 593 пикселей, поскольку его высота при этом становится равной 4999: http://digi.vatlib.it/pub/digit/MSS_Vat.lat.3867/iiif/Vat.lat.3867_0364_fa_0181v.jp2/full/4593,/0/native.jpg.
В манускрипте Ватиканского Вергилия (датирован ~400 г. н.э., http://digi.vatlib.it/view/MSS_Vat.lat.3225) аналогичная страница со словом ANTEMNAE имеет номер 0068r или в абсолютной нумерации – 0139. Кстати, данный манускрипт является самой ранней из обнаруженных автором сохранившихся рукописей со словом ANTEMNAE. Учитывая иные пропорции данной страницы, ее фотоснимок с максимальным разрешением 4 364 Ч 4 999 пикселей загружается одним файлом по ссылке: http://digi.vatlib.it/pub/digit/MSS_Vat.lat.3225/iiif/Vat.lat.3225_0139_fr_0068r.jp2/full/4364,/0/native.jpg.
Для более детального изучения, к примеру, начертания слова ANTEMNAE, в рассматриваемом случае возможно загружать лишь фрагмент исходного фотоснимка, гибко задавая координаты начала блока изображения в строке и столбце относительно исходной сцены кадра, размер блока по горизонтали и вертикали, разрешающую способность. Все это позволяет дистанционно фокусировать передаваемые изображения на любом фрагменте начальной сцены. Указанные параметры перечисляются через запятую в адресной ссылке на файл изображения в формате *.jp2/A,B,C,D/E,/0/native.jpg после указания номера страницы рукописи (вместо слова full). При этом регулируемыми параметрами в процессе передачи фрагмента изображения являются:
A координата начала блока исходного изображения, подлежащего передаче, по горизонтали (в строке), левый верхний угол изображения имеет нулевую координату A;
B координата начала блока по вертикали (в столбце), нулевая координата B – у самого верхнего блока;
C размер блока исходного изображения, подлежащего передаче, в пикселях по горизонтали (ширина);
D размер блока исходного изображения по вертикали (при несогласованных размерах блоков B и C происходит растяжка изображения с искажением);
E ширина в пикселях отображаемого на приемной стороне блока изображения (максимальное значение 5000, при увеличении – больше не меняется) при единичном масштабе отображения E = C.
Таким образом, произвольно изменяя координаты начала блока, можно сфокусироваться на конкретном фрагменте текста. Например, для вырезки указанного слова ANTEMNAE в Римском Вергилии можно использовать ссылку: http://digi.vatlib.it/pub/digit/MSS_Vat.lat.3867/iiif/Vat.lat.3867_0364_fa_0181v.jp2/1858,426,490,150/5000,/0/native.jpg.
В результате получим фрагмент рукописи форматом 5000Ч1639 пикселей с неразборчивой буквой "N" (рис.1).
У размытой буквы, следующей после "M", справа вверху виден штрих влево, присущий букве "N", а также характерный для "N" угол наклона диагонали.
В отличие от Римского Вергилия, манускрипт Vat.lat.3225 (Ватиканский Вергилий), несмотря на более древний возраст, имеет лучше читаемое написание слова ANTEMNAE. Загруженный по ссылке http://digi.vatlib.it/pub/digit/MSS_Vat.lat.3225/iiif/Vat.lat.3225_0139_fr_0068r.jp2/1130,1280,256,56/5000,/0/native.jpg фрагмент соответствующей страницы 0068r представлен на рис.2. Именно так в наши дни выглядит древнейшее из сохранившихся рукописных свидетельств упоминания города ANTEMNAE в древнеримской литературе (на самой странице это слово является крайним справа в 4-й строке снизу). Впрочем, детальное обсуждение этого факта заслуживает отдельной публикации.
Как следует из приведенных примеров, параметр E в названии файла для загрузки фрагмента изображения позволяет регулировать степень увеличения (уменьшения) исходного фрагмента на приемной стороне, выполняя роль регулятора разрешающей способности. Регулируя координаты левого верхнего угла и размеры блока, можно формировать их со взаимным перекрытием либо строго в стык друг за другом.
Анализ рассмотренных методов фрагментации изображений позволяет предположить возможность применения их комбинации. Суть комбинированного метода заключается в том, что на первом этапе производится адаптивный выбор интересующего сегмента кадра, а далее производится его фиксированная фрагментация на суперпиксели перед передачей. Автору не удалось пока обнаружить примеры реализации такой технологии, однако это отнюдь не означает, что массовое появление сервисов для передачи 4К- и 8К-изображений не сделает данный подход более востребованным.
Таким образом, в условиях помех, в зависимости от их интенсивности и эффективности воздействия на каналы связи, можно сократить объемы передаваемых данных, адаптивно задав лишь наиболее важный фрагмент, без передачи всего изображения в целом или повторно отправляя лишь искаженные в предыдущем сеансе связи фрагменты исходной картины.
Комбинация методов
В целом для эффективной работы с изображениями целесообразно применять комбинацию методов фиксированной и адаптивной фрагментаций изображений, выбирая конкретный вариант в зависимости от задачи и конкретной ситуации, складывающейся в каналах передачи данных.
Дальнейшим обобщением данного подхода является сегментация изображения не на регулярные и идентичные по форме блоки, а по аналогии с задачей распознавания рукописей – на "суперпиксели" различной конфигурации [5, 6], по принципу разбитого зеркала (рис.3).
При этом, однако, задача сборки изображения на приемной стороне существенно усложняется, поскольку нерегулярность границ суперпикселей требует более интеллектуального менеджмента по их компоновке для восстановления исходного изображения после передачи по параллельным каналам связи.
Обсуждавшиеся выше методы декомпозиции изображений объединяет один общий принцип – использование в рамках отдельно взятого их фрагмента лишь подряд идущих пикселей и разделение содержимого сегментов по разным зонам исходной сцены. Между тем, в ряде приложений гораздо важнее сохранить общую сцену изображения при потере части фрагментов, пусть даже в ущерб четкости отображаемой картины. Примером такого рода могут быть фотоснимки, передаваемые с межпланетных зондов. Поэтому для подобных задач в процессе сегментации пиксели могут отбираться не подряд, а распределенно по всему исходному изображению, с интервалом, зависящим от общего количества сегментов. При этом соседние фрагменты оказываются смещены друг относительно друга всего на несколько пикселей и следуют со взаимным перекрытием.
Именно такой механизм мог бы оказаться полезным в последние мгновения работы зонда "Розетта" 30 сентября 2016 года. Как известно, в штатном режиме функционирования исходное изображение, передаваемое с его борта, разбивалось на шесть пакетов, максимум по 4 кБ каждый [7]. Для финального фотоснимка, из-за прекращения передачи данных вследствие столкновения с поверхностью кометы Чурюмова – Герасименко, были получены только три полных пакета данных общим объемом 12 228 байт. Это соответствовало лишь примерно половине полного изображения [7]. Программным обеспечением автоматической обработки этот массив данных не был идентифицирован как полноценный снимок – и оказался недоступным для анализа. Однако инженеры в Геттингене смогли спустя год обработать эти фрагменты данных, чтобы восстановить полную картину.
Скорее всего, это можно было бы сделать благодаря указанному методу предварительной сегментации изображений, когда фрагменты разделяются на уровне одного или нескольких пикселей с многократным чередованием таковых с пикселями других фрагментов. Принцип сегментации изображения с циклическим перемежением пикселей шести его фрагментов проиллюстрирован ниже (первая цифра в нумерации – номер фрагмента, а вторая – порядковый номер пикселя внутри фрагмента, цветом выделены пиксели первого из сегментов изображения):
1.1
2.1
1.2
2.2
3.1
4.1
3.2
4.2
5.1
6.1
5.2
6.2
1.3
2.3
1.4
2.4
3.3
4.3
3.4
4.4
5.3
6.3
5.4
6.4
При этом потеря нескольких частей исходного поля картины приводит лишь к размыванию целостного изображения, но не к полному нарушению восприятия всей сцены, тем более что резкость нередко можно восстановить алгоритмически.
Рассмотренные подходы могут быть использованы для покадровой передачи видео сверхвысокой четкости и соответствующих фотоснимков с борта автономных или дистанционно управляемых аппаратов. Хотя большинство из рассмотренных здесь методов разработчики используют по своему усмотрению, ориентация на массового пользователя соответствующих услуг так или иначе вынуждает стандартизировать процедуру сегментации. Простейшим примером такого рода является предусмотренное в MISP-2019.1 [8] формирование составных видеоизображений сверхвысокой четкости с помощью нескольких видеокамер меньшей размерности (8K UHDTV=2Ч2 4K UHDTV и т.п.). Однако рассмотрение известных стандартов в этой области заслуживает отдельной статьи.
ЛИТЕРАТУРА:
1. Слюсар В.И. Неортогональное частотное мультиплексирование (N-OFDM) сигналов // Технологии и средства связи. 2013. № 5. C. 61–65; № 6. C. 60–65.
2. Mattausch J. 1898, Telegraphie ohne Draht. Eine Studie // Zeitschrift fьr Elektrotechnik. Organ des Elektrotechnischen Vereines in Wien. – Heft 3, 16. Jдnner 1898. – XVI. Jahrgang. S. 35–36.
3. Slyusar V.I. First Antennas for Relay Stations // International Conference on Antenna Theory and Techniques, 21–24 April, 2015, Kharkiv, Ukraine. PP. 254–255. http: // slyusar.kiev.ua/U_080_Slyusar_ICATT_2015.pdf.
4. Слюсар В.И. Радиорелейным системам связи 115 лет // ПЕРВАЯ МИЛЯ. 2015. № 3. C. 108–111.
5. Акимова Е.В., Митрофанова Е.Ю. Cравнение методов суперпиксельной сегментации // Сборник студенческих научных работ факультета компьютерных наук ВГУ. – Воронеж: Издательский дом ВГУ, 2017. С. 3–9.
6. Саввин С.В., Сирота А.А. Методы суперпиксельной сегментации и их применение для анализа изображения с разнородной текстурой // Вестник ВГУ, серия: системный анализ и информационные технологии. 2016. № 4. C. 165–173.
7. Электронный ресурс http: // www.esa.int/Our_Activities/Space_Science/Rosetta/Unexpected_surprise_a_final_image_from_Rosetta.
8. U.S. Motion Imagery Standards Board (MISB) – Motion Imagery Standards Profile-2019.1 (MISP-2019.1). Page 38. http: // www.gwg.nga.mil/misb/docs/misp/MISP-2019.1.pdf.
Эффективная передача изображений сверхвысокой четкости удаленным потребителям возможна на основе использования высокоскоростных помехозащищенных каналов связи, техническая реализация которых базируется на технологиях многоэлементных цифровых антенных решеток, Massive MIMO, сигналов COFDM и кодированной модуляции N-OFDM [1]. Примером технической реализации подобных радиолиний является технология сверхчеткого видео Ultra HD в цифровом телевидении. Можно вспомнить, как во время Международной выставки потребительской электроники Consumer Electronіcs Show в 2016 году в Лас-Вегасе была продемонстрирована трансляция в эфире телепередач в формате 4K UHDTV (2160p) в соответствии с проектом американского стандарта ATSC-3. Свои стандарты телевидения 3-го поколения прорабатываются также в Европе и Китае. Кроме того, к открытию Олимпиады 2020 года в Японии предусматривается осуществить переход к трансляции видеопотоков в формате 8К UHDTV (4320p) на основе технологии MІMO с поляризационным кодированием сигналов.
Перечисленные цифровые технологии касаются физического уровня реализации каналов связи. Высокая скорость передачи данных в них достигается распараллеливанием информационных потоков. Поэтому важной задачей является учет в процессе обработки изображений возможностей и специфики функционирования последующих каналов передачи данных. Вместе с тем наряду с сервисом передачи видеоданных достаточно востребованным является трансфер фотоснимков 4K и 8К. При этом необходимо обеспечить возможность повторной передачи изображения или его фрагментов в случае их искажения при прохождении каналами связи, а также учет структуры информационного кадра в соответствии с принятым протоколом передачи данных.
Вполне очевидно, что для распараллеливания информационного потока по поднесущим COFDM или пространственным каналам MIMO изображение перед передачей по линии связи целесообразно разбить на несколько фрагментов, трансфер которых осуществлялся бы независимо, по отдельным каналам передачи или их группам. Анализ возможных подходов к такому разбиению позволяет выделить три основных варианта: с фиксированной, адаптивной и комбинированной схемами фрагментации изображений.
В качестве наглядных примеров реализации первых двух подходов рассмотрим методы представления изображений оцифрованных манускриптов и архивов, используемые в электронных библиотеках.
Метод фиксированной фрагментации изображений
Метод с фиксированной схемой фрагментации отсканированных изображений страниц рукописей, получивший наибольшее распространение, применяется в Королевской библиотеке Бельгии. В его основе лежит трехуровневая градация разрешающей способности сканирующего устройства, задействованного для формирования изображений и позволяющего создавать изображения в низком, среднем и максимальном разрешениях.
Конкретный механизм реализации такого метода рассмотрим на примере манускрипта 12 века Ms. 5325-27 R, в котором, в частности, представлены поэмы Вергилия Маро (70–90 гг. до н.э.) "Георгика" и "Энеида". Электронная копия этого манускрипта может быть загружена для постраничного просмотра по адресу http://uurl.kbr.be/1449091. В процессе загрузки требуемой страницы рукописи специальный скрипт осуществляет переход к дисковому хранилищу изображений листов этого манускрипта по адресу http://viewerd.kbr.be/gallery.php?map=A/2/1/6/6/6/8/6/0000-00-00_00/. При этом для каждой страницы создается свой подкаталог, куда помещаются фрагменты изображений в виде файлов формата JPG. Например, http://viewerd.kbr.be/display/A/2/1/6/6/6/8/6/0000-00-00_00/zoomtiles/BE-KBR00_A-2166686_0000-00-00_00_0013/2-3-2.jpg.
Следует отметить, что наполнение этих подкаталогов происходит только по мере пролистывания рукописи на экране. При этом по умолчанию в подкаталоги загружаются только фрагменты фотоснимков в низком разрешении. Чтобы синтезировать фрагменты JPG-файлов среднего и максимального разрешений, необходимо выполнить операцию увеличения изображения на экране до соответствующего масштаба. При работе в Internet Exploler 8.0 искомые графические файлы автоматически попадают в кэш браузера на компьютере пользователя. Достаточно просто пройтись "лупой" по изображению – и все файлы загрузятся в кэш сами. При этом, правда, они попадают в разные папки произвольной россыпью. Без указанных манипуляций доступ к графическим файлам по прямым ссылкам указанного типа невозможен, и вместо искомой картинки будет появляться надпись о запрете доступа по заданному адресу. Столь подробная информация приводится для тех, кто пожелает повторить проделанные автором эксперименты.
Как следует из указанного примера, название подкаталога BE-KBR00_A-2166686_0000-00-00_00_0013 соответствует с. 13. Нумерация страниц осуществляется, начиная с лицевой обложки книги, поэтому реально с. 13 приходится на 5-й лист с текстом, лицевая часть которого нумеруется как 5r, а оборотная – 5v. Это вносит определенные трудности в позиционирование по тексту рукописи, которые частично облегчает отображение в нижней части страницы браузера уменьшенных изображений страниц текста форматом 200 Ч 200 пикселей.
Название каждого JPG-файла в постраничных подкаталогах формируется в виде трехпозиционного набора цифр. Первая слева из них соответствует разрешению, использованному при формировании изображения: 0 – низкое, 1 – среднее, 2 – максимальное. Две другие цифры в названии JPG-файла определяют положение фрагмента в структуре цельного изображения. При этом максимальный размер отдельного фрагмента фотоснимка составляет 768 Ч 768 пикселей или 589824 байт, если пиксель представлен байтом. Трудно сказать, из каких соображений выбран именно квадратный по форме блок и такой его размер. Возможно, это было связано с максимальным объемом рабочей области оперативного запоминающего устройства (ОЗУ) 640 кБ во времена операционной системы MS-DOS и кратностью массива 768 Ч 768 пикселей ровно 9 блокам по 64 кБ. Другими словами, именно такой объем пользовательских данных (768 Ч 768 пикселей) был максимально возможным для MS-DOS.
В любом случае, максимально допустимый размер фрагмента следует задавать с учетом структуры информационных блоков конкретного протокола передачи данных. Если фактическое изображение имеет меньшие размеры, то габариты блоков в рассматриваемом случае усекаются до информационно значимого массива пикселей. Например, для указанной в приведенной выше ссылке с. 13 используемый алгоритм фрагментации в режиме низкого разрешения формирует двухблочное представление исходного фотоснимка с максимальным размером верхнего блока 671 Ч 768 пикселей, а нижнего – 671 Ч 80. Графическое представление схемы разбивки с. 13 для низкого разрешения имеет вид:
0-0-0
671 Ч 768
0-0-1
671 Ч 80
Здесь верхний ряд цифр в каждом блоке соответствует названию JPG-файла, а нижний – размерам блоков в пикселях.
При переходе к среднему разрешению комплект блоков, полученных при низком разрешении, окаймляется справа и снизу аналогичными дополнительными блоками, образующими вторые столбец и строку. В результате для упомянутой с. 13 манускрипта формируется графическое изображение размером 1342 Ч 1697 = 2277374 пикселей. Схема разбивки с. 13 на фрагменты при среднем разрешении может быть представлена следующим образом:
1-0-0
768 Ч 768
1-1-0
574 Ч 768
1-0-1
768 Ч 768
1-1-1
574 Ч 768
1-0-2
768 Ч 161
1-1-2
574 Ч 161
Как видно, в названиях графических файлов цифра 0 поменялась на 1, что соответствует среднему уровню разрешения изображений. При этом комплект блоков, которые используются при низком разрешении, получает максимальные размеры 768 Ч 768 пикселей. Размеры же окаймляющих блоков варьируются по остаточному принципу и будут зависеть от конкретных габаритов снимка. В данном случае получаются блоки размерами 768 Ч 161, 574 Ч 768 и 574 Ч 161.
Процедура формирования фрагментов при максимальном разрешении отличается тем, что к комплекту блоков среднего разрешения добавляется не по одному, а сразу по два окаймляющих блока. При этом ядро нового формата образует квадрат структуры 3 Ч 3, состоящий из девяти идентичных квадратных блоков по 768 Ч 768 пикселей. Для рассматриваемой здесь с. 13 такой подход позволяет получить графическое представление отсканированной копии изображения размером 2684 Ч 3393 = 9 106 812 пикселей. При этом формируется 20 фрагментов исходного фотоснимка, из них: 12 блоков с максимальной емкостью 768 Ч 768 = 589 824; 3 блока – 768 Ч 321 = 246 528; 4 блока – 380 Ч 768 = 291 840 и один блок 380 Ч 321 = 121 980 пикселей. Схема разбивки страницы на фрагменты при максимальном разрешении представлена ниже:
2-0-0
768 Ч 768
2-1-0
768 Ч 768
2-2-0
768 Ч 768
2-3-0
380 Ч 768
2-0-1
768 Ч 768
2-1-1
768 Ч 768
2-2-1
768 Ч 768
2-3-1
380 Ч 768
2-0-2
768 Ч 768
2-1-2
768 Ч 768
2-2-2
768 Ч 768
2-3-2
380 Ч 768
2-0-3
768 Ч 768
2-1-3
768 Ч 768
2-2-3
768 Ч 768
2-3-3
380 Ч 768
2-0-4
768 Ч 321
2-1-4
768 Ч 321
2-2-4
768 Ч 321
2-3-4
380 Ч 321
Таким образом, соотношение структуры кадров различного разрешения может быть проиллюстрировано в виде:
Кадр 0
Кадр 1
Кадр 2
При всей жесткости рассмотренная схема фиксированной фрагментации обладает все же определенной гибкостью, позволяющей адаптивно подстраиваться под габариты конкретного объекта съемки. К примеру, для с. 221 той же рукописи Ms. 5325-27 R из-за меньших размеров страницы объем блоков изменяется. В этом несложно убедиться, изучив графические файлы, соответствующие режиму среднего разрешения, которые можно найти по ссылке вида: http://viewerd.kbr.be/display/A/2/1/6/6/6/8/6/0000-00-00_00/zoomtiles/BE-KBR00_A-2166686_0000-00-00_00_0221/1-1-1.jpg (или 1-1-2.jpg).
С учетом использования только информационно значимых пикселей размеры кадра среднего разрешения для с. 221 указанной рукописи изменяются до формата 1034 Ч 1712=1 770 208. Размеры фрагментов кадра среднего разрешения для с. 221 манускрипта Ms. 5325-27 R (www.kbr.be):
1-0-0
768 Ч 768
1-1-0
266 Ч 768
1-0-1
768 Ч 768
1-1-1
266 Ч 768
1-0-2
768 Ч 176
1-1-2
266 Ч 176
При максимальном разрешении количество блоков сокращается до 15, а габариты по сравнению со с. 13 уменьшаются до 2 067 Ч 3 423 пикселей. Размеры фрагментов кадра максимального разрешения для с. 221 манускрипта Ms. 5325-27 R (www.kbr.be):
2-0-0
768 Ч 768
2-1-0
768 Ч 768
2-2-0
531 Ч 768
2-0-1
768 Ч 768
2-1-1
768 Ч 768
2-2-1
531 Ч 768
2-0-2
768 Ч 768
2-1-2
768 Ч 768
2-2-2
531 Ч 768
2-0-3
768 Ч 768
2-1-3
768 Ч 768
2-2-3
531 Ч 768
2-0-4
768 Ч 351
2-1-4
768 Ч 351
2-2-4
531 Ч 351
Еще большее разнообразие в блочный формат кадров изображения вносят нетрадиционные габариты манускриптов. Примером такого рода в той же библиотеке Брюсселя является рукопись Ms. 5253 R, датированная 850 годом, в которой содержится произведение Витрувия (M. Vitruvius Pollio, около 80/70–25 гг. до н. э.) "Архитектура" (De ArchitectUra). Электронная копия данного манускрипта находится по ссылке http://uurl.kbr.be/1449089. Для ее с. 88 генерируется подкаталог графических файлов с фрагментами исходных изображений по адресу типа: http://viewerd.kbr.be/display/A/2/1/6/5/9/1/2/0000-00-00_00/zoomtiles/BE-KBR00_A-2165912_0000-00-00_00_0088/0-1-1.jpg.
При этом в режиме низкого разрешения схема разбивки фотоснимка страницы на фрагменты имеет 4-блочную структуру вместо двухблочной у рассмотренного ранее манускрипта Ms. 5325-27 R:
0-0-0
768 Ч 768
0-1-0
290 Ч 768
0-0-1
768 Ч 728
0-1-1
290 Ч 728
В режиме среднего разрешения для рукописи Ms. 5253 R формируется кадр размером 1 034 Ч 1 712 пикселей, состоящий из девяти блоков:
1-0-0
768 Ч 768
1-1-0
768 Ч 768
1-2-0
580 Ч 768
1-0-1
768 Ч 768
1-1-1
768 Ч 768
1-2-1
580 Ч 768
1-0-2
768 Ч 768
1-1-2
768 Ч 768
1-2-2
580 Ч 768
1-0-3
768 Ч 687
1-1-3
768 Ч 687
1-2-3
580 Ч 687
В то же время файлы изображения с максимальным разрешением не генерируются вовсе.
Таким образом, в рассмотренном методе Королевской библиотеки Бельгии использовано несколько фиксированных схем разбиения исходного изображения на кластеры для передачи разными каналами связи. Их адаптивный выбор в зависимости от размеров исходной сцены предоставляет определенную возможность оптимизации трафика при многопользовательском доступе к серверу изображений.
В рамках данного подхода информационные блоки максимального размера целесообразно передавать по каналам с минимальной расчетной ошибкой передачи – в частности, расположенным по центру полосы пропускания пакета COFDM-сигналов. Каналы, расположенные на периферии отведенного диапазона частот, имеют более низкую помехоустойчивость, поэтому по ним целесообразно передавать фрагменты изображений уменьшенного размера. Это позволит снизить скорость передачи данных за счет перехода к более низким уровням модуляции сигналов, а при необходимости повторной передачи потребует меньших временных затрат.
В случае использования алгоритмов сжатия изображений при одном и том же формате фрагмента количество информации, необходимой для передачи каналами связи, будет различным (зависит от степени однородности сцены). Поэтому в интересах достижения максимальной равномерности загрузки каналов связи целесообразно применять различную степень сжатия изображений в блоках, регулируя ее под выбранный размер типового фрагмента. Однако такой вариант приемлем лишь в случае, когда разброс в коэффициентах сжатия по блокам не превышает 20–30%, чтобы при восстановлении цельного изображения искажения, вносимые при сжатии, не проявляли себя заметным образом. Впрочем, в большинстве случаев имеет место разбиение на фрагменты уже сжатых тем или иным способом исходных изображений, что снимает проблему поблочной дифференциации коэффициентов сжатия.
Идея фиксированной сегментации изображений на блоки используется также сайтом Архива главного места (столицы) Праги (Archiv hlavnнho města Prahy, http://katalog.ahmp.cz), например, для отображения метрик или списков обывателей Праги 1830–1910 годов (Soupis praћskйho obyvatelstva 1830–1910 (1920)). В отличие от бельгийского варианта, в этом выбраны в три раза меньшие размеры максимального фрагмента изображения по вертикали и горизонтали, установленные равными 256 Ч 256 пикселей. Это предоставляет больше возможностей в выборе стратегий для каналообразующего менеджмента, однако, с другой стороны, усложняет процедуру сборки изображения на приемной стороне, поскольку графическому компоновщику приходится оперировать большим массивом блоков при их склейке. При этом задача ручной сборки фрагментов становится несоизмеримо сложной. Существенно, что при 8-битном представлении массива 256 Ч 256 пикселей его объем становится равным 64 кБ.
Рассмотрим детали фрагментации изображений согласно пражской версии этого процесса на примере свидетельства о браке Венцеля Маттауша (документ расположен под рубрикой Praћљtн přнsluљnнci (121763)), чей сын Йоганн Маттауш 31 января 1898 года впервые опубликовал идею радиорелейной связи [2, 3]. Кстати, благодаря этому свидетельству автору удалось установить точную дату рождения Йоганна Маттауша – 8 января 1838 года. Изображение указанного документа находится по ссылке: http://katalog.ahmp.cz/pragapublica/permalink?xid=D3C77CEF9B4311E181D3002215111B5A&scan=1.
Его вариант с минимальным разрешением (0-й уровень) имеет размер 167 Ч 119 пикселей и может быть загружен (после предварительного просмотра в браузере) по адресу: http://images.ahmp.cz/mrimage/ahmp/zoomify/cz/archives/CZ-321100010/NAD-4/dao/images/0221/2211f0dcfa9c5e0925089a06b06c8ee4.jpg/TileGroup0/0-0-0.jpg.
При переходе к следующей структуре более высокого разрешения происходит удвоение размера изображения в пикселях. При этом 1-й уровень разрешения соответствует размеру изображения 334 Ч 238 пикселей. Для последующей передачи потребителю изображение разбивается на два блока размерами 256 Ч 238 и 78 Ч 238 пикселей. Структура блоков 1-го уровня разрешения в изображениях Архива главного места (столицы) Праги представлена ниже:
1-0-0
256 Ч 238
1-1-0
78 Ч 238
Чтобы загрузить изображения на свой компьютер, нужно в указанной выше ссылке заменить окончание 0-0-0.jpg на 1-0-0.jpg и 1-1-0.jpg соответственно.
Как видно, при использовании уровней 0 и 1 максимальные габариты блока 256 Ч 256 пикселей не достигаются. Это становится возможным при переходе ко 2-му уровню разрешения. В этом случае исходное изображение указанного документа размером 667 Ч 476 пикселей представляется структурой формата 3 Ч 2 блока:
2-0-0
256 Ч 256
2-1-0
256 Ч 256
2-2-0
155 Ч 256
2-0-1
256 Ч 220
2-1-1
256 Ч 220
2-2-1
155 Ч 220
Дальнейшее увеличение разрешения сопровождается удвоением не только количества пикселей по каждой из координат, но и количества блоков по вертикали и горизонтали. К примеру, уровень разрешения № 3 для рассматриваемой копии документа В.Маттауша характеризуется структурой 6 Ч 4 блоков при общем размере изображения 1334 Ч 951 пикселей:
3-0-0
256 Ч 256
3-1-0
256 Ч 256
3-2-0
256 Ч 256
3-3-0
256 Ч 256
3-4-0
256 Ч 256
3-5-0
54 Ч 256
3-0-1
256 Ч 256
3-1-1
256 Ч 256
3-2-1
256 Ч 256
3-3-1
256 Ч 256
3-4-1
256 Ч 256
3-5-1
54 Ч 256
3-0-2
256 Ч 256
3-1-2
256 Ч 256
3-2-2
256 Ч 256
3-3-2
256 Ч 256
3-4-2
256 Ч 256
3-5-2
54 Ч 256
3-0-3
256 Ч 183
3-1-3
256 Ч 183
3-2-3
256 Ч 183
3-3-3
256 Ч 183
3-4-3
256 Ч 183
3-5-3
54 Ч 183
Вариант соответствующей ссылки на фрагменты изображения имеет вид: http://images.ahmp.cz/mrimage/ahmp/zoomify/cz/archives/CZ-321100010/NAD-4/dao/images/0221/2211f0dcfa9c5e0925089a06b06c8ee4.jpg/TileGroup0/3-0-1.jpg.
Впрочем, из-за различных размеров исходных сцен удвоение блоков может выполняться лишь с точностью до единицы. Например, при переходе на 4-й уровень разрешения вместо структуры 12 Ч 8 блоков, как это должно быть при удвоении, для указанного документа имеет место структура из 11 Ч 8 блоков. При этом аналогично, с точностью до одного пикселя, происходит и увеличение размера первоначального снимка (в данном случае 2 667 Ч 1 901 пикселей вместо 1 334 Ч 2 = 2 668 и 951 Ч 2 = 1 902 соответственно). Матрица фрагментов для 4-го уровня разрешения приведена ниже:
4-0-0
4-1-0
4-2-0
4-3-0
4-4-0
4-5-0
4-6-0
4-7-0
4-8-0
4-9-0
4 -10-0
4-0-1
4-1-1
4-2-1
4-3-1
4-4-1
4-5-1
4-6-1
4-7-1
4-8-1
4-9-1
4 -10-1
4-0-2
4-1-2
4-2-2
4-3-2
4-4-2
4-5-2
4-6-2
4-7-2
4-8-2
4-9-2
4 -10-2
4-0-3
4-1-3
4-2-3
4-3-3
4-4-3
4-5-3
4-6-3
4-7-3
4-8-3
4-9-3
4 -10-3
4-0-4
4-1-4
4-2-4
4-3-4
4-4-4
4-5-4
4-6-4
4-7-4
4-8-4
4-9-4
4 -10-4
4-0-5
4-1-5
4-2-5
4-3-5
4-4-5
4-5-5
4-6-5
4-7-5
4-8-5
4-9-5
4 -10-5
4-0-6
4-1-6
4-2-6
4-3-6
4-4-6
4-5-6
4-6-6
4-7-6
4-8-6
4-9-6
4 -10-6
4-0-7
4-1-7
4-2-7
4-3-7
4-4-7
4-5-7
4-6-7
4-7-7
4-8-7
4-9-7
4 -10-7
Предельным уровнем разрешения в рассматриваемом случае является 5-й. Для него размер полного изображения составляет 5 333 Ч 3 802 пикселей, которые группируются в 21 Ч 15 блоков с нумерацией по схеме (5-0-0 … 5-20-0) Ч (5-20-0 … 5-20-14). Объем каждого блока находится в пределах примерно 9,6–10,6 кБ, а полного файла, подлежащего передаче, равен 7 983 кБ. По количеству пикселей, формируемых на 5-м уровне разрешения, нетрудно сделать вывод, что рассмотренный метод имеет запас по отношению к передаче 5К- и 4К-изображений, полнокадровый формат которых имеет разрешение 5 120 Ч 3 840 и 4 096 Ч 3 072 пикселей соответственно.
Учитывая большое количество блоков в рамках 5-го уровня разрешения (в данном случае 315), все они на передающем сервере группируются перед отправкой в два разных подкаталога TileGroup0 и TileGroup1, например, TileGroup0/5-0-0–5-5-6.jpg и TileGroup1/5-6-6-.jpg. Примером тому является ссылка: http://images.ahmp.cz/mrimage/ahmp/zoomify/cz/archives/CZ-321100010/NAD-4/dao/images/0221/2211f0dcfa9c5e0925089a06b06c8ee4.jpg/TileGroup1/5-20-7.jpg.
Проведенный анализ различных схем фрагментации, используемых в пражском архиве, позволяет сделать вывод, что их масштабирование для работы с изображениями 8К в рассматриваемом случае потребует 4-кратного увеличения количества блоков с возрастанием общей их численности до 1 200 и более. Поэтому в перспективе для 8К-формата уместным будет все же переход к увеличенному размеру элементарных блоков, например, хотя бы до упомянутых ранее 768 Ч 768 пикселей.
Аналогично указанному архиву Праги функционирует сервис визуализации географических карт, предоставляемый сайтом www.themaphouse.com. Для отображения карт в этом проекте используются пять уровней разрешающей способности с одинаковым для всех уровней максимальным размером элементарных блоков – 256 Ч 256 пикселей. Например, карта города Бристоль (Великобритания), датированная 1860 годом, при максимальном увеличении сегментируется по схеме:
Подпись: 0_0 1_0 2_0 3_0 4_0 5_0 6_0 7_0 8_0 9_0 10_0 11_0
0_1 1_1 2_1 3_1 4_1 5_1 6_1 7_1 8_1 9_1 10_1 11_1
0_2 1_2 2_2 3_2 4_2 5_2 6_2 7_2 8_2 9_2 10_2 11_2
0_3 1_3 2_3 3_3 4_3 5_3 6_3 7_3 8_3 9_3 10_3 11_3
0_4 1_4 2_4 3_4 4_4 5_4 6_4 7_4 8_4 9_4 10_4 11_4
0_5 1_5 2_5 3_5 4_5 5_5 6_5 7_5 8_5 9_5 10_5 11_5
0_6 1_6 2_6 3_6 4_6 5_6 6_6 7_6 8_6 9_6 10_6 11_6
0_7 1_7 2_7 3_7 4_7 5_7 6_7 7_7 8_7 9_7 10_7 11_7
0_8 1_8 2_8 3_8 4_8 5_8 6_8 7_8 8_8 9_8 10_8 11_8
Типовые ссылки для загрузки соответствующих фрагментов указанной карты при таком увеличении имеют вид: http://www.themaphouse.com/Images/Zoom/SOM444_files/12/0_3.jpg; http://www.themaphouse.com/Images/Zoom/SOM444_files/12/11_7.jpg.
При наихудшем разрешении все исходное изображение вписывается в один блок форматом 256 Ч 256 пикселей. Применительно к рассматриваемой карте Бристоля соответствующее изображение получает размер 184 Ч 136 и становится доступным после предварительного открытия в браузере адресной ссылки http://www.themaphouse.com/Zoom.aspx?id=114386&ref=SOM444 по адресу: http://www.themaphouse.com/Images/Zoom/SOM444_files/8/0_0.jpg.
Следует отметить, что фрагментация файлов изображений на элементарные блоки с максимальным размером 256 Ч 256 пикселей, как оказалось, является достаточно массовой. Помимо рассмотренных примеров, она реализована также для просмотра копий документов на сайте Национального архива Бельгии (www.arch.be). Подобно пражскому архиву, здесь доступны шесть уровней разрешающей способности, однако отличие состоит в использовании в скрипте для загрузки изображений функции фрагментации, предоставляемой сервисом GoogleMaps. Детали применения соответствующего общедоступного кода рассмотрим на примере копии свидетельства о браке Emile Guarini и Lйonie Edith Tobiansky, датированного 15 апреля 1903 года. Эмиль Гуарини-Форесио известен тем, что в 1899 году изобрел первый работоспособный вариант радиорелейного ретранслятора [3, 4]. Электронная версия данного акта находится по веб-адресу: http://search.arch.be//imageserver/jsviewer.php?
FIF=541/541_9999_999/541_9999_999_2350167_000/541_9999_999_2350167_000_0_0521.jpg.
Ссылка позволяет визуализировать электронную версию изображения и с помощью компьютерной мыши управлять уровнем разрешения (запись о регистрации указанного брака приведена под номером 518). Фрагмент соответствующего скрипта настройки на отображение данного документа имеет вид:
<script src="jsviewer/html5.js"></script>
<![endif]–>
<script type="text/javascript">var FIF=’541/541_9999_999/541_9999_999_2350167_000/541_9999_999_2350167_000_0_0521.jp2’; var LAYERS=6;
</script>
<script type="text/javascript" src="jsviewer/mootools-core-1.4.2-full-compat-yc.js"></script>
<script type="text/javascript" src="http://maps.googleapis.com/maps/api/js?key=AIzaSyDvDpSoYvMPwXmWYSVzFvpL4jd29jigY9M&sensor=false"></script>
<script type="text/javascript" src="jsviewer/topview.js"></script>
<link rel="stylesheet" href="jsviewer/style.css" type="text/css" media="all" />
Для конкретного выбора уровня увеличения изображения и визуализации его элементарного фрагмента к указанной выше ссылке на скрипт необходимо добавить переменную zoom и координаты x, y начала соответствующего блока. Как и в рассмотренных выше случаях, блок, начало которого совпадает с левым верхним углом исходного изображения, имеет координаты x = 0, y = 0. При этом схема размещения фрагментов идентична их топологии, используемой в упомянутом архиве Праги. Существенно, что координаты начала блока нужно задавать строго в соответствии с исходной фрагментацией, а не произвольно.
К примеру, для указанного документа в 1-м уровне разрешения формируются два соответствующих блока изображения, загружаемые по ссылкам:
• http://search.arch.be/imageserver/tileserver.php?
FIF=541/541_9999_999/541_9999_999_2350167_000/541_9999_999_2350167_000_0_0521.jp2&zoom=1&x=0&y=0;
• http://search.arch.be/imageserver/tileserver.php?
FIF=541/541_9999_999/541_9999_999_2350167_
000/541_9999_999_2350167_000_0_0521.jp2&zoom=1&x=1&y=0.
В случае максимального разрешения (переменная zoom = 5) пример фрагмента изображения может быть получен по адресу: http://search.arch.be/imageserver/tileserver.php?
FIF=541/541_9999_999/541_9999_999_2350167_000/541_9999_999_2350167_000_0_0521.jp2&zoom=5&x=15&y=14.
При максимальном увеличении разрешения количество блоков в данном случае составляет 22 Ч 18 (учитывая нулевую нумерацию) или 5632 Ч 4608 пикселей.
Преимуществом используемой в Национальном архиве Бельгии концепции является отсутствие необходимости предварительного просмотра всего изображения в максимальном разрешении для генерации полного множества его фрагментов.
Указание в веб-адресе значений координат блока и уровня увеличения с помощью переменной zoom является достаточной информацией для формирования необходимого сегмента снимка. При этом становится довольно просто сочетать увеличенное разрешение одной части исходного изображения с низким разрешением остального его сегмента. Вариант комбинации фрагментов 2-го и 3-го уровней разрешения для детализации изображений блоков 2-1-1 и 2-2-0 приведен ниже:
2-0-0
256 Ч 256
2-1-0
256 Ч 256
3-4-0
256 Ч 256
3-5-0
54 Ч 256
3-4-1
256 Ч 256
3-5-1
54 Ч 256
2-0-1
256 Ч 256
3-2-2
256 Ч 256
3-3-2
256 Ч 256
2-2-1
256 Ч 256
3-2-3
256 Ч 183
3-3-3
256 Ч 183
По сути, этот вариант является пределом совершенства рассмотренного метода фиксированной сегментации, неким негласным стандартом, позволяющим использовать несколько фиксированных схем разбиения исходного изображения на кластеры для передачи разными каналами связи.
Адаптивный метод формирования фрагментов изображения
Принципиально иной подход состоит в использовании адаптивного метода формирования фрагментов изображения для их передачи. Этот метод использован для дистанционной работы с отсканированными манускриптами в электронной библиотеке Ватикана (Bіblіoteca Apostolіca Vatіcana, http://digi.vatlib.it). Рассмотрим конкретный пример реализации адаптивного метода на примере рукописей так называемых Римского и Ватиканского Вергилиев.
Отличительной особенностью сервиса электронной библиотеки Ватикана является возможность передачи изображения отсканированной страницы манускрипта одним большим файлом. Например, в случае Римского Вергилия (датируется V веком нашей эры, http://digi.vatlib.it/view/MSS_Vat.lat.3867) изображение страницы 0181v в среднем разрешении (формат 1 398 Ч 1 501) может быть загружено одним файлом по ссылке: http://digi.vatlib.it/pub/digit/MSS_Vat.lat.3867/iiif/Vat.lat.3867_0364_fa_0181v.jp2/full/1398,/0/native.jpg.
Данная страница из текста "Энеиды" примечательна тем, что содержит в первой сверху строке слово ANTEMNAE (текст в то время писался без пробелов, все буквы имели вид заглавных).
В названии файла ключевым признаком для скачивания полного изображения является слово full. Помимо традиционной для рукописей нумерации фронтальной (r, rectum) и обратной (v, versum) сторон листа, в наименовании также указывается абсолютный порядковый номер изображения, соответствующего конкретному манускрипту с учетом обложки. В данном случае это число 0364. Цифра же 1398 в имени файла задает в пикселях ширину изображения. Ее можно увеличивать самостоятельно без видимого изменения пропорций между шириной и высотой принятого фотоснимка вплоть до момента достижения одним из его размеров величины 5 000 пикселей. При этом второй параметр – высота – рассчитывается автоматически. При дальнейшем увеличении ширины или высоты изображения соответствующий параметр программно замораживается на уровне 5 000. Данный факт следует учитывать, задавая в ручном режиме настройки изображения перед его скачиванием. Применительно к формату указанной страницы с номером 0181v предельная ширина изображения составляет 4 593 пикселей, поскольку его высота при этом становится равной 4999: http://digi.vatlib.it/pub/digit/MSS_Vat.lat.3867/iiif/Vat.lat.3867_0364_fa_0181v.jp2/full/4593,/0/native.jpg.
В манускрипте Ватиканского Вергилия (датирован ~400 г. н.э., http://digi.vatlib.it/view/MSS_Vat.lat.3225) аналогичная страница со словом ANTEMNAE имеет номер 0068r или в абсолютной нумерации – 0139. Кстати, данный манускрипт является самой ранней из обнаруженных автором сохранившихся рукописей со словом ANTEMNAE. Учитывая иные пропорции данной страницы, ее фотоснимок с максимальным разрешением 4 364 Ч 4 999 пикселей загружается одним файлом по ссылке: http://digi.vatlib.it/pub/digit/MSS_Vat.lat.3225/iiif/Vat.lat.3225_0139_fr_0068r.jp2/full/4364,/0/native.jpg.
Для более детального изучения, к примеру, начертания слова ANTEMNAE, в рассматриваемом случае возможно загружать лишь фрагмент исходного фотоснимка, гибко задавая координаты начала блока изображения в строке и столбце относительно исходной сцены кадра, размер блока по горизонтали и вертикали, разрешающую способность. Все это позволяет дистанционно фокусировать передаваемые изображения на любом фрагменте начальной сцены. Указанные параметры перечисляются через запятую в адресной ссылке на файл изображения в формате *.jp2/A,B,C,D/E,/0/native.jpg после указания номера страницы рукописи (вместо слова full). При этом регулируемыми параметрами в процессе передачи фрагмента изображения являются:
A координата начала блока исходного изображения, подлежащего передаче, по горизонтали (в строке), левый верхний угол изображения имеет нулевую координату A;
B координата начала блока по вертикали (в столбце), нулевая координата B – у самого верхнего блока;
C размер блока исходного изображения, подлежащего передаче, в пикселях по горизонтали (ширина);
D размер блока исходного изображения по вертикали (при несогласованных размерах блоков B и C происходит растяжка изображения с искажением);
E ширина в пикселях отображаемого на приемной стороне блока изображения (максимальное значение 5000, при увеличении – больше не меняется) при единичном масштабе отображения E = C.
Таким образом, произвольно изменяя координаты начала блока, можно сфокусироваться на конкретном фрагменте текста. Например, для вырезки указанного слова ANTEMNAE в Римском Вергилии можно использовать ссылку: http://digi.vatlib.it/pub/digit/MSS_Vat.lat.3867/iiif/Vat.lat.3867_0364_fa_0181v.jp2/1858,426,490,150/5000,/0/native.jpg.
В результате получим фрагмент рукописи форматом 5000Ч1639 пикселей с неразборчивой буквой "N" (рис.1).
У размытой буквы, следующей после "M", справа вверху виден штрих влево, присущий букве "N", а также характерный для "N" угол наклона диагонали.
В отличие от Римского Вергилия, манускрипт Vat.lat.3225 (Ватиканский Вергилий), несмотря на более древний возраст, имеет лучше читаемое написание слова ANTEMNAE. Загруженный по ссылке http://digi.vatlib.it/pub/digit/MSS_Vat.lat.3225/iiif/Vat.lat.3225_0139_fr_0068r.jp2/1130,1280,256,56/5000,/0/native.jpg фрагмент соответствующей страницы 0068r представлен на рис.2. Именно так в наши дни выглядит древнейшее из сохранившихся рукописных свидетельств упоминания города ANTEMNAE в древнеримской литературе (на самой странице это слово является крайним справа в 4-й строке снизу). Впрочем, детальное обсуждение этого факта заслуживает отдельной публикации.
Как следует из приведенных примеров, параметр E в названии файла для загрузки фрагмента изображения позволяет регулировать степень увеличения (уменьшения) исходного фрагмента на приемной стороне, выполняя роль регулятора разрешающей способности. Регулируя координаты левого верхнего угла и размеры блока, можно формировать их со взаимным перекрытием либо строго в стык друг за другом.
Анализ рассмотренных методов фрагментации изображений позволяет предположить возможность применения их комбинации. Суть комбинированного метода заключается в том, что на первом этапе производится адаптивный выбор интересующего сегмента кадра, а далее производится его фиксированная фрагментация на суперпиксели перед передачей. Автору не удалось пока обнаружить примеры реализации такой технологии, однако это отнюдь не означает, что массовое появление сервисов для передачи 4К- и 8К-изображений не сделает данный подход более востребованным.
Таким образом, в условиях помех, в зависимости от их интенсивности и эффективности воздействия на каналы связи, можно сократить объемы передаваемых данных, адаптивно задав лишь наиболее важный фрагмент, без передачи всего изображения в целом или повторно отправляя лишь искаженные в предыдущем сеансе связи фрагменты исходной картины.
Комбинация методов
В целом для эффективной работы с изображениями целесообразно применять комбинацию методов фиксированной и адаптивной фрагментаций изображений, выбирая конкретный вариант в зависимости от задачи и конкретной ситуации, складывающейся в каналах передачи данных.
Дальнейшим обобщением данного подхода является сегментация изображения не на регулярные и идентичные по форме блоки, а по аналогии с задачей распознавания рукописей – на "суперпиксели" различной конфигурации [5, 6], по принципу разбитого зеркала (рис.3).
При этом, однако, задача сборки изображения на приемной стороне существенно усложняется, поскольку нерегулярность границ суперпикселей требует более интеллектуального менеджмента по их компоновке для восстановления исходного изображения после передачи по параллельным каналам связи.
Обсуждавшиеся выше методы декомпозиции изображений объединяет один общий принцип – использование в рамках отдельно взятого их фрагмента лишь подряд идущих пикселей и разделение содержимого сегментов по разным зонам исходной сцены. Между тем, в ряде приложений гораздо важнее сохранить общую сцену изображения при потере части фрагментов, пусть даже в ущерб четкости отображаемой картины. Примером такого рода могут быть фотоснимки, передаваемые с межпланетных зондов. Поэтому для подобных задач в процессе сегментации пиксели могут отбираться не подряд, а распределенно по всему исходному изображению, с интервалом, зависящим от общего количества сегментов. При этом соседние фрагменты оказываются смещены друг относительно друга всего на несколько пикселей и следуют со взаимным перекрытием.
Именно такой механизм мог бы оказаться полезным в последние мгновения работы зонда "Розетта" 30 сентября 2016 года. Как известно, в штатном режиме функционирования исходное изображение, передаваемое с его борта, разбивалось на шесть пакетов, максимум по 4 кБ каждый [7]. Для финального фотоснимка, из-за прекращения передачи данных вследствие столкновения с поверхностью кометы Чурюмова – Герасименко, были получены только три полных пакета данных общим объемом 12 228 байт. Это соответствовало лишь примерно половине полного изображения [7]. Программным обеспечением автоматической обработки этот массив данных не был идентифицирован как полноценный снимок – и оказался недоступным для анализа. Однако инженеры в Геттингене смогли спустя год обработать эти фрагменты данных, чтобы восстановить полную картину.
Скорее всего, это можно было бы сделать благодаря указанному методу предварительной сегментации изображений, когда фрагменты разделяются на уровне одного или нескольких пикселей с многократным чередованием таковых с пикселями других фрагментов. Принцип сегментации изображения с циклическим перемежением пикселей шести его фрагментов проиллюстрирован ниже (первая цифра в нумерации – номер фрагмента, а вторая – порядковый номер пикселя внутри фрагмента, цветом выделены пиксели первого из сегментов изображения):
1.1
2.1
1.2
2.2
3.1
4.1
3.2
4.2
5.1
6.1
5.2
6.2
1.3
2.3
1.4
2.4
3.3
4.3
3.4
4.4
5.3
6.3
5.4
6.4
При этом потеря нескольких частей исходного поля картины приводит лишь к размыванию целостного изображения, но не к полному нарушению восприятия всей сцены, тем более что резкость нередко можно восстановить алгоритмически.
Рассмотренные подходы могут быть использованы для покадровой передачи видео сверхвысокой четкости и соответствующих фотоснимков с борта автономных или дистанционно управляемых аппаратов. Хотя большинство из рассмотренных здесь методов разработчики используют по своему усмотрению, ориентация на массового пользователя соответствующих услуг так или иначе вынуждает стандартизировать процедуру сегментации. Простейшим примером такого рода является предусмотренное в MISP-2019.1 [8] формирование составных видеоизображений сверхвысокой четкости с помощью нескольких видеокамер меньшей размерности (8K UHDTV=2Ч2 4K UHDTV и т.п.). Однако рассмотрение известных стандартов в этой области заслуживает отдельной статьи.
ЛИТЕРАТУРА:
1. Слюсар В.И. Неортогональное частотное мультиплексирование (N-OFDM) сигналов // Технологии и средства связи. 2013. № 5. C. 61–65; № 6. C. 60–65.
2. Mattausch J. 1898, Telegraphie ohne Draht. Eine Studie // Zeitschrift fьr Elektrotechnik. Organ des Elektrotechnischen Vereines in Wien. – Heft 3, 16. Jдnner 1898. – XVI. Jahrgang. S. 35–36.
3. Slyusar V.I. First Antennas for Relay Stations // International Conference on Antenna Theory and Techniques, 21–24 April, 2015, Kharkiv, Ukraine. PP. 254–255. http: // slyusar.kiev.ua/U_080_Slyusar_ICATT_2015.pdf.
4. Слюсар В.И. Радиорелейным системам связи 115 лет // ПЕРВАЯ МИЛЯ. 2015. № 3. C. 108–111.
5. Акимова Е.В., Митрофанова Е.Ю. Cравнение методов суперпиксельной сегментации // Сборник студенческих научных работ факультета компьютерных наук ВГУ. – Воронеж: Издательский дом ВГУ, 2017. С. 3–9.
6. Саввин С.В., Сирота А.А. Методы суперпиксельной сегментации и их применение для анализа изображения с разнородной текстурой // Вестник ВГУ, серия: системный анализ и информационные технологии. 2016. № 4. C. 165–173.
7. Электронный ресурс http: // www.esa.int/Our_Activities/Space_Science/Rosetta/Unexpected_surprise_a_final_image_from_Rosetta.
8. U.S. Motion Imagery Standards Board (MISB) – Motion Imagery Standards Profile-2019.1 (MISP-2019.1). Page 38. http: // www.gwg.nga.mil/misb/docs/misp/MISP-2019.1.pdf.
Отзывы читателей
