複数SDを合成したHDの視覚品質は？

KDDI研究所の研究で，「SDのMPEGを合成してHDの動画像を生成できないか」というものがある．先日のFITで話を聞いているときに思いついたで，HD動画像にROIを設定すると視覚品質はどうなるか，という確認実験．

ROIとはReagion Of Interestの略で．画像中の一部の領域だけ高品質化すること（逆にROI以外の品質を低下させること）．ROIと合成の関係は以下の通り．1台目のSDカメラで全体を撮りつつ，2台目のカメラでROIに相当する対象を撮る．2つを合成して，ROIはHD解像度，その他はSDを単純に拡大した画像とする．

発表会場にいたどこかの教授によると，画面内で解像度が異なると人は不快に感じるらしい．一方で，ズームイン・ズームアウトによるモザイク画像はROIだけ高解像度になるのだが，これは（不快ではなくて）芸術的な感じになる，らしい．後者の方が納得できるのだが，これは静止画像の話．動画像にするとどうなるのか．

動画像でROIを適用するのは3年前に研究室で同期がやってた．その時の提案では，ROIの境界はなだらかに品質を落としていく方が（同じビットレートの時に比較すると）視覚品質が上がる，というものだった．ちなみに動画像はSD．つまり，導き出した仮説は，HDサイズだけどROI以外はSDの拡大，ROIはSDを埋め込む，として生成したHDもそこそこ見られる，というもの．

ちょっとHDのテストシーケンスの取得に手こずっていたのだが，実験してみた．実験に利用した画像は720p@50fps(1280x720 progressive)を504枚．ROIは画像中の「手」を中心に560x420の大きさで設定．非ROIは5x5のローパスを適用して低解像度化．

1フレームだけ抜き出してみると下の通り．実際動画像で見てもあまり違和感を感じない．ただ，よく見れば解像度が落ちていることに気が付く．HDコンテンツばかり目にするようになると目が慣れていって，似非HDコンテンツは見破られる可能性大だな．普段からQVGAとVGAは拡大表示してても違いがわかるし，704x396のHD画角でもVGAと解像感に違いを感じてる．

仮の結論としては，SDを合成したHD動画像は見られる（見るに堪える品質を有している），ということ．

いくつか問題があって，実は50fpsで再生できる環境がない．PCで再生したのだが20fpsしか出ていない気がする．これだと静止画を評価しているのと大差ないのかもしれない．HDの研究するなら再生環境の整備が必須だなぁと実感．ROI境界でなだらかに劣化させるのはやっていない．これは境界が特に目立たなかったから．実はまだY成分しか解像度を落としていないので，UV成分はそのまま．入力がYUV420なので，そもそも1/4に解像度が落ちている．まぁ，あまり気にしなくて良いかなぁ．