سیستم مبتنی بر FPGA دو جریان ویدیویی را برای ارائه ویدئوی سه بعدی ترکیب می کند

مقدمه سیستم‌های ویدئویی که در حال حاضر در کاربردهای مصرف‌کننده همه‌جا وجود دارند، به طور فزاینده‌ای در حوزه‌های خودرو، رباتیک و صنعتی رایج هستند. این رشد در برنامه‌های غیرمصرف‌کننده اساساً ناشی از معرفی استاندارد HDMI و DSPها و FPGAهای سریعتر و کارآمدتر است. این مقاله الزامات دستیابی به دید استریوسکوپی (فیلم سه بعدی) با استفاده از دوربین های ویدئویی آنالوگ یا HDMI را بیان می کند. این سیستم یک سیستم مبتنی بر FPGA را توصیف می کند که دو جریان ویدیو را در یک جریان ویدیوی سه بعدی برای انتقال از طریق یک فرستنده HDMI 3 ترکیب می کند، و یک سیستم مبتنی بر DSP که پهنای باند DMA را در مقایسه با آنچه معمولاً برای دریافت داده از دو دوربین لازم است، ذخیره می کند. علاوه بر این، یک روش برای دستیابی به فرمت کنار هم برای استفاده با دوربین‌های سه بعدی یا سیستم‌هایی که نیاز به ویدیوی سه بعدی دارند را نشان می‌دهد. نمای کلی دید استریوسکوپی به دو دوربین فیلمبرداری نیاز دارد که با فاصله تقریباً 5.5 سانتی متری، فاصله معمولی بین چشمان فرد، همانطور که در شکل 1 نشان داده شده است. شکل 1. دو دوربین روی پایه که برای دید استریوسکوپی قرار گرفته اند. بلوک دیاگرام سطح بالا نشان داده شده در شکل 2 از دو دوربین فیلمبرداری همگام شده استفاده می کند که از استاندارد ویدئویی یکسان، دو رمزگشای ویدئو و یک FPGA استفاده می کنند. برای اطمینان از نرخ فریم دقیقاً یکسان، دوربین‌های فیلمبرداری باید به یک مرجع زمان‌بندی مشترک قفل شوند. بدون همگام سازی، ترکیب خروجی ها بدون استفاده از حافظه خارجی برای ذخیره فریم های ویدیویی کامل امکان پذیر نخواهد بود. شکل 2. بلوک دیاگرام سطح بالا شکل 3 دو جریان ویدیویی قفل شده با خط را نشان می دهد که در یک تصویر استریوسکوپی واحد ادغام شده اند. شکل 4 نشان می دهد که چگونه جریان های ویدئویی ناهمزمان را نمی توان بدون ذخیره کل فریم ویدئو در یک حافظه خارجی ادغام کرد. شکل 3. ادغام دو جریان ویدیویی همگام شده شکل 4. جریان های ویدئویی ناهمزمان را نمی توان بدون استفاده از حافظه خارجی ادغام کرد. سپس خروجی های دو دوربین فیلمبرداری هماهنگ شده توسط رمزگشاهای ویدئویی مانند ADV7181D، ADV7182 یا ADV7186 برای دوربین های ویدئویی آنالوگ دیجیتالی می شوند. یا توسط گیرنده های HDMI مانند ADV7610 یا ADV7611 با دوربین های فیلمبرداری دیجیتال. رمزگشاهای ویدئویی و گیرنده های HDMI از حلقه های قفل فاز داخلی (PLL) برای تولید داده های ساعت و پیکسل در گذرگاه های خروجی خود استفاده می کنند. این بدان معنی است که هنگام دیجیتالی کردن ویدیوی آنالوگ یا دریافت جریان HDMI، دو دامنه ساعت جداگانه برای دو دوربین ایجاد می شود. علاوه بر این، دو جریان ویدیویی ممکن است ناهمسو باشند. این تفاوت‌های زمان‌بندی و ناهماهنگی‌ها باید در یک دستگاه بک‌اند مانند FPGA جبران شود و داده‌ها را قبل از ترکیب دو تصویر ویدیویی در یک قاب ویدیوی استریوسکوپی به یک دامنه ساعت مشترک بیاورد. سپس جریان ویدیوی هماهنگ شده از طریق یک فرستنده HDMI با قابلیت HDMI 1.4 3D مانند ADV7511 یا ADV7513 ارسال می شود - یا می توان آن را برای پردازش بیشتر به یک DSP مانند پردازنده ADSP-BF609 Blackfin® ارائه کرد. معماری ساعت رسیورهای ویدئویی بسته به قفل یا باز بودن دو منبع کلاکینگ مجزا دارند. هنگامی که PLL ویدیویی روی سیگنال همگام‌سازی ورودی قفل می‌شود - همگام‌سازی افقی برای رمزگشاهای ویدیو یا ساعت TMDS برای HDMI - ساعتی تولید می‌کند که به منبع ویدیوی ورودی قفل می‌شود. وقتی قفل ویدیو از بین می‌رود، یا PLL در حالت اجرای آزاد اجباری است، PLL ویدیو به سیگنال همگام‌سازی ورودی قفل نمی‌شود و یک خروجی ساعت تولید می‌کند که به ساعت بلوری قفل می‌شود. علاوه بر این، ساعت ممکن است پس از تنظیم مجدد، خروجی نداشته باشد، زیرا درایور ساعت LLC پس از تنظیم مجدد روی حالت امپدانس بالا تنظیم شده است. بنابراین، اگر سیستم دارای دو یا چند مسیر ویدئویی از رمزگشای ویدئو یا گیرنده HDMI باشد، دارای دو حوزه ساعت متفاوت با فرکانس‌ها و فازهای متفاوت خواهد بود، حتی زمانی که یک ساعت کریستالی یکسان در اختیار دو رسیور ویدئویی یا گیرنده HDMI قرار می‌گیرد. دستگاه ساعت خود را بر اساس PLL خود تولید می کند. سیستم همزمان با رسیورهای ویدئویی قفل شده با ویدئوهای استریوسکوپی معمولی با استفاده از دو منبع، هر یک از رمزگشاهای ویدئویی به سیگنال ویدئویی ورودی قفل می‌شوند و ساعت خود را بر اساس همگام‌سازی افقی ورودی یا ساعت TMDS تولید می‌کنند. هنگامی که دو دوربین همگام می شوند - یا به یک مرجع زمان بندی یکسان قفل می شوند - خطوط فریم همیشه تراز خواهند بود. از آنجایی که دو رمزگشای ویدیویی مجزا همگام افقی یکسانی را دریافت می کنند، ساعت های پیکسل فرکانس ساعت پیکسل یکسانی خواهند داشت. همانطور که در شکل 5 نشان داده شده است، این امکان را برای آوردن دو مسیر داده به یک دامنه ساعت مشترک فراهم می کند. شکل 5. دو دوربین فیلمبرداری با یک مرجع مشترک هماهنگ شده اند. هر دو رمزگشای ویدئو سیگنال همگام سازی یکسانی را دریافت می کنند، بنابراین آنها نیز قفل هستند. هر دو رمزگشای ویدئو سیگنال همگام سازی یکسانی را دریافت می کنند، بنابراین آنها نیز قفل هستند. سیستم ویدئویی ناهمزمان متاسفانه، همانطور که در شکل 6 نشان داده شده است، ممکن است یکی از رمزگشاها به دلیل سیگنال منبع ویدئویی با کیفیت پایین قفل را از دست بدهد. یا دوربین ها ممکن است به دلیل شکسته شدن پیوند ویدیویی، هماهنگی را از دست بدهند، همانطور که در شکل 7 نشان داده شده است. این منجر به فرکانس‌های مختلف در دو مسیر داده می‌شود، که سپس منجر به عدم تقارن در مقدار داده‌های کلاک شده در انتهای پشتی می‌شود. شکل 6. دوربین های لاین قفل با رسیورهای ویدیویی آنلاک. شکل 7. دوربین های قفل شده با رسیور ویدیوی قفل شده. با استفاده از یک وقفه (SD_UNLOCK برای رمزگشاهای ویدیوی SD، CP_UNLOCK برای رمزگشاهای ویدیوی کامپوننت، یا ثبت‌های TMDSPLL_LCK در گیرنده‌های HDMI) که پس از تأخیر ایجاد می‌شود، می‌توان قفل ویدیوی گم شده را شناسایی کرد. رسیورهای ویدیویی مکانیسم هایی را برای صاف کردن همگام سازی افقی ناپایدار یکپارچه می کنند، بنابراین تشخیص قفل ویدیوی گم شده می تواند تا چند خط طول بکشد. این تاخیر را می توان با کنترل قفل گم شده در FPGA کاهش داد. حالت سه حالته ساعت هنگام طراحی منابع کلاکینگ FPGA، مهم است که بدانید به طور پیش فرض، بسیاری از رسیورهای ویدئویی و محصولات HDMI، ساعت و خطوط داده را پس از تنظیم مجدد در حالت سه حالته قرار می دهند. بنابراین، ساعت پیکسل LLC برای تنظیم مجدد همزمان مناسب نخواهد بود. ناهماهنگی داده ها در دو جریان ویدیویی برای ساده سازی سیستم و کاهش حافظه مورد نیاز برای ترکیب دو تصویر، داده هایی که به FPGA می رسند باید به گونه ای هماهنگ شوند که پیکسل N ام خط Mth از دوربین اول با پیکسل N ام Mth دریافت شود. خط از دوربین دوم دستیابی به این امر در ورودی FPGA ممکن است دشوار باشد زیرا دو مسیر ویدیو ممکن است تاخیرهای متفاوتی داشته باشند: دوربین‌های قفل شده می‌توانند خطوط ناهمتراز را خروجی دهند، طول‌های مختلف اتصال می‌توانند به ناهماهنگی کمک کنند، و رمزگشاهای ویدئویی می‌توانند تاخیرهای راه‌اندازی متغیری را معرفی کنند. به دلیل این تأخیرها، انتظار می‌رود که سیستمی با دوربین‌های قفل شده دارای تعدادی پیکسل ناهمترازی باشد. تنظیم نادرست دوربین با قفل خط حتی دوربین های دارای قفل خط نیز می توانند خطوط ویدئویی نامناسب را تولید کنند. شکل 8 سیگنال های همگام سازی عمودی از خروجی CVBS دو دوربین را نشان می دهد. یک دوربین، اصلی همگام‌سازی، سیگنال قفل کردن خط را به دوربین دوم، برد همگام‌سازی، ارائه می‌کند. ناهماهنگی 380 ns به وضوح قابل مشاهده است. شکل 9 داده های ارسال شده توسط رسیورهای ویدئویی در خروجی های این دوربین ها را نشان می دهد. یک جابجایی 11 پیکسلی دیده می شود. شکل 8. عدم تراز ویدیویی 380 ثانیه بین دوربین های فیلمبرداری قفل شده در خط. شکل 9. عدم تراز ویدیوی 11 پیکسلی جبران نشده در حوزه دیجیتال. طول های مختلف اتصال همه اتصالات الکتریکی یک تاخیر انتشار ایجاد می کنند، بنابراین مطمئن شوید که هر دو مسیر ویدیو دارای طول مسیر و کابل یکسان هستند. تأخیرهای رسیور/رسیور HDMI همه رسیورهای ویدیویی تأخیر را معرفی می کنند که بسته به ویژگی های فعال می تواند متفاوت باشد. علاوه بر این، برخی از قسمت‌های ویدئویی حاوی عناصری مانند یک FIFO با رنگ عمیق هستند که می‌توانند تاخیر راه‌اندازی تصادفی را اضافه کنند. یک سیستم استریوسکوپی معمولی با استفاده از رمزگشاهای ویدئویی ممکن است تاخیر راه اندازی تصادفی حدود 5 ساعت پیکسل داشته باشد. یک سیستم حاوی فرستنده و گیرنده HDMI، همانطور که در شکل 10 نشان داده شده است، ممکن است تاخیر راه اندازی تصادفی حدود 40 ساعت پیکسل داشته باشد. شکل 10. خط لوله تنظیم اندازه گیری را به تاخیر می اندازد. جبران ناهماهنگی شکل 11 سیستمی را نشان می دهد که در آن یک سیگنال آنالوگ از هر دوربین توسط یک رمزگشای ویدئو دیجیتالی می شود. داده ها و ساعت برای هر مسیر ویدیویی مجزا هستند. هر دو مسیر ویدیویی به FIFO متصل هستند، که داده‌های ورودی را برای جبران ناهماهنگی داده‌ها بافر می‌کنند. هنگامی که داده ها را کلاک می کنند، FIFO ها از یک ساعت مشترک یکی از رمزگشاها استفاده می کنند. در یک سیستم قفل شده، دو مسیر داده باید دقیقاً فرکانس ساعت یکسانی داشته باشند، تا زمانی که دوربین‌ها قفل هستند و رمزگشاهای ویدیو قفل هستند، هیچ FIFO سرریز یا زیر جریان ندارد. با فعال یا غیرفعال کردن خروجی‌های FIFO، بلوک کنترل سطوح FIFO را حفظ می‌کند تا ناهماهنگی پیکسل‌ها را به حداقل برساند. اگر جبران به درستی انجام شود، خروجی بلوک FPGA باید دو مسیر داده باشد که با اولین پیکسل تراز شده باشند. سپس این داده ها برای تولید فرمت سه بعدی به یک FPGA پشتیبان عرضه می شود. شکل 11. استفاده از FIFO های دیجیتال برای تراز مجدد تصاویر ویدئویی. اندازه‌گیری ناهماهنگی ناهماهنگی بین دو جریان داده دیجیتالی را می‌توان در خروجی FIFOهای ویدیویی با استفاده از یک شمارنده ساعتی که روی پالس همگام‌سازی عمودی (VS) یکی از سیگنال‌های ورودی تنظیم مجدد می‌شود، اندازه‌گیری کرد. شکل 12 دو جریان ویدیویی (vs_a_in و vs_b_in) را نشان می‌دهد که 4 پیکسل در هم تراز نیستند. شمارنده ها عدم تراز را با استفاده از روش نشان داده شده در فهرست 1 اندازه گیری می کنند. شمارش در لبه افزایشی VS1 شروع می شود و در لبه افزایشی VS2 متوقف می شود. اگر طول کل پیکسل یک فریم مشخص باشد، انحراف منفی (VS2 قبل از VS1) را می توان با کم کردن مقدار شمارش از طول فریم محاسبه کرد. این مقدار منفی باید زمانی محاسبه شود که انحراف از نصف طول فریم پیکسل بیشتر شود. از نتیجه باید برای تراز مجدد داده های ذخیره شده در FIFO استفاده شود. شکل 12. اندازه گیری ناهماهنگی لیست 1. اندازه گیری ناهماهنگی ساده (Verilog®). ماژول misalign_measurement( تنظیم مجدد سیم ورودی، سیم ورودی clk_in، سیم ورودی vs_a_in، سیم ورودی vs_b_in، خروجی reg [15:0] عدم تراز، تنظیم خروجی آماده است). reg [15:0] cnt; reg cnt_en، cnt_reset; reg vs_a_in_r، vs_b_in_r; اختصاص vs_a_rising = vs_a_in > vs_a_in_r; اختصاص vs_b_rising = vs_b_in > vs_b_in_r; همیشه @(posedge clk_in) شروع vs_a_in_r <= vs_a_in; vs_b_in_r <= vs_b_in; end always @(posedge clk_in) if (reset) begin { ready, cnt_en } <= 2'b00; ناهماهنگی <= 0; end other begin if ((vs_a_in == 1'b0) && (vs_b_in == 1'b0)) { آماده، cnt_reset } <= 2'b01; else cnt_reset <= 1'b0; /* شروع */ اگر (vs_a_rising && vs_b_rising) شروع به عدم تراز کردن <= 0; { آماده، cnt_en } <= 2'b10; end else if ((vs_a_rising > vs_b_in) || (vs_b_rising > vs_a_in)) { ready, cnt_en } <= 2'b01; /* پایان */ if ((cnt_en == 1'b1) && (vs_a_rising || vs_b_rising)) begin { ready, cnt_en } <= 2'b10; ناهماهنگی <= vs_a_rising ? (-(cnt + 1)) : (cnt + 1); پایان همیشه @(posge clk_in) /* شمارنده */ اگر ((cnt_reset) || (بازنشانی)) cnt <= 0; else if (cnt_en) cnt <= cnt + 1; endmodule تولید ویدیوی سه بعدی از دو جریان ویدیوی هم تراز شده هنگامی که داده های پیکسل، خط و فریم واقعاً همزمان شوند، یک FPGA می تواند داده های ویدیو را به یک جریان ویدیوی سه بعدی تبدیل کند، همانطور که در شکل 3 نشان داده شده است. شکل 13. معماری ساده که به فرمت های سه بعدی می رسد. داده های دریافتی توسط یک ساعت معمولی در حافظه خوانده می شود. تحلیلگر زمان سنج سیگنال های همگام سازی دریافتی را بررسی می کند و زمان بندی ویدیو را استخراج می کند، از جمله طول ایوان افقی جلو و عقب، ایوان های عمودی جلو و عقب، طول همگام سازی افقی و عمودی، طول خط فعال افقی، تعداد خطوط فعال عمودی، و پلاریزاسیون همگام سازی سیگنال ها ارسال این اطلاعات به بازسازی کننده زمان همگام سازی همراه با مکان پیکسل افقی و عمودی فعلی به آن امکان می دهد زمان بندی را ایجاد کند که برای سازگاری با ساختار ویدیوی 3 بعدی مورد نظر اصلاح شده است. زمان‌بندی جدید ایجاد شده باید به تعویق بیفتد تا اطمینان حاصل شود که FIFO ها حاوی مقدار مورد نیاز داده هستند. ویدیوی سه بعدی ساید بای ساید کمترین نیاز معماری از نظر حافظه، فرمت ساید بای ساید است که فقط به یک بافر 3 خطی (FIFOs) برای ذخیره محتوای خطوطی که از هر دو منبع ویدیویی می آیند نیاز دارد. فرمت ساید بای ساید باید دو برابر پهنای قالب ورودی اصلی باشد. برای دستیابی به آن، باید از یک ساعت مضاعف برای زمان بندی همگام سازی بازسازی شده با طول خط افقی دو برابر شده استفاده شود. ساعت مضاعف که برای کلاک کردن قسمت پشتی استفاده می شود، FIFO اول و سپس FIFO دوم را با سرعت دو برابر خالی می کند و به آن اجازه می دهد تصاویر را در کنار هم قرار دهد، همانطور که در شکل 14 نشان داده شده است. تصویر کنار هم در شکل 15 نشان داده شده است. شکل 14. دوختن دو تصویر در کنار هم با استفاده از بافرهای خط FPGA ساده. شکل 15. تصویر ساید بای ساید 576p با زمان‌بندی ویدیو نتیجه‌گیری دستگاه‌های آنالوگ رسیورها و محصولات HDMI همراه با پس‌پردازش ساده می‌توانند ویدیوهای سه بعدی استریوسکوپی واقعی را ایجاد و ارسال کنند. همانطور که نشان داده شده است، امکان دستیابی به ویدئوهای سه بعدی با بلوک های دیجیتال ساده و بدون حافظه گران قیمت وجود دارد.

ترک یک پیام 

فهرست پیام