Ночь — это когда камеры борются, но метод зондирования, называемый HADAR (thermal-assisted detection and ranging), позволяет машинам видеть детали в темноте.
В тестах он восстанавливал текстуру, расстояние и материальные свойства ночью с точностью, сопоставимой со стереокамерами при дневном свете. Такое ночное зрение может изменить то, как автоматизированные автомобили, дроны и сервисные роботы движутся по миру.
Исследователи из Университета Пердью и Мичиганского государственного университета разработали HADAR для сценариев, где автономные системы всё чаще работают без участия человека, подобно тому, как роботы с 3D-картами заменяют людей в опасных зонах.
Работу возглавлял Зубин Джейкоб, профессор электротехники и вычислительной техники Университета Пердью. Его команда изучает, как тепловое излучение можно использовать для машинного восприятия там, где человеческое зрение и обычные камеры дают сбой.
Большинство автономных платформ комбинируют камеры, радары и LiDAR. Эти активные датчики хорошо работают днём, но в ночных условиях, тумане или плотном трафике их сигналы могут мешать друг другу и требуют строгих ограничений по безопасности.
Пассивные тепловые камеры не излучают сигнал, но долгое время страдали от низкой детализации. Похожие ограничения изучаются и в других технологиях, где важно управлять теплом и излучением, включая решения в области прозрачной тепловой изоляции.
Классические тепловые изображения теряют текстуру из-за физического рассеяния теплового излучения. HADAR решает эту проблему, анализируя сразу несколько длин волн инфракрасного спектра и обрабатывая данные с учётом физических моделей.
Система восстанавливает три ключевых параметра — температуру, излучательную способность и текстуру поверхности. Вместе они формируют более информативное представление сцены, чем простая тепловая яркость.
В полевых испытаниях HADAR различал кору деревьев, рябь воды, бетон и грунт, где обычные тепловые камеры показывали размытые пятна. На основе этих данных алгоритмы вычисляли расстояние и строили трёхмерную карту.
Важно, что система остаётся полностью пассивной: она не подсвечивает сцену и не создаёт помех другим машинам, что критично для масштабного внедрения автономного транспорта.
Надёжное ночное восприятие снижает риск аварий, когда транспорт выходит за пределы привычных маршрутов или сталкивается с неожиданными объектами. HADAR может дополнить существующие сенсоры, закрывая их слабые места.
Помимо транспорта, технология перспективна для сельского хозяйства, поисково-спасательных операций и медицины, где важно обнаруживать тепловые и материальные различия без прямого освещения.
Пока HADAR остаётся прототипом: система медленно обрабатывает данные и требует громоздкой оптики. Инженерам предстоит увеличить частоту кадров и уменьшить вычислительную нагрузку, чтобы технология могла работать в реальном времени.
Тем не менее, результаты показывают, что ночь содержит не меньше информации, чем день, если уметь её правильно считывать.
HADAR отличается от LiDAR тем, что не излучает сигнал и не создаёт помех в насыщенной среде. В отличие от обычных тепловых камер, он восстанавливает текстуру и глубину сцены, а не только температурный контраст.
LiDAR остаётся точным для геометрии днём, но уязвим к дождю и туману. Тепловые камеры устойчивы к темноте, но бедны на детали. HADAR объединяет сильные стороны пассивного зондирования и пространственного анализа.
Технология обещает новые возможности, но пока остаётся экспериментальной.
Ночные испытания автономного транспорта на закрытых трассах.
Дроны для мониторинга инфраструктуры без освещения.
Роботы для работы в дыму, тумане и пыли.
Сельское хозяйство и экология для ночного наблюдения.
Он восстанавливает не только тепло, но и текстуру с расстоянием, формируя 3D-карту сцены.
Да, но наибольшую пользу технология даёт именно в условиях плохой освещённости.
Это зависит от ускорения обработки данных и миниатюризации сенсоров; пока речь идёт о прототипах.