1. 项目概述当激光雷达“看见”墙后在机器人、自动驾驶和增强现实的领域里让机器理解它“看不见”的空间一直是个核心挑战。我们称之为“非视距”Non-Line-of-Sight, NLOS感知。传统的解决方案往往依赖于昂贵的专用设备比如飞秒激光器或复杂的计算成像系统它们能捕捉光子级别的微弱信号但成本高昂、部署复杂离大规模应用还很远。最近一个名为DENALI的数据集进入了我的视野。它的核心命题非常吸引人利用低成本、消费级的固态激光雷达LiDAR来实现对非视距空间的推理。这听起来有点像让普通的家用摄像头去拍X光片但仔细研究后我发现其思路极其巧妙且务实。它没有去挑战物理极限试图从单次反射的噪声中提取信息而是另辟蹊径利用了机器人或移动设备最自然的运动方式——运动中的多视角观测。简单来说DENALI的思路是当一个搭载了低成本LiDAR的设备比如扫地机器人、无人机在走廊里移动时激光束会通过门、窗等开口扫描到隔壁房间的局部。随着设备移动这个“窥视”的视角在不断变化。DENALI数据集系统性地采集并标注了这种动态、多视角下的“间接观测”数据目标是训练模型像人一样根据在门口“瞥见”的零散角落在脑海中构建出隔壁房间的完整布局。这解决了几个关键痛点成本用消费级硬件、实用性兼容移动平台、以及数据稀缺性提供了高质量、多模态的标注数据集。它不是为了取代高端NLOS成像而是为机器人导航、AR场景理解、智能家居布局重建等应用提供了一种经济可行的“空间推理”新范式。如果你正在研究具身智能、场景理解或者苦恼于如何让机器在复杂室内环境中更好地规划路径DENALI及其背后的思路值得你花时间深入了解。2. 核心思路拆解低成本LiDAR如何“透视”要理解DENALI的巧妙之处我们得先放下对“非视距成像”的固有印象。它不做“隔墙观物”的魔法而是做“管中窥豹可见一斑”的拼图游戏。其核心设计哲学可以概括为利用运动带来的视角变化将多个不完整的、间接的观测融合成一个完整的空间理解。2.1 从“直接观测”到“间接推理”的范式转变传统LiDAR SLAM即时定位与地图构建处理的是视距内的直接观测。激光打到面前的墙上返回一个点这个点明确地代表了那面墙的位置。而在DENALI关注的场景中LiDAR本身并未直接扫描到目标区域如隔壁房间。它扫描到的是中介表面比如走廊的墙壁但激光束通过门洞后击中了隔壁房间的物体并返回了信号。这里的关键在于返回信号的那个3D点其坐标是相对于LiDAR传感器本身的。当我们知道传感器的精确位姿通过SLAM或其它里程计获得并且知道激光束穿过门洞这个“约束”时我们就可以将这个点“投射”到门洞之外的空间中去。单个这样的点毫无意义只是一团噪声。但当传感器运动从成百上千个不同位姿发射的激光束都穿过同一个门洞去探测隔壁房间时这些稀疏的、来自不同角度的点就开始在门后的空间里交织、汇聚。这个过程本质上是一个基于几何约束的多视角三角测量问题。就像我们的双眼通过视差判断距离一样移动的LiDAR通过运动视差为门后的同一个物体表面贡献了多个观测点。DENALI数据集提供的正是这种带有精确位姿标签的、包含大量此类间接观测的点云序列。2.2 数据模态的精心设计不止于点云一个数据集的价值很大程度上取决于其标注的丰富度和准确性。DENALI在这方面考虑得很周全它提供了多层次的真值Ground Truth以支持不同粒度的研究任务完整场景的3D Mesh模型这是最顶层的真值。数据集提供了整个实验场景包含视距与非视距区域的高精度3D网格模型。这用于评估最终重建或推理结果的整体精度。非视距区域的3D边界框与语义标签对于隔壁房间不仅提供了其整体空间的3D包围盒还对里面的主要物体如桌子、椅子、柜子进行了实例级的3D框标注和语义分类。这直接支持“房间布局估计”和“物体级推理”任务。精确的传感器轨迹与标定参数每一帧点云都配有通过高精度运动捕捉系统获得的6自由度位姿位置和姿态。同时提供了LiDAR的内参如光束发散角、噪声模型和外参相对于机器人基座的安装矩阵。这是将稀疏点云正确投影到世界坐标系的基础。中介表面门/窗的标注明确标注了作为观测通道的门、窗等开口的3D位置和几何范围。这为算法提供了关键的“视线约束”告诉模型哪些点可能是有效的间接观测。这种多模态真值的设计使得DENALI不仅能用于端到端的“黑箱”推理模型训练更能服务于基于几何、基于优化的白盒方法研发极大地扩展了其研究边界。2.3 硬件选型的务实考量为何是低成本固态LiDAR选择低成本固态LiDAR如Livox Horizon系列而非机械旋转式或高线数雷达是项目贴近实用化的关键一步。原因有三运动模糊容忍度高固态LiDAR通常采用非重复扫描模式如花瓣式、螺旋式。在机器人运动时其扫描图案在不断变化这使得即使单帧点云非常稀疏但在连续帧积分后能快速覆盖一个区域对运动模糊不敏感。这对于在移动中捕捉转瞬即逝的“门缝视角”至关重要。成本与集成度消费级固态LiDAR的价格通常是高端机械雷达的十分之一甚至更低且体积小、功耗低易于集成到各类移动平台如无人机、小型机器人上使研究更具可复现性和应用前景。真实的噪声特性低成本传感器固有的噪声如测距误差、点云稀疏性、运动畸变本身就是问题的一部分。在此数据上验证的算法才更有可能迁移到真实产品中。DENALI选择拥抱这种噪声而不是在“纯净实验室数据”上做文章。注意这里说的“低成本”是相对于科研级设备而言其性能依然远强于深度摄像头如RealSense尤其在测量范围、抗光照干扰和几何精度上。它是在“可用性”和“成本”间的一个优秀平衡点。3. 数据集构建与标注实战理解了核心思路后我们来看看如果要构建一个类似DENALI的数据集或者深度使用它需要关注哪些实操细节。这部分内容是基于常见三维视觉数据构建流程的合理推演和补充。3.1 数据采集系统的搭建一个可靠的数据采集系统是基础。核心组件包括移动机器人平台需要一个能平稳、精确控制运动的底盘。差分轮式机器人是常见选择因为它可以在室内进行灵活的平移和旋转。平台上需要牢固安装所有传感器。核心传感器 - 固态LiDAR如Livox Avia或Horizon。需通过官方SDK获取原始数据包并同步记录时间戳。关键参数如扫描模式重复/非重复、视场角FOV、测距范围需在采集前根据场景设定好。高精度定位真值系统这是数据质量的“生命线”。DENALI使用了光学运动捕捉系统如Vicon。在无此条件时退而求其次的方案是高精度惯性导航单元IMU 轮式里程计融合通过卡尔曼滤波融合能在短时间内提供相对准确的位姿估计。激光SLAM作为真值参考在视距区域内运行一个离线优化版的激光SLAM如Google Cartographer, LIO-SAM其生成的地图和轨迹可以作为“伪真值”。但这会引入闭环误差并非最佳方案。同步与录制所有传感器数据必须基于硬件触发或软件时间戳进行严格同步。推荐使用ROS作为中间件其message_filters模块可以方便地进行近似时间同步。所有数据应录制为ROS Bag文件便于回放和处理。实操心得在搭建系统时传感器外参标定是第一步也是容易出错的一步。LiDAR相对于机器人基座或IMU的变换矩阵必须精确标定。推荐使用开源工具如lidar_align或Livox_automatic_calibration通过采集静止场景下机器人旋转的数据来求解外参。标定后务必通过可视化检查点云是否在运动时保持稳定来验证标定结果。3.2 场景设计与采集路径规划数据质量取决于场景和采集策略。DENALI的场景是精心设计的典型室内环境办公室、住宅房间连廊。场景设计需要包含明确的“中介表面”门最好是敞开的窗和有趣的“非视距区域”。非视距区域内应放置具有不同几何特征平面、曲面、棱角和语义信息家具、杂物的物体。光照条件应保持稳定避免强光直射LiDAR接收器。采集路径规划这是核心技巧。机器人不应直来直往。为了最大化从不同角度对非视距区域的“窥探”路径应设计为平行于门洞的往复运动在门前横向移动让激光束以不同水平角度扫入房间。弧形或曲线运动以门洞为圆心进行部分弧形运动改变观测的俯仰角。多高度采集如果机器人平台支持升降如无人机在不同高度进行采集能获得更丰富的垂直视角信息。变速运动包含匀速、加速、停顿以测试算法对不同运动状态下点云畸变的鲁棒性。采集时务必同时录制一段传感器静止时的高质量、高密度点云作为该场景的“黄金参考真值”用于后续的3D Mesh重建。3.3 三维真值生成与标注流程这是最耗时但决定数据集价值的关键步骤。高精度场景Mesh重建使用专业三维扫描仪如Faro Focus或消费级设备如iPhone Pro的LiDAR扫描Polycam App对完整场景进行扫描生成带纹理的Mesh。这是最准确的真值来源。替代方案如果只有多视角点云可以使用运动恢复结构SfM和多视角立体MVS流程。具体步骤用高清相机环绕场景拍摄大量照片导入到COLMAP中进行特征提取、匹配、稀疏重建、稠密重建最终生成点云或Mesh。虽然精度不及激光扫描但对于许多研究已足够。点云配准与坐标系对齐将采集到的动态LiDAR序列中的某些关键帧或积分后的点云与上一步得到的“黄金参考真值”点云/Mesh进行配准。这通常使用点云配准算法如ICP迭代最近点或其变种如G-ICP,NDT。配准后就得到了从LiDAR坐标系到全局世界坐标系的变换矩阵。结合已知的传感器轨迹即可将每一帧动态点云都转换到统一的世界坐标系下。语义与实例标注在统一的世界坐标系下进行人工或半自动标注。可以使用CloudCompare,LabelCloud或Supervisely等工具。标注对象中介表面在Mesh或点云上框选出每个门、窗的开口区域并赋予标签如doorway,window。非视距区域首先标注整个隔壁房间的3D空间范围一个大的立方体。然后对该房间内的物体进行实例分割和标注如chair_1,table,bookshelf。自动化辅助可以先在Mesh上训练一个3D实例分割模型如PointNet对场景进行预分割然后人工进行修正和分类能大幅提升效率。数据格式与组织最终数据集应包含sequences/: 按序列组织的原始LiDAR数据.bin或.pcd格式和对应的位姿文件.txt每行时间戳 tx ty tz qx qy qz qw。calib/: 传感器内参和外参文件。labels/: 标注文件可采用与KITTI类似的格式为每一帧或每个物体提供标注信息。mesh/: 场景的完整3D Mesh文件.ply或.obj。README.md: 详细的数据集说明文档。4. 基于DENALI的算法实现与核心环节有了高质量的数据集接下来就是如何利用它。这里我将拆解一个基于DENALI数据实现非视距空间推理的典型算法流程。这个流程融合了传统几何方法和深度学习思路具有很好的可解释性和可实现性。4.1 数据预处理与特征提取原始点云数据不能直接使用需要经过一系列预处理运动畸变校正由于LiDAR在旋转扫描过程中平台本身也在运动单帧点云内部存在畸变。对于固态LiDAR可以利用其已知的扫描模式每个点的精确发射时间戳和传感器的高频IMU数据通过插值的方式将一帧内所有点校正到同一时刻通常是帧的起始或结束时间。这是后续任何精确处理的基础。# 伪代码示意基于线性插值的运动畸变校正 def undistort_points(points, timestamps, pose_start, pose_end): points: 一帧内的所有点 (N, 3)在传感器坐标系下 timestamps: 每个点相对于帧起始的时间戳 (N,)范围[0, 1] pose_start, pose_end: 帧起始和结束时刻的位姿 (4x4 变换矩阵) undistorted_points [] for i, (point, t) in enumerate(zip(points, timestamps)): # 通过球面线性插值(SLERP)和线性插值计算时刻t的位姿 pose_t interpolate_pose(pose_start, pose_end, t) # 将点从传感器坐标系变换到世界坐标系 point_world apply_transform(point, pose_t) undistorted_points.append(point_world) return np.array(undistorted_points)点云滤波与降采样去除明显的离群点统计滤波和由于灰尘、玻璃等造成的噪声点。然后进行体素网格降采样在保持点云形状的同时减少数据量提高后续处理速度。中介表面区域提取这是一个关键步骤。我们需要自动或半自动地识别出点云中属于“门洞”的区域。可以利用先验信息如果已知门的大致位置或者训练一个简单的3D语义分割网络如PointNet在少量标注数据上学习识别“门”和“墙”的类别。提取出的门洞点云将作为后续非视距点筛选的“空间滤波器”。4.2 非视距点云分离与积累这是算法的核心。目标是从每一帧动态点云中分离出那些可能来自非视距区域的点。基于射线投射的可见性分析对于每一帧点云中的每一个点我们假设它是由从传感器中心发出的一条射线打到某个物体表面后返回形成的。我们利用该帧的传感器位姿将这条射线反向投射到已知的视距区域地图可以通过之前帧的SLAM实时构建或使用数据集提供的部分真值中。判断逻辑如果这条反向射线在到达该点之前就与已知的视距区域表面如走廊的墙相交那么这个点就是一个直接观测点它打在了我们面前的墙上。反之如果这条射线畅通无阻地穿过了中介表面门洞然后才到达这个点那么这个点就是一个候选的非视距点它可能打在了隔壁房间的物体上。结合中介表面约束仅靠射线分析可能产生误判比如打到远处视距内的物体。因此需要结合上一步提取的“中介表面”门洞的3D位置。一个更严格的判断是候选点与传感器中心的连线必须穿过门洞的3D几何范围。这可以通过计算线段与多边形门洞矩形的相交性来判断。通过这两层过滤我们就能从每一帧中提取出一小簇稀疏的、高置信度的非视距点。多帧点云积累与融合单帧的非视距点稀疏且噪声大。但随着机器人运动我们从成百上千帧中不断提取这样的点并将它们全部变换到统一的世界坐标系下。这些来自不同视角的点云会在非视距物体的真实表面附近聚集起来。使用体素网格滤波或聚类算法如DBSCAN对这些积累的点进行融合和去噪就能得到一个逐渐清晰的、关于非视距区域的稀疏点云表示。4.3 空间推理与重建获得稀疏的非视距点云后下一步是进行更高层次的推理。几何重建传统方法表面重建对于积累的稠密点云可以使用Poisson Surface Reconstruction或Ball Pivoting等算法生成一个连续的3D Mesh表面。但这通常需要点云足够稠密。形状补全对于非常稀疏的点云可以尝试将其与3D形状先验如ShapeNet中的家具模型进行匹配通过检索和配准用完整的CAD模型来补全观察到的部分。深度学习推理数据驱动方法DENALI数据集使得训练端到端的深度学习模型成为可能。一个典型的网络架构是输入多帧有序点云或从多帧积累的体素化表示、传感器位姿序列、以及中介表面的位置信息。编码器使用PointNet或VoxelNet对输入的点云/体素进行特征提取。融合模块使用Transformer或3D LSTM来融合时空序列特征理解随着运动非视距区域被逐步揭示的过程。解码器根据任务不同解码器可以输出占据栅格地图预测非视距区域每个体素是被占据、空闲还是未知。3D边界框直接预测隔壁房间内物体的类别、位置、大小和朝向。完整的3D点云生成非视距区域的稠密点云。这种数据驱动的方法能够学习复杂的空间关联和遮挡推理潜力巨大但依赖于像DENALI这样高质量、大规模的数据集。任务驱动的输出机器人导航推理出的非视距区域占据地图可以直接用于路径规划让机器人提前知晓门后是否有障碍物从而做出更优的决策如“门后空间狭窄应谨慎进入”。AR场景理解在增强现实中可以提前渲染出门后房间的虚拟轮廓或家具布局提升用户体验。智能家居扫地机器人可以推断出隔壁房间的布局和家具位置规划更高效的清扫路径。5. 实验、评估与避坑指南在实际操作中从数据到结果每一步都可能遇到坑。这里分享一些基于经验的注意事项和排查技巧。5.1 实验环境搭建与复现目标在DENALI数据集上复现或验证一个基线算法如上述的几何积累方法。步骤数据下载与解析从官方渠道下载数据集仔细阅读README理解其目录结构和数据格式。编写数据加载器能够正确读取点云、位姿和标注。可视化检查这是至关重要的一步。使用Open3D或PCL可视化工具加载几帧点云和对应的轨迹检查点云和位姿是否对齐。将积累的非视距点与真值Mesh叠加显示直观感受数据质量和任务难度。实现基线算法按照第4部分的流程逐步实现运动畸变校正、中介表面提取、射线投射过滤、点云积累等模块。每个模块完成后都进行单元测试和可视化验证。运行与调试在整个序列上运行算法。重点关注中间结果比如每一帧筛选出的非视距点是否合理积累过程中是否出现了明显的漂移或错误聚集。常见问题与排查问题现象可能原因排查与解决思路积累的点云完全散乱不成形1. 传感器位姿不准轨迹有漂移。2. 运动畸变校正未做或错误。3. 坐标系转换错误外参用错。1.检查轨迹可视化传感器轨迹看是否平滑、合理。与数据集提供的参考轨迹对比。2.检查单帧校正可视化运动畸变校正前后的点云特别是机器人高速旋转时采集的帧看“拖影”是否被消除。3.检查坐标系确认点云从传感器坐标系到世界坐标系的变换公式正确。画一个箭头表示传感器前进方向看是否与轨迹方向一致。非视距点筛选过多或过少1. 射线投射与中介表面判断的逻辑有bug。2. 中介表面门洞的几何范围定义不准确。1.可视化射线随机挑选一些被判定为非视距的点画出从传感器到该点的射线并与场景Mesh一起显示看射线是否确实穿过了门洞且未击中视距内物体。2.调整中介表面参数门洞的3D框可能需要在长宽高上略有膨胀以补偿传感器噪声和标定误差。将其作为一个可调参数进行优化。积累的点云有“鬼影”或重影多帧点云配准累积时由于位姿误差导致同一物体表面有多层点。1.使用更严格的体素滤波在积累时使用更小尺寸的体素网格进行下采样同一体素内的点只保留一个如取重心。2.考虑位姿不确定性在积累时可以为每个点赋予一个置信度例如基于该点所在激光束的入射角在滤波时加权考虑。5.2 评估指标的选择与计算如何量化算法的好坏对于非视距空间推理任务需要多维度评估几何精度评估点云配准误差将算法生成的稀疏非视距点云与真值Mesh采样得到的稠密点云进行配准使用ICP计算配准后的均方根误差RMSE。误差越小几何形状还原越准。Chamfer Distance直接计算预测点云与真值点云之间的倒角距离。它对点云的密度不敏感能更好地衡量整体形状的相似性。语义/实例级评估如果任务是预测物体边界框则使用标准的3D目标检测指标平均精度AP在不同IoU阈值下进行计算。对于房间布局估计可以计算预测的房间包围盒与真值包围盒的IoU交并比。任务驱动评估导航任务在模拟器中将算法推理出的占据地图用于路径规划与使用完整真值地图的规划结果对比计算路径长度、平滑度、成功率的差异。重建完整性计算算法能重建出的非视距区域表面面积占真值总面积的百分比。实操心得评估时一定要进行消融实验。例如对比“使用运动畸变校正”和“不使用”的结果差异对比“使用中介表面约束”和“仅使用射线投射”的精度变化。这能清晰地告诉你算法流程中每个模块的实际贡献有多大帮助你和读者理解问题的关键所在。5.3 从研究到应用的挑战与应对将DENALI展示的技术路径应用到真实产品中还会面临更多挑战动态环境DENALI场景是静态的。真实世界中非视距区域可能有走动的人或移动的物体。算法需要能区分静态结构和动态障碍或者具有对动态物体的鲁棒性。应对可以引入时序分析将稳定存在的点归类为静态结构短暂出现的点归类为动态物体。或使用更频繁的扫描来更新非视距区域地图。更复杂的遮挡现实中的开口可能不是规整的门洞可能是半开的门、窗帘、家具缝隙等。应对需要更精细的中介表面建模和分割算法或者让模型从数据中学习这种复杂的“可见性通道”。实时性要求机器人需要在线进行推理。应对几何积累方法计算量相对较小可以满足实时性。深度学习模型则需要精心设计轻量级网络并部署在嵌入式GPU上。传感器局限性低成本LiDAR在强光、反射表面镜子、玻璃或黑色物体上性能会下降。应对多传感器融合是必然方向。可以考虑结合单目或RGB-D摄像头的纹理和颜色信息来辅助理解和补全几何信息。当LiDAR在某个区域失效时视觉信息可以提供补充。DENALI数据集为我们打开了一扇窗让我们看到了用平民化硬件解决高级空间感知问题的可能性。它更像一个强大的工具和基准邀请社区共同探索这个充满趣味的交叉领域。从我个人的实验经验来看这条路虽然充满挑战但每一步的进展都让人兴奋。无论是精雕细琢几何方法的每一个细节还是设计一个巧妙的神经网络结构当你第一次看到算法从一堆杂乱的点中“猜”出门后那张桌子的轮廓时那种感觉就像教会了机器一种新的“视觉”。
