Ewenwan / MVision

MVision　Machine Vision 机器视觉 AI算法工程师手册 数学基础 统计学习 深度学习 自然语言处理 工具使用 AI 安全数据科学和算法 澳大利亚机器人视觉研究中心 NIPS Neural Information Processing Systems icml Proceedings of Machine Learning Research PMLR ICDM IEEE International Conference on Data Mining Computer Vision and Pattern Recognition arxiv.org 最新提交的论文 papercept 会议论文投递 easychair 会议论文投递 DBLP 计算机核心技术文献 技术刘 增强现实、图像识别、深度学习、机器人 漫谈 SLAM 技术（上） 漫谈 SLAM 技术（下） 优秀的博客论文笔记 CSCI 1430: Introduction to Computer Vision 计算机视觉课程 计算机视觉和算法 书籍 Computer vision:models, learning and inference 书籍 TLD：tracking-learning-detection 跟踪算法 机器人选修课 Andrew Davison的课程： Robotics Lecture Course (course code 333) Simultaneous Localization and Mapping: Part I Simultaneous Localization and Mapping: Part II 瑞士苏黎世理工的学生练习 书籍 Robotics, Vision & Control 推荐！！！！ Robotics, Vision & Control.PDF 百度网盘 Robotics, Vision and Control csdn 优达学城 机器人人工智能课程 学习无人驾驶车，你所必须知道的 强化学习从入门到放弃的资料 台大 机器学习深度学习课程 斯坦福CS231计算机视觉2017 深度学习程序示例 cs231n等 2018 MIT 6.S094 麻省理工深度学习和自动驾驶课程 中文 MIT 深度学习和自动驾驶课程 英文 DeepTraffic SegFuse: Dynamic Driving Scene Segmentation DeepTesla - End-to-End Steering Model 中文slam首页 ORB-LSD-SVO比较-刘浩敏_bilibili LSD算法代码解析 SVO算法代码解析 DSO 半闲居士 解析 路径规划A*算法及SLAM自主地图创建导航算法 冯兵的blog slam imu和单目的数据融合开源代码（EKF) imu和单目的数据融合开源代码(非线性优化） 双目立体匹配 计算机视觉的一些库文件 人脸检测总结 行为识别总结 Free-SpaceEstimation 无障碍物空间估计 稠密地图 栅格地图 动态规划 高度分割 路面信息提取 2D Object Detection 2d目标检测 RCNN 3D Object Detection 3D目标检测 动机 Semantic Segmentation 语义分割 Instance-level Segmentation 实例分割 [Tracking 跟踪 ]() Kalibr calibration toolbox 标定多目相机系统、相机 IMU 相 对 位 姿 和 卷 帘 快 门 相 机 霍夫森林(Hough Forest) 随机森林和霍夫投票在计算机视觉中的应用，可以用在物体检测，跟踪和动作识别 百度自动驾驶开源框架 apollo 交通标志检测识别 数据集 Halcon 使用参考 有代码的论文 图像处理基本算法代码 感谢支持 无人驾驶的各个方面知识 参考 • 感知（Perception）： 主要涉及的技术点包括场景理解、交通状况分析、路面检测、空间检测、 障碍物检测、行人检测、路沿检测、车道检测。还有一个比较新颖有趣的是通过胎压去检测道路质量。 在无人驾驶行业，有一套通用的数据集——KITTI数据集，里面有不同的数据，包括双目视觉的数据、定位导航的数据等。 物体检测（Object Detection）： 传统方法主要是针对固定物体的检测。一般的方法是HOG（ 方向梯度直方图），然后再加一个SVM的分类器。 而对于动态物体的检测，主要使用的是DPM模型的方法，先把手和脚识别出来，再进行组合。 深度学习方法 RCNN YOLO 场景分割（Segmentation）  ： 人行道是一个场景，道路是一个场景，在场景中对不同的物体进行分类，是一个很重要的问题。 传统的方法是采用CRF（ 条件随机场），基本原理在于图像都是由像素点组成的， 若两个像素点都比较像车，那就把二者连接起来，形成对车辆的识别。 运用深度学习的方法则使用的是另一种模型，被称为PSPnet（语义分割）。 这是金字塔型的场景分解模型，将一个场景不断地压缩，把类似的物体聚类，然后再做判断。 双目 光流（Optical Flow）场景流（Scene Flow）： 光流是针对2D图像来说的，如果说一个图片流到另外一个图片，都是2D的物体移动，那就用光流来做。 如果是3D的物体流动，那我们就用场景流（Scene Flow），场景流在传统的方法就是使用的是SGBM， 利用的是双目成像的技术，把左图和右图合起来提取出空间的点，用光流在上面做，就能把场景的流动分析出来。 光流也可以利用深度学习的模型来做，把左右两图用同样的模型来提取特征，经过计算就能得出一个深度的信息。 但是这个方式的计算量非常大。 物体追踪（Object Tracking）：     这也是无人驾驶中一个比较重要的技术。如何预测行人下一个动作、怎么去跟踪这个行人，也有一系列问题。 里面用到的是马尔可夫链的解决方案，这个技术叫做MDP，跟踪一个人，随时跟踪其下一个动作，预测其下一个动作。 以上其实都是一些传统的感知方法，而这些年随着深度学习的不断进步，应用也非常广泛。 • 运动规划（Motion Planning）： 主要涉及的技术点包括运动规划、轨迹规划、速度规划、运动模型。 比较有趣的一些进展包括通过赛车游戏去学习基于网格的运动规划，重量级货车的避障规划，普世的适用于无人驾驶的双轮模型等等。 • 防碰撞（CollisionAvoidance）： 主要涉及如何通过车内的感知系统以及V2X 系统去辅助防碰撞。 比较有趣的一些进展包括如何实时地去评估当前驾驶行为的危险性，如何通过当前道路的拓扑去增强自行车骑士的安全性等等。 • 地图与定位（Mapping andLocalization）： 主要涉及如何通过不同的传感器，包括激光雷达、视觉、GNSS，以及 V2X 去建图与定位。 比较有趣的一些进展包括如何在一些特殊的场景去定位，比如在长隧道里面，既没有 GNSS 信号，也没有太好的激光或者视觉特征的时候如何定位。 • 合作系统（CooperativeSystems）： 主要涉及如何协同多个无人车去完成一些任务，比如在多个无人车同时在一个十字路口出现时如何调度， 还有就是当有多个无人车同时在停车场试如何有序的停车。 • 控制策略（Control Strategy）： 主要研究在不同的细分场景下的控制策略，比如在十字路口如何控制，转线如何控制，在感知数据不可靠时如何尽量安全的控制等等。 • 车辆检测与跟踪（VehicleDetection and Tracking）： 主要关注如何通过激光雷达、视觉，以及毫米波雷达进行车辆检测与跟踪。 比较有趣的工作包括通过深度学习与深度视觉的结合进行车辆跟踪， 通过单目视觉深度学习去尽量估计车体大小，通过传统视觉边缘检测方法去判断是否车体等等。 • 静态物体检测（Static ObjectDetection）： 主要涉及通过视觉以及激光雷达去检测一些静态的物体， 包括交通灯、交通指示牌、路沿、路面等等，每个物体品类的检测都是一个细分方向。 • 动态物体检测（Moving ObjectDetection）： 主要涉及通过视觉、激光雷达、毫米波雷达，以及传感器融合的方法去检测一些动态的物体， 包括行人、车辆、自行车骑士等等，并根据这些动态物体的动作去预测行为。 • 道路与路口检测（Road andIntersection Detection）： 道路与路口检测由于其特殊性以及对安全的影响，被单独列出作为一个细分的小方向。 研究的前沿一般涉及一些细分场景，比如建筑工地的检测、停车位的检测等等。 • 决策系统（Planning andDecision）： 主要涉及每个无人车的动作的决策，比如加速、刹车、换线、超车、调头等等。 研究的前沿一般涉及在高速行驶中如何安全的换线，在通过视觉理解了场景后如何决策，在感知信息缺失的时候（比如在隧道里面）如何决策等等。 • 主动与被动安全（Active andPassive Safety）： 主要涉及如何通过不同传感器的感知去确保无人驾驶以及行人安全， 比较有趣的一些研究包括通过对 CAN 总线的异常检测去评估车辆的安全性，通过对停车场的视频监控去训练自动泊车模型等等。 • 无人车与交通的交互（AutonomousVehicles: Interaction with Traffic）： 主要研究无人车如何与现有的交通生态共存，特别是传统车与无人车的共存。 比较有趣的一些研究包括 V2X 虚拟交通标志，通过视觉去评估旁边车道司机的驾驶行为等等。 • 视觉定位（SLAM and VisualOdometry）： 主要研究如何用视觉与激光雷达进行实时定位与建图。 比较有趣的一些研究包括视觉的线上校准，使用车道线进行实时定位与导航等等。 • 环境学习与建图（Mapping andLearning the Environment）： 主要研究如何建立精准的环境信息图。比较有趣的一些研究包括使用低空无人机去创建给无人驾驶使用的地图， 以及通过停车场监控摄像头建立辅助自动泊车的地图等等。 无人驾驶面试知识点 参考博客 公司 视觉领域的部分国内公司 初创公司： 图普科技---Face++---Linkface---Minieye---知图Cogtu---商汤科技Sensetime---亮风台Hiscene---掌赢科技---格灵深瞳DeepPG---凌感科技usens---图森TuSimple---中科视拓Seetatech(山世光)---第四范式 上市公司： 百度DL实验室---腾讯优图---阿里高德---暴风魔镜---搜狗---乐视tv---奇虎360---京东实验室---阿里巴巴---联想研究院---华为研究院 知名外企： 佳能信息---索尼研究院---富士通研发中心---微软研究院---英特尔研究院---三星研究院 0 计算摄影　摄影几何 计算摄影方面的部分课程讲义 相机内部图像处理流程 pdf 相机 = 光测量装置(Camera = light-measuring device) 照明光源(Illumination source)（辐射(radiance)） --> 场景元素(Scene Element) ---> 成像系统(Imaging System) ---> 内部图像平面(Internal Image Plane) ---> 输出（数字）图像(Output (digital) image) 图像 = 辐射能量测量(Image = radiant-energy measurement) 现代摄影流水线　Modern photography pipeline 场景辐射　--->　相机前端(镜头过滤器 镜头Lens 快门Shutter 孔径)　--->　 相机内部(ccd响应response（RAW） CCD插值Demosaicing （原）)　--->　 相机后端处理(直方图均衡Hist equalization、空间扭曲Spatial warping)--->　输出 透过棱镜的白光 　“White light” through a prism ------> 折射光(Refracted light)----> 光谱 Spectral 　 我们的眼睛有三个受体（锥细胞），它们对可见光作出反应并产生颜色感。 CSC320S: Introduction to Visual Computing 视觉计算导论 Facebook surround 360 《全景图拼接》 输入：17张raw图像，包括14张side images、2张top images、1张bottom image 输出：3D立体360度全景图像 博客笔记 深度摄影风格转换 Deep Photo Style Transfer 图像形变 Image warping 参考 色彩增强/转换　Color transfer 参考 图像修补 Image repair 参考 图像去噪 Image denoise 参考 图像去模糊 Image deblur 参考 图像滤波 Image filter 参考 超分辨率 Super-resolution 参考 1　三维重建 3D Modeling 参考 相机矫正　Camera calibration 参考 非刚体重建　Non-rigid modeling　 参考 三维重构 3D modeling 参考 视觉SLAM Self-augmented Convolutional Neural Networks 运动估计 motion estimation 面部变形　face morphing　 三维重建方面的视觉人物 2 匹配/跟踪 Matching & Tracking 参考 2.a 特征提取 Feature extraction 参考 2.b 特征匹配 Feature matching 参考 2.c 时空匹配 Spac…