提交期末最终版文档

[XieTJ]

多模态 CARLA 导航避障系统

项目简介

本项目基于 CARLA 模拟器与神经网络技术，实现了具备多传感器融合能力的智能车辆导航避障系统。系统集成前视摄像头、第三视角摄像头与障碍物检测模块，通过多模态数据感知环境，结合神经网络与传统控制算法，实现车辆自主行驶与障碍物规避功能。

项目愿景

致力于打造一个开源、易用、可扩展的自动驾驶仿真平台，为自动驾驶算法研究和教学提供便捷的实验环境。

核心价值

• 教育价值：为自动驾驶初学者提供完整的学习和实验平台
• 研究价值：支持快速原型开发和算法验证
• 工程价值：提供工业级的代码结构和设计模式参考

---

🎯 核心功能

功能模块	描述	状态
多模态感知	集成 RGB 摄像头（前视 + 第三人称 + 鸟瞰图）	✅ 已完成
智能控制	基于路点跟踪的控制算法，支持自动驾驶	✅ 已完成
车辆品牌切换	支持10种品牌车型，一键切换	✅ 已完成
环境切换	多地图、多天气模式切换	✅ 已完成
可视化	实时显示摄像头画面和状态信息	✅ 已完成
截图功能	自动命名保存当前画面	✅ 已完成

---

📁 项目结构

car_navigation_system/
├── README.md          # 项目说明文档
├── main.py            # 主程序文件（包含完整功能实现）
├── screenshots/       # 截图保存目录
│   └── .gitkeep       # 保持目录结构
├── sync_main.bat      # Git同步脚本
└── check_blueprints.py # 车辆蓝图检测工具

文件职责说明

文件	职责	状态
main.py	核心逻辑实现，包含驾驶系统和控制算法	主开发
README.md	项目文档，包含使用说明和技术文档	维护中
sync_main.bat	Git分支同步工具，解决冲突问题	辅助工具
check_blueprints.py	车辆蓝图检测，验证可用车型	调试工具

---

🛠️ 环境配置

硬件要求

配置项	最低要求	推荐配置
CPU	Intel i5-8400	Intel i7-10700K
GPU	NVIDIA GTX 1060	NVIDIA RTX 3070
内存	8GB	16GB
存储	50GB 可用空间	100GB 可用空间

软件要求

依赖项	要求	说明
操作系统	Windows 10/11 或 Ubuntu 20.04/22.04	推荐 Windows 11
Python 版本	3.7+ (推荐 3.10)	兼容性最佳
CARLA 版本	3.11 或兼容版本	模拟器核心
PyTorch	1.10+	神经网络支持
OpenCV	4.5+	图像处理
NumPy	1.21+	数值计算
Matplotlib	3.4+	可视化

---

📦 依赖安装

步骤 1：安装基础依赖

pip install carla numpy opencv-python matplotlib torch

步骤 2：安装 CARLA Python API

# 安装与CARLA版本匹配的API
pip install carla==0.9.15  # 根据你的CARLA版本选择

步骤 3：验证安装

python -c "import carla; print('CARLA API 安装成功')"

---

🚀 快速启动

步骤 1：启动 CARLA 模拟器

# Windows - 窗口模式
CarlaUE4.exe -windowed -ResX=800 -ResY=600 -fps=30

# Windows - 全屏模式
CarlaUE4.exe

# Ubuntu
./CarlaUE4.sh -windowed -ResX=800 -ResY=600

步骤 2：运行导航避障系统

# 进入项目目录
cd f:\nn\src\car_navigation_system

# 运行主程序
python main.py

步骤 3：预期输出

自动驾驶系统 - 简化版本
确保CARLA服务器正在运行...

==================================================
简化自动驾驶系统
==================================================
正在连接到CARLA服务器...
可用地图: ['Town01', 'Town02', ...]
地图加载成功
连接成功！
正在生成车辆...
找到 255 个出生点
车辆生成成功！ID: 1660
车辆型号: Tesla Model3
位置: Location(x=335.489990, y=273.743317, z=0.300000)
正在设置相机...
相机设置成功 - 已创建三个视角相机
控制器设置完成
系统初始化中...
正在生成 2 辆NPC车辆...
系统准备就绪！

---

🎮 操作说明

按键	功能描述	详细说明
q	退出系统	优雅退出并清理资源
r	重置车辆位置	将车辆恢复到初始位置
s	紧急停止	立即停止车辆运动
x	切换倒车/前进模式	速度为0时生效
v	切换视角	循环切换第一人称/第三人称/鸟瞰图
m	切换地图	循环切换Town01~Town07
w	切换天气	循环切换晴天/雨天/多云/湿滑
c	切换车辆颜色	循环切换10种颜色
b	切换车辆品牌	循环切换10种车型
p	保存截图	自动命名并保存到screenshots目录

---

🌟 车辆品牌切换功能

按 b 键循环切换车辆品牌，支持以下10种经过验证的车型：

编号	品牌型号	蓝图名称	车辆类型
1	Tesla Model3	vehicle.tesla.model3	电动轿车
2	Ford Mustang	vehicle.ford.mustang	跑车
3	Audi TT	vehicle.audi.tt	轿跑
4	Mercedes Coupe	vehicle.mercedes.coupe	豪华轿跑
5	Jeep Wrangler Rubicon	vehicle.jeep.wrangler_rubicon	越野车
6	Nissan Patrol	vehicle.nissan.patrol	SUV
7	Audi e-tron	vehicle.audi.etron	电动SUV
8	Lincoln MKZ 2020	vehicle.lincoln.mkz_2020	豪华轿车
9	Chevrolet Impala	vehicle.chevrolet.impala	全尺寸轿车
10	BMW Grand Tourer	vehicle.bmw.grandtourer	豪华旅行车

功能特点：

• ✅ 切换时保留当前车辆颜色设置
• ✅ 自动重新设置相机和控制器
• ✅ 控制台显示品牌选择菜单
• ✅ 所有蓝图均已验证可用
• ✅ 平滑的车辆过渡动画

---

📷 截图功能

按 p 键保存当前画面，自动命名格式：

screenshot_时间戳_地图名_天气_颜色.png

示例：screenshot_20260512_153022_Town01_clear_Red.png

截图目录结构：

screenshots/
├── screenshot_20260512_153022_Town01_clear_Red.png
├── screenshot_20260512_154510_Town02_rain_Blue.png
└── screenshot_20260512_160000_Town03_cloudy_Green.png

---

🌍 支持的地图

地图名称	特点	复杂度
Town01	小型城镇，道路简单	⭐⭐
Town02	中等规模，包含高速公路	⭐⭐⭐
Town03	丘陵地形，弯道较多	⭐⭐⭐
Town04	乡村风格，道路较窄	⭐⭐
Town05	城市环境，交通复杂	⭐⭐⭐⭐
Town06	大型城市，多层道路	⭐⭐⭐⭐⭐
Town07	工业区风格	⭐⭐⭐

---

🌤️ 支持的天气

天气类型	效果描述
晴天 (Clear)	阳光明媚，视野良好
雨天 (Rain)	下雨效果，地面湿滑
多云 (Cloudy)	阴天，光线较暗
湿滑 (Wet)	地面湿滑，有积水反光

---

🔧 技术架构

系统架构图

┌─────────────────────────────────────────────────────────────┐
│                    控制系统 (Control System)               │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐       │
│  │  路点跟踪   │  │ 速度控制    │  │ 转向计算    │       │
│  │  Waypoint   │  │ Speed Ctrl  │  │ Steering    │       │
│  │  Tracking   │  │             │  │ Calculation │       │
│  └──────┬──────┘  └──────┬──────┘  └──────┬──────┘       │
│         └────────┬───────┴────────┬───────┘                │
│                  ▼                                      ▼ │
│         ┌─────────────┐                       ┌───────────┐│
│         │  控制融合   │                       │  倒车模式 ││
│         │  Control    │                       │  Reverse  ││
│         │  Fusion     │                       │  Mode     ││
│         └──────┬──────┘                       └───────────┘│
│                ▼                                           │
├─────────────────────────────────────────────────────────────┤
│                    传感器层 (Sensor Layer)                 │
│  ┌─────────────┐  ┌─────────────┐  ┌───────────┐         │
│  │第一人称相机 │  │第三人称相机 │  │ 鸟瞰图相机│         │
│  │ First-Person│  │Third-Person│  │ Birdseye  │         │
│  │ Camera      │  │ Camera      │  │ Camera    │         │
│  └──────┬──────┘  └──────┬──────┘  └─────┬─────┘         │
│         └────────┬───────┴────────┬───────┘                │
│                  ▼                                        │
│         ┌─────────────┐                                   │
│         │ 图像处理器  │                                   │
│         │ Image       │                                   │
│         │ Processor   │                                   │
│         └──────┬──────┘                                   │
│                ▼                                           │
├─────────────────────────────────────────────────────────────┤
│                    CARLA 模拟器 (CARLA Simulator)          │
│  ┌─────────────┐  ┌─────────────┐  ┌───────────┐         │
│  │  车辆Actor  │  │   地图环境   │  │  NPC车辆  │         │
│  │  Vehicle    │  │   Map Env   │  │  NPC Cars │         │
│  │  Actor      │  │             │  │           │         │
│  └─────────────┘  └─────────────┘  └───────────┘         │
└─────────────────────────────────────────────────────────────┘

核心类设计

1. SimpleDrivingSystem

• 职责：系统主控制器，协调整个驾驶系统
• 核心方法：
  • connect() - 连接CARLA服务器
  • spawn_vehicle() - 生成车辆
  • setup_camera() - 设置摄像头
  • run() - 主运行循环

2. SimpleController

• 职责：车辆控制算法实现
• 核心方法：
  • get_control() - 获取控制指令
  • toggle_reverse() - 切换倒车模式

3. Camera Callback

• 职责：处理相机图像数据
• 特点：仅处理当前视角的图像，节省资源

---

📊 性能指标

指标	数值	说明
控制频率	30 Hz	每帧处理一次控制指令
相机分辨率	640 x 480	平衡性能与画质
最大车速	50 km/h	安全驾驶速度
NPC车辆数	2辆	模拟交通环境
内存占用	~500MB	正常运行时
CPU占用	~15%	单线程

---

🛡️ 错误处理与稳定性

故障恢复机制

故障类型	处理策略	恢复方式
CARLA连接失败	重试连接3次	提示用户检查服务器
车辆生成失败	自动清理并重新尝试	使用备用出生点
相机设置失败	跳过相机设置	继续运行（无可视化）
车辆卡住	自动检测并重置	恢复到初始位置

资源管理

# 退出时自动清理资源
def cleanup(self):
    """清理所有资源"""
    # 停止相机
    for camera in self.cameras.values():
        if camera:
            camera.stop()
            camera.destroy()
    
    # 销毁车辆
    if self.vehicle:
        self.vehicle.destroy()
    
    # 清理客户端连接
    if self.client:
        self.client = None
    
    print("资源清理完成")

---

🔍 调试与日志

日志级别

级别	用途	示例
INFO	常规信息	"车辆生成成功"
WARNING	警告信息	"相机设置失败"
ERROR	错误信息	"连接失败"
DEBUG	调试信息	"速度: 30 km/h"

调试工具

1. check_blueprints.py - 检测可用车辆蓝图
2. 控制台输出 - 实时显示系统状态
3. 截图功能 - 保存关键帧分析

---

🔄 Git 同步说明

同步脚本使用

# 运行同步脚本
sync_main.bat

# 手动同步流程
git stash
git pull origin main
git stash pop

冲突处理策略

1. 代码冲突：保留本地修改，手动合并
2. 配置冲突：以主分支为准
3. 文档冲突：合并双方内容

---

📈 扩展开发指南

添加新功能步骤

1. 需求分析 - 明确功能需求
2. 设计阶段 - 设计接口和类结构
3. 实现阶段 - 编写代码
4. 测试阶段 - 验证功能正确性
5. 文档更新 - 更新README

扩展建议

扩展方向	难度	建议
添加激光雷达	中等	需要修改传感器配置
实现避障算法	高	需要深度学习模型
添加行人检测	中等	使用YOLO等模型
实现路径规划	高	需要图搜索算法

---

📚 相关资源

学习资源

资源	链接
CARLA官方文档	carla.org
CARLA教程	GitHub
自动驾驶入门	Coursera

参考项目

• CARLA Examples
• AutoWare
• Baidu Apollo

---

❓ 常见问题

1. 连接 CARLA 服务器失败

问题现象：运行程序时提示连接失败

解决方法：

• 确保 CARLA 模拟器正在运行
• 检查端口是否为 2000
• 验证防火墙设置
• 尝试重启CARLA服务器

2. 车辆生成失败

问题现象：提示"无法生成车辆"

解决方法：

• 等待几秒后重试
• 检查是否有其他车辆占用出生点
• 尝试切换地图

3. 车辆切换崩溃

问题现象：切换车辆品牌时程序崩溃

解决方法：

• 所有车辆蓝图均已验证可用
• 确保 CARLA 版本兼容
• 更新显卡驱动

4. 画面卡顿

问题现象：帧率较低，画面不流畅

解决方法：

• 降低CARLA分辨率
• 减少NPC车辆数量
• 关闭不必要的程序

---

📜 许可证

本项目采用 MIT License，详见 LICENSE 文件。

MIT License

Copyright (c) 2026 Car Navigation System Team

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.

---

📧 联系方式

• 邮箱：2985835251@qq.com
• 项目地址：[GitHub Repository]
• 文档版本：v1.2.0
• 最后更新：2026年6月

---

📅 更新日志

v1.2.0 (2026-06)

• ✨ 添加车辆品牌切换功能（支持10种车型）
• ✨ 实现品牌切换菜单界面
• ✨ 切换时保留颜色设置
• ✅ 所有车辆蓝图验证通过
• 📝 更新项目文档

v1.1.0 (2026-05)

• ✨ 添加多视角切换（第一人称/第三人称/鸟瞰图）
• ✨ 添加地图切换功能
• ✨ 添加天气切换功能
• ✨ 添加车辆颜色切换功能
• ✨ 实现截图功能（按p键保存）
• 🔧 优化倒车控制
• 🐛 修复已知bug

v1.0.0 (2026-05)

• ✨ 初始化项目
• ✨ 实现基本自动驾驶功能
• ✨ 添加第三视角摄像头
• ✨ 实现路点跟踪控制算法
• ✨ 添加NPC车辆生成
• ✨ 实现车辆重置和紧急停止功能

---

文档版本：v1.2.0 | 最后更新：2026年6月11日