Coche autonomo

Objetivo

Modificar un automóvil a control remoto para que realice tres tareas: conducción autónoma en la vía, detección señal de stop y del semáforo, y prevención de colisión frontal.

Diseño de sistemas

El sistema consta de tres subsistemas: unidad de entrada (cámara, sensor ultrasónico), unidad de procesamiento (computadora) y unidad de control de cabina de control Remoto.

Unidad de entrada

Un tablero Raspberry Pi (modelo B ), conectado con un módulo de cámara pi y un sensor ultrasónico HC-SR04 se utiliza para recopilar datos de entrada. Dos programas para clientes se ejecutan en Raspberry Pi para transmitir videos en color y datos de sensores ultrasónicos a la computadora a través de una conexión Wi-Fi local. Para lograr una transmisión de video de baja latencia, el video se reduce a una resolución QVGA (320 × 240).

Unidad de procesamiento

La unidad de procesamiento (computadora) maneja múltiples tareas: recibir datos de Raspberry Pi, entrenamiento y predicción de redes neuronales, detección de objetos (señal de stop y semáforo), medición de distancia (visión monocular) e instrucciones de envío a Arduino a través de una conexión USB .

Servidor TCP

Se ejecuta un programa de servidor TCP de varios subprocesos en la computadora para recibir tramas de imágenes transmitidas y datos ultrasónicos del Raspberry Pi. Los marcos de imagen se convierten a escala de grises y se decodifican en matrices numpy.

Red neuronal

Una de las ventajas del uso de redes neuronales es que una vez que la red está capacitada, solo necesita cargar parámetros entrenados posteriormente, por lo que la predicción puede ser muy rápida. Solo la mitad inferior de la imagen de entrada se usa con fines de entrenamiento y predicción. Hay 38,400 nodos (320 × 120) en la capa de entrada y 32 nodos en la capa oculta. El número de nodos en la capa oculta se elige bastante arbitrario. Hay cuatro nodos en la capa de salida donde cada nodo corresponde a las instrucciones de control de dirección: izquierda, derecha, adelante y atrás respectivamente (aunque el reverso no se usa en ningún lugar de este proyecto, aún se incluye en la capa de salida).

A continuación se muestra el proceso de recopilación de datos de capacitación. Primero, cada fotograma se recorta y se convierte en una matriz numpy. Luego, la imagen del tren se empareja con la etiqueta del tren (entrada humana). Finalmente, todas las etiquetas y los datos de imagen emparejados se guardan en un archivo npz. La red neuronal está entrenada en OpenCV usando el método de propagación de retorno. Una vez hecho el entrenamiento, los pesos se guardan en un archivo xml. Para generar predicciones, se construye la misma red neuronal y se carga con el archivo xml entrenado.

Detección de objetos

Este proyecto adaptó el enfoque basado en formas y utilizó clasificadores en cascada basados ​​en características de Haar para la detección de objetos. Dado que cada objeto requiere su propio clasificador y sigue el mismo proceso en el entrenamiento y la detección, este proyecto solo se centró en la detección de señales de stop y semáforos.

OpenCV proporciona un entrenador y un detector. Las muestras positivas (que contienen el objeto de destino) se adquirieron usando un teléfono celular, y se recortaron para que solo el objeto deseado sea visible. Las muestras negativas (sin objeto objetivo), por otro lado, se recolectaron aleatoriamente. En particular, las muestras positivas al semáforo contienen la misma cantidad de semáforos rojos y semáforo verde. El mismo conjunto de datos de muestra negativo se utilizó para el entrenamiento de señal de stop y semáforo.

Para reconocer diferentes estados del semáforo (rojo, verde), se necesita algo de procesamiento de imágenes más allá de la detección. El siguiente diagrama de flujo resume el proceso de reconocimiento del semáforo.

En primer lugar, el clasificador en cascada capacitado se usa para detectar el semáforo. El cuadro delimitador se considera como una región de interés (ROI). En segundo lugar, el desenfoque Gaussiano se aplica dentro del ROI para reducir los ruidos. En tercer lugar, encuentre el punto más brillante en el retorno de la inversión. Finalmente, los estados rojo o verde se determinan simplemente en función de la posición del punto más brillante en el retorno de la inversión.

Medición de distancia

Raspberry Pi solo puede admitir un módulo de cámara pi. El uso de dos cámaras web USB aportará un peso adicional al automóvil RC y también parece poco práctico. Por lo tanto, se elige el método de visión monocular.

Unidad de control de coche a control remoto

El auto de CR usado en este proyecto tiene un controlador tipo encendido / apagado. Cuando se presiona un botón, la resistencia entre el pin del chip correspondiente y la tierra es cero. Por lo tanto, una placa Arduino se usa para simular acciones de presionar un botón. Se eligen cuatro pines Arduino para conectar cuatro pines de chip en el controlador, que corresponden respectivamente a las acciones hacia adelante, hacia atrás, hacia la izquierda y hacia la derecha. Los pines Arduino que envían la señal BAJA indican la conexión a tierra de los pines del chip del controlador; por otro lado, el envío de la señal HIGH indica que la resistencia entre los pines del chip y la tierra no cambia. Arduino está conectado a la computadora a través de USB. La computadora emite comandos a Arduino utilizando la interfaz serie, y luego el Arduino lee los comandos y escribe señales BAJAS o ALTAS, simulando acciones de presionar un botón para conducir el auto RC.

Resultados

La predicción en las muestras de prueba arroja una precisión del 85% en comparación con la precisión del 96% que devuelve la muestra de entrenamiento. En la situación de conducción real, las predicciones se generan aproximadamente 10 veces por segundo (velocidad de transmisión de aproximadamente 10 cuadros / s).

Las características de Haar por naturaleza son sensibles a la rotación. En este proyecto, sin embargo, la rotación no es una preocupación, ya que tanto la señal de pare y el semáforo son objetos fijos, que también es un caso general en el entorno del mundo real.

Para el aspecto de medición de distancia, el sensor ultrasónico solo se usa para determinar la distancia a un obstáculo en frente del automóvil RC y proporciona resultados precisos al tomar en cuenta el ángulo de detección y la condición de la superficie. Por otro lado, la cámara Pi proporciona resultados de medición "lo suficientemente buenos". De hecho, siempre que sepamos el número correspondiente a la distancia real, sabemos cuándo detener el automóvil RC.

 En este proyecto, la precisión de la medición de distancia con enfoque de visión monocular podría verse influenciada por los siguientes factores:

...