Las cámaras de un solo píxel (SPC) obtienen mediciones compresivas modulando espacialmente una escena a través de una apertura codificada (CA) e integrando la luz modulada con un único fotodetector. El enfoque de optimización de extremo a extremo (E2E) diseña simultáneamente la óptica y la red neuronal. Sin embargo, su rendimiento suele verse afectado bajo restricciones físicas, especialmente con relaciones de compresión estrictas. Además, el aprendizaje de CAs como primera capa del marco E2E puede dar lugar al desvanecimiento del gradiente. Para abordar estas limitaciones, proponemos un esquema de destilación de conocimiento (KD) que transfiere el conocimiento del diseño óptico de un modelo profesor basado únicamente en simulación a un modelo alumno con restricciones físicas rigurosas. A diferencia de métodos previos de KD para la clasificación SPC, que destilan mapas de atención o logits, nuestro profesor aprende una matriz de proyección que captura información óptica relevante para la tarea y transfiere este conocimiento para guiar el diseño óptico del alumno. El esquema propuesto se probó mediante simulaciones y un banco de pruebas óptico. Los resultados muestran que la destilación óptica mejora significativamente la precisión de la clasificación hasta en un 13.21\% en comparación con E2E y otros enfoques de destilación óptica y computacional.