Ne, es geht ja auch um das "Sammeln" von Lichtstrahlen. Und in eine große Linse kann mehr Licht einfallen, dass dann durch weitere Linsensysteme gelenkt wird, als in eine kleine Frontlinse.
@alle: Bitte auch nicht vergessen, dass der F-Wert nur ein rechnerischer Wert ist, der das Verhältnis von Brennweite und dem Durchmesser der Eintrittspupille (nicht dem der Frontlinse) ist. Die "wahre" Lichtstärke wird durch den T-Wert angegeben, der aber selten bei Fotoobjektiven genannt wird (anders als bei Filmkameras zum Beispiel).