Tendenziell stimmt das meinstens, wenn man sich auf die (Rand-)Schärfe bezieht.
(Ein nicht unerheblicher Faktor ist ja auch, dass lichtstarke Objektive um einiges teurer sind, d.h. teilweise auch hochwertiger vergütet etc. als die Standardobjektive)

Die Bildqualität hängt aber noch von anderen Faktoren ab - z.B. der Empfindlichkeit auf Streulicht (Sonne, Konzertbeleuchtungen, ..), die nicht unerheblich von der 'Einfangfläche' der Frontlinse und den entsprechenden Gegenmaßnahmen beeinflusst wird (Streulichtblende, versenkte Frontlinse, ..).
Bokeh und andere 'Charaktereigenschaften' hängen ebenfalls von vielen Faktoren ab, abgeblendet sind dafür auch Blendenlamellen-Anzahl und -Form wichtig, und, und ..

So lange man sich einfach im Hinterkopf behält, dass superlichtstarke Objektive bei Offenblende einfach nicht die gleiche Bildqualität liefern können wie lichtschwache Objektive bei 'ihrer' Offenblende, spricht nichts gegen einen Kauf - das nötige Kleingeld vorrausgesetzt.
Lichtstarke Objektive sind eben bei Offenblende für andere Fotosituationen gedacht.

Die Frage, welche Objektive bereits knapp hinter Offenblende richtig gut (/ scharf) werden, beschäftigt aber viele hier im Forum - mich eingeschlossen - und ist 'Motor' vieler Objektivtests. Die wachsenden Anforderungen unserer Kamerasensoren sind daran nicht unschuldig

Mit entsprechendem Budget landet man bei der Suche nach scharfen, Streulicht-unempfindlichen Objektiven übrigens oft im Makroobjektiv-Bereich. Das Canon nFD 50mm f/3.5 sei da mal ein Beispiel, Objektivstest siehe Forum.