Letzteres, wobei "Schwachsinn" etwas übertrieben ist.
Weitwinkelporträts mit 28mm mag ich im Prinzip sehr gerne. Dies sind dann Porträts mit Umgebung. Die Gelegenheiten dafür sind aber eher selten, weil das gestalterisch nur funktioniert, wenn die Umgebung auch etwas über die porträtierte Person aussagt. Spielt die Umgebung keine Rolle und soll ausgeblendet werden, ist man mit einer längeren Brennweite immer besser bedient. Du hast mit deinem 28er sicher festgestellt, dass du bei den Porträts nicht zu nah an die Person rangehen darfst, weil dann Nase und Gliedmaßen zu groß werden, also die Proportionen nicht mehr stimmen, und die Bilder wenig schmeichelhaft und unschön werden. Also etwas Abstand, Ganzkörper geht gut, zumal der für 28mm wichtige Hintergrund dann Raum bekommt. Bei Ganzkörper hast du bei Blende 1,4 eine Freistellung, die den Hintergrund gut erkennbar lässt, die Person aber klar hervorhebt und die Blicke darauf lenkt. Bei Blende 2,0 ist bei der Entfernung die Freistellung noch sichtbar, aber minimal, bei Blende 2,8 ist keinerlei sichtbare Freistellung mehr vorhanden.
Wenn du dasselbe mit 20mm machst, darfst du wegen der perspektivischen Verzerrungen nicht näher an die porträtierte Person rangehen, hast aber wegen der kürzeren Brennweite einen größeren Bildausschnitt und eine größere Schärfentiefe. Damit ist bei Blende 2,0 auf die Entfernung kaum noch Freistellung, zumindest nicht mehr genug, um die als entscheidendes kompositorisches Element zu verwenden. Dann kannst du aber auch gleich ein lichtschwächeres Objektiv nehmen, das tut's (fast) genauso.
Jetzt ist Lichtstärke bei 20mm nicht völlig schwachsinnig, denn unter günstigen Umständen oder bei einer bewussten (leichten) UWW-Effektfotografie kann man doch mal näher ran, so dass man bei Blende 2,0 noch Freistellung hat, aber die Gelegenheiten dazu sind doch sehr selten. Ansonsten kann man die Lichtstärke noch für Astro (Milchstraßenfotografie, mache ich nicht und finde ich völlig uninteressant) und nachts in der Stadt nehmen. Aber es bleibt dabei, man braucht es sehr selten. Die üblichen Motive, wo man diese Brennweite braucht, Kirchen, Innenräume, Stadtansichten, Landschaften, gewinnen alle durch Abblenden und Schärfentiefe.
Ich denke, für Menschen-in-Umgebung-Porträts würdest du dich mit einem Wechsel von 28/1,4 zu 20/2 deutlich verschlechtern.