So ganz trivial ist das nicht. Fuer die von Kabraxis beschriebene Methode gibt es ein Tutorial, wie man es mit Hugin machen kann:
http://hugin.sourceforge.net/tutorials/scans/en.shtml

Da es sich um ein "multi-viewpoint"-Panorama handelt, wirst Du - wie von prakinafan schon erwaehnt - Parallaxenfehler fuer alle Objekte haben, die sich nicht in der gleichen Ebene wie die Haeuserfront befinden.

Wie man so etwas richtig gut macht, findest Du hier bis ins Detail beschrieben:

http://grail.cs.washington.edu/projects/multipano/
http://grail.cs.washington.edu/proje...wala_sig06.pdf

Allerdings gibt es soweit ich sehe keine off-the-shelf-Software dafuer.

Wie von Helge beschrieben, ist das Fisheye vermutlich nicht so geeignet.
Ich wuerde ein Objektiv nehmen, das wenig verzeichnet und fuer das dein RAW-Konverter ein Korrekturprofil fuer Verzeichnung und Vignettierung hat. Dann wuerde ich in einem ersten Schritt im RAW-Konverter das Bild korrigieren bevor ich damit in Hugin stitchen wuerde.