Man benötigt keine Ebenenmaske.

Nimm das Auswahlrechteck-Werkzeug mit einer stark weichen Kante, mit der Pixelzahl die Du benötigst. Dann das Auswahlrechteck auf Deinem Bild aufziehen. Dann die Auswahl umkehren und löschen (Entf). Schön müsste Dein Bild eine weiche Blende wie auf Deinem Beispiel haben.

Das Bild muss aber einen normale Ebene, keine Hintergrundebene sein.

Mit Ebenenmaske – wer will

Eine neue Ebene anlegen – weiß gefüllt. Mit dem „Abgerundetes Rechtwerkzeug“ einen Rahmen ziehen. CMD Klick auf die Ebene, um das Rechteck auszuwählen. Dann Auswahl->Auswahl verändern->Weiche Kante – so 20 Pixel. Dann cmd shift I um die Auswahl umzukehren. Und dann nur noch mit schwarz füllen.