Πλένουμε καλά τις πατάτες και χωρίς να τις κόψουμε τις βάζουμε να βράσουν για 30 λεπτά. Όταν οι πατάτες είναι έτοιμες,, τις ξεφλουδίσουμε, τις βάζουμε σε μια πιατέλα και τις κόβουμε με ένα πιρούνι. Ρίχνουμε αμέσως το ελαιόλαδο και αλατοπιπερώνουμε. Προσθέτουμε τις ψιλοκομμένες αντζούγιες, το κρεμμύδι την κάπαρη και τις ελιές και ανακατεύουμε. Σερβίρουμε με θρυμματισμένη φέτα και ρίγανη από πάνω