Une implantation ancienne. Historiquement un petit ermitage fut probablement construit dès le 5ème siècle à l'initiative de St Cassien sur le site actuel du Prieuré mais il fut progressivement abandonné. Au 16ème siècle, Sainte-Victoire est l’objet d’un élan religieux important avec le pèlerinage de la confrérie des pertusiens. La tradition de cet important pèlerinage a d’ailleurs été reprise de nos jours, sous une forme plus modeste avec le Roumavagi qui a lieu chaque année le dernier dimanche d'avril.
La fondation du prieuré. Après la ferveur religieuse relative à l’édit de Nantes, un prêtre nommé Jean Aubert, maître de cérémonie en l'Eglise St Sauveur à Aix-en-provence fit construire le prieuré en 1654 et décida de restaurer et d'agrandir l'ermitage initial. Toujours sous l’impulsion de Jean Aubert, une chapelle consacrée à Notre-Dame de la Victoire fut construite en 1656 de même qu’un monastère achevé en 1664 nécessaire pour accueillir l’affluence grandissante des pèlerins. Mais à sa mort en 1692, la vie religieuse du prieuré connut un déclin progressif. Seuls quelques ermites acceptèrent par la suite de vivre de façon épisodique au prieuré qui continua cependant d'être fréquenté par les pèlerins faisant partie des confréries de Vauvenargues, d'Aix-en-provence et de Pertuis.
La renaissance du prieuré. L’abandon progressif des bâtiments au 18ème et 19ème siècle s’est traduit par une destruction progressive des différents édifices. Mais depuis 1954, l’association "Les Amis de Sainte Victoire" créée par Henri IMOUCHA oeuvre pour restaurer les bâtiments de ce site privilégié afin de les "rendre dignes de leur prestigieux passé et de leur naturelle destination".
Depuis 2004, une importante opération de valorisation du Prieuré de Sainte Victoire est engagée en collaboration avec « Les Amis de Sainte-Victoire ». Elle vise à la mise en sécurité de la Brèche des moines (construction d’un parapet comme à l’origine) et de la fosse (passerelle d’accés à la Brèche), à la remise en valeur du monastère (réfection toiture, rénovation parements, menuiseries et ouvertures), à la reconstitution de la calade de la cour, à la mise en place d’une signalétique de qualité et enfin à l’implantation de toilettes.