Nach Studium und Referendariat in Freiburg trat Alexander Schwarz 1983 in die baden-württembergische Landesjustiz ein. Hier war er zunächst als Richter in Rastatt tätig, weitere Stationen führten ihn nach Karlsruhe zur Staatsanwaltschaft und zum Landgericht. Im Jahr 1991 war er dem baden-württembergischen Landtag zugewiesen, wo er als wissenschaftlicher Mitarbeiter die Arbeit eines Untersuchungsausschusses unterstützte. Im Anschluss war Alexander Schwarz bis 1997 – unterbrochen durch die Mitarbeit in zwei weiteren Untersuchungsausschüssen – im Justizministerium Baden-Württemberg als Fortbildungsreferent tätig.
Nach seiner Ernennung zum Oberstaatsanwalt im Jahr 1995 war er ab 1997 stellvertretender Leiter der Staatsanwaltschaft Karlsruhe. Im Jahr 2000 wurde er zum Leitenden Oberstaatsanwalt ernannt und bei der Generalstaatsanwaltschaft Karlsruhe mit dem Amt des Stellvertreters des Generalstaatsanwalts betraut. Von dort wechselte Schwarz im April 2007 als Behördenleiter in die Staatsanwaltschaft Heidelberg. Nach siebeneinhalb Jahren in Heidelberg übernahm er im November 2014 die Leitung der Staatsanwaltschaft Mannheim. Dieser zweitgrößten Staatsanwaltschaft in Baden-Württemberg, bei der auch die Schwerpunktstaatsanwaltschaften zur Verfolgung für Wirtschaftsstrafsachen sowie für Cyberkriminalität für den badischen Landesteil angesiedelt sind, stand er bis zum Eintritt in den Ruhestand im Juli 2020 vor.