Bereits nach der Affäre um gefälschte Vermittlungsstatistiken war der Ruf nach Abschaffung der Bundesanstalt für Arbeit laut geworden. Auch nach der Entlassung des Vorsitzenden der BA, Florian Gerster, erhoben einige Politiker wie z. B. Guido Westerwelle (FDP) die Forderung, die Bundesanstalt für Arbeit aufzulösen.

Im wesentlichen geht es dabei um die Frage, ob eine zentrale (wie die Bundesagentur für Arbeit) oder eine dezentrale (wie kommunale Träger) Organisationsstruktur besser geeignet sei, um auf die Erfordernisse des Arbeitsmarktes zu reagieren. Zum Teil wird auch die völlige Privatisierung des Vermittlungsbetriebes gefordert. Diese Option hat aber durch die geringen Vermittlungserfolge privater Träger zunächst einen Dämpfer erhalten.

Auch unter dem neuen Namen Arbeitsagentur und der laufenden Reform im Jahr 2004 stand die Vermittlungsquote in der Kritik; die Zahlen der von der Bundesagentur erfolgreich vermittelten Stellen waren sogar rückläufig. Als dies bekannt wurde, stellte Peter Clever, der Vertreter der Arbeitgeber im BA-Aufsichtsrat, öffentlich die große Bedeutung erfolgreicher Vermittlung Arbeitsloser auf gemeldete offene Stellen für die Existenzberechtigung der BA heraus und bezeichnete die noch immer zu schlechte Vermittlungsleistung als die Achillesferse der BA (woraufhin er von Wirtschaftsminister Wolfgang Clement indirekt und später auch direkt zum Rücktritt aufgefordert wurde). Die Bundesagentur für Arbeit kann natürlich selbst keine Arbeitsplätze schaffen, wohl aber den Vermittlungsprozess am Arbeitsmarkt beschleunigen und passgenauer organisieren.

Weiterhin wird aber diskutiert, ob durch eine Regionalisierung bzw. eine Übernahme der Aufgaben durch die Kommunen nicht eine höhere Schlagkraft entwickelt werden könnte.

Mit Einführung der neuen Strukturen wurden zum Beispiel auch praktisch alle branchenspezifischen Vermittlungseinheiten abgeschafft. So existiert nur noch eine regionale Zuordnung der Arbeitssuchenden zu ihren Sachbearbeitern und keine fachliche. Dabei ist es einem Vermittler kaum zuzumuten, alle Qualifikationen zu kennen und zu verstehen. Es ist völlig unklar, wie ein Kaufmann das Kompetenzprofil eines Werkzeugmachers oder eines IT-Experten lesen oder gar verstehen soll. Es ist aber seine Kernaufgabe Qualifikationen zu erkennen und in der Datenbank zu hinterlegen, weil ohne einen sorgfältigen Eintrag eine erfolgreiche Vermittlung durch die Arbeitsagentur praktisch unmöglich ist. Dann kommt es zu den mehrfach in der Presse kritisierten Fehlvermittlungsversuchen.

In selber Weise fehlt eine branchenspezifische Zuordnung auf der Arbeitgeberseite. Es erscheint wenig sinnvoll einen mittelständischen Maschinenbauer vom selben Sachbearbeiter betreuen zu lassen, wie eine Zeitarbeitsfirma, nur weil diese mit dem gleichen Buchstaben beginnen. Auch hier müssen die Mitarbeiter das „Business“ ihrer Kunden verstehen um erfolgreich zu sein.

Auch die Tatsache, dass ein direkter Kontakt zwischen Arbeitgebern und Sachbearbeitern aus der Betreuung der Arbeitssuchenden grundsätzlich nicht möglich ist, erschwert eine Vermittlung nachhaltig. Oft würde nämlich der persönliche Eindruck von der Lernbereitschaft und dem Engagement der Arbeitssuchenden einen Arbeitgeber überzeugen, ihm auch bei mangelnder fachlicher Qualifikation eine Chance zu geben bzw. eigenständig fortzubilden. Dies ist aber ausdrücklich nicht vorgesehen und kann nur auf dem informellen Wege erfolgen.

Vor allem von Seiten der FDP wird die Privatisierung der Bundesagentur gefordert. Die FDP geht davon aus, dass durch die Übergabe der Bundesagentur für Arbeit in die Hände von Privaten 30 Milliarden Euro eingespart werden könnten. Die Einsparungen sollen sich vor allem durch eine Beendigung der aktiven Arbeitsmarktpolitik (z. B. keine Weiterbildungsmaßnahmen oder Eingliederungszuschüssen für Langzeitarbeitslose), die Vermeidungen von Doppelstrukturen bei Kommunen und BA und die Abschaffung zentraler Stellen ergeben. Wortführer dabei ist der ehemalige Arbeitsvermittler und derzeitige Generalsekretär der FDP Dirk Niebel. Er schlägt statt einer großen Behörde die Organisation nach einem Drei-Säulen-Modell vor: Die erste Säule davon solle eine Versicherung sein, die das Arbeitslosengeld auszahle. Die zweite Säule bilde eine kleine Arbeitsagentur mit 200 bis 300 Beschäftigten, die sich um überregionale Belange kümmert. Die dritte Säule sollen dann die Agenturen vor Ort sein, die sich um die Arbeitsvermittlung kümmern sollten. Diese sollen nicht mehr wie bisher dem Bund, sondern direkt den Kommunen unterstellt sein. Die FDP verspricht sich von dem Modell kürzere Entscheidungswege und mehr Konkurrenz. Der Bundesrechnungshof hingegen kommt 2006 in einem Bericht zu dem Schluss, dass die bereits eingeführte Regelung, dass sich Arbeitslose per Gutschein an private Arbeitsvermittler wenden können, nicht zu einer Verbesserung auf dem Arbeitsmarkt beigetragen hat. Kritiker wie die Wirtschaftsforschungsinstitute warnen auch vor „Kleinstaaterei“ und Zersplitterung. Das IAB hat ebenfalls in einem seiner Kurzberichte die Sinnhaftigkeit des „Drei-Säulen-Modells“ bezweifelt. Während die Landkreise dennoch eine Kommunalisierung zumindest des Arbeitslosengeldes II überwiegend begrüßen würden, lehnen die Städte dies ab.

An der Spitze der Bundesanstalt für Arbeit stand von 1952 bis 2002 ein Präsident. Folgende Personen hatten dieses Amt inne:

• 1952–1957: Julius Scheuble
• 1957–1968: Anton Sabel
• 1968–1984: Josef Stingl
• 1984–1993: Heinrich Franke
• 1993–2002: Bernhard Jagoda

Nach Reformen der BA im Jahr 2002 wurde der Präsident durch einen dreiköpfigen Vorstand ersetzt, dessen Mitglieder keinen Beamtenstatus mehr aufgrund ihrer Vorstandstätigkeit innehaben, dafür aber deutlich höhere Gehälter als die bisherigen Präsidenten beziehen. Die Vorstände setzten sich bisher personell wie folgt zusammen:

• Vorstandsvorsitzender: Florian Gerster
• Finanzen: Frank-Jürgen Weise
• Operative Aufgaben: Heinrich Alt

• Vorstandsvorsitzender: Frank-Jürgen Weise
• Finanzen: Raimund Becker
• Operative Aufgaben: Heinrich Alt

• Vorstandsvorsitzender: Frank-Jürgen Weise
• Vorstand SGB III: Raimund Becker
• Vorstand SGB II: Heinrich Alt