Die Redewendung kommt aus dem Fußball.
Die gelbe Karte hat der Schiedsrichter vorne in der Brusttasche.
Die rote Karte hat er in der Hosentasche hinten, also am Arsch.
Wenn die rote Karte also gezogen wird, ist das die Arschkarte.
Dies wurde in den Umgangssprachgebrauch übernommen.