Robots.txt ist eine einfache, funktionierende, zuverlässige technische Lösung.
Die Verlage wollen aber nicht ausgeschlossen werden, sondern mitverdienen, und sind daher für einfache, zuverlässige technische Lösungen nicht zu haben.
Würden präventiv Rechtsverletzungen verhindert (robots.txt), könnte man ja keinen mehr verklagen und entsprechend hohe Post-Mortem-Lizenzgebühren und Anwaltskosten geltend machen.
(Stefan, der vor langer Zeit mal 450€ Lizenzgebühren plus Anwaltskosten für einen auf seiner privaten Homepage veröffentlichten 180×300 Pixel Ausschnitt aus einem Stadtplan zahlen musste, bevor es Google Maps gab. Natürlich hat dieser Anbieter hat dann auch gegen Google gekämpft, als irgendwann sein Abmahngeschäft gefährdet war, natürlich erfolglos.)