Судить нельзя вообще.
Фраза "нельзя судить по внешности" предполагает возможность судить по иным критериям.
Отрицать тот факт, что люди разные и не учитывать его во благо лишь потому, что могут найтись люди, которые будут по этим критериям судить...
Есть волки и овцы. Могут найтись деятели, призывающие уничтожить волков. Если защитники природы совсем без мозгов окажутся, они попытаются убедить общественность в том, что между волками и овцами нет никакой разницы, что это одно и то же, и их следует держать в одном загоне.
Прошу обратить внимание: я не из тех, кто утверждает, что волки - это недо-овцы. Или овцы - это недо-волки. Нужно хорошо понимать, что другой - не значит плохой. Не значит враг. Но он другой! И это необходимо осознавать и учитывать. И уважать.