Зависит от контекста.. Если в России блондин так назовёт брюнета, это вряд ли будет нейтральное..Любопытно, что в русском негр - совершенно нейтральное слово,
А если в Латвии так кого-то назовут ("неграми" некоторые зовут "неграждан"), то и тем паче могут оскорбиться..