Когда надо писать килограмм мандарин, а когда килограмм мандаринов? почему?

Писать всегда нужно только "МАНДАРИНОВ". Названия плодов, фруктов и овощей, представляющие собой существительные мужского рода, в начальной форме оканчивающиеся на твёрдый согласный (апельсин, мандарин...) , в форме Р. п. мн. ч. имеют окончание -ОВ (килограмм апельсинов, Новый год без мандаринов) . Однако в устной речи распространена нулевая форма, особенно у существительных апельсин, мандарин, помидор. Область её употребления ограничена РАЗГОВОРНОЙ речью, причём и здесь она допустима лишь в стандартных количественных сочетаниях со словами, обозначающими единицы измерения: тонна мандарин, килограмм помидор. В других же сочетаниях и в разговорной речи нормативным для данных слов является окончание -ОВ: купи мандаринов, запах апельсинов, вкус помидоров).

а разве вообще когда-нибудь можно писать "килограмм мандарин"?

хочу мандарин

Килограмм Мандарин - надо писать тогда, когда ты имеешь ввиду много килограмм, например, "пять килограмм мандарин". Килограмм Мандаринов - пишется тогда, когда под словом "килограмм" имеется ввиду Один килограмм.