Det er flere muligheter for sikkerhet ved bruk av X. Siden X er en nettverksprotokoll, bør man vurdere sikkerheten på nettet (og ellers på maskinene) før man bestemmer seg for hvilken ``gradering'' man vil ha.
Hvis man stoler fullt og helt på sine medmennesker, er det mulig å sette X-serveren fullstendig åpen for forbindelser. Det er selvsagt mulig å gjøre en del skade bare ved å starte standard-applikasjoner mot andres X-servere, men for å utnytte åpenheten som et faktisk sikkerhetshull må man programmere sin egen X-klient som bevisst fanger opp sensitiv informasjon eller bryter seg inn i brukerens X-applikasjoner.
En enkel form for sikkerhet kan man oppnå ved å begrense adgangen til enkelte maskiner. Dette vil være naturlig dersom man har et lite antall maskiner på det lokale nettet, med brukere som man går ut fra er pålitelige, men også er koblet til et større nett.
For å oppnå en mer tilfredsstillende form for sikkerhet må man ha et nøkkel-system. Hovedsaklig er to varianter i bruk: MIT-MAGIC-COOKIE, der X-applikasjonene sender nøkkelen i klartekst over nettverket til serveren for autentifikasjon, og en form med DES-koding, slik at man ikke kan snappe opp nøkkelen ved passiv avlytting.
Et slikt system med nøkler skaper selvsagt problemer straks man skal arbeide på flere forskjellige maskiner - nøkkelen selv må kopieres ut. Dette kan ofte gjøres på tilsvarende måte som for DISPLAY-variabelen.