1994年，15岁的王霄进入辽宁省体校，1994至1996年在省少年队训练，带队拿下全国少年赛事冠军。之后他升入辽宁青年队，1998年入选国青，是队内固定主力后卫。彼时辽足一线队人才饱和，他很难获得上升机会，经国青队友引荐，得到戚务生赏识，2000年转会云南红塔，稳稳占据球队主力中卫席位。

2003年足坛经典商业赛，龙之队对阵皇家马德里，王霄上半场贴身限制齐达内，多次封堵对方传中线路，还逼得贝克汉姆对他犯规，一战出圈。同年赛季结束，红塔宣布退出足坛，多名俱乐部向他抛出邀约，上海中远诚意最足，双方已经提前草签转会合同。

就在敲定转会前夕，戚务生接到天津泰达的执教邀请。感念多年栽培，王霄主动撕毁和上海的合约，以350万转会费奔赴天津追随恩师。

在泰达七年，他成为后防绝对核心。于根伟退役后，王霄升任球队二号队长；2008年还被选为国家队第二队长。2010赛季收官战，泰达客场取胜锁定中超联赛亚军，这场比赛结束，王霄正式宣布退役。

离开球员身份后，他留在泰达担任助教，之后辗转河北卓奥、珠海琴澳、广西平果哈嘹、青岛红狮等俱乐部，先后执掌主帅、体育总监岗位，始终扎根国内职业足坛。