來俊臣的父親名叫來操，陝西西安人。是個賭棍，他有一個鄰居，叫蔡本，也是個賭棍。於是自然，兩人同聲相應，同氣相求，惺惺相惜，關係好得可以合穿一條短褲。後來他們發現，合穿一條短褲也不足以表達互相之間的友誼，於是，他們之間也賭了一把。
這把蔡本輸了，輸了很多錢。怎麼辦？乾脆把已經懷孕的老婆送給來操抵債。沒多久，生下了來俊臣，其實他本該姓蔡，叫蔡俊臣。但他的養父來操這個名字太強勢了，等於直言不諱，我就是要來操你的。來俊臣後來繼承了養父的風格，告訴天下：我要來操你們了。
生在賭徒之家，生父和養父都是賭棍，無論是遺傳基因還是耳濡目染，都昭示著來俊臣不會是個本分人。他自小就不愛勞動，後來流落到和州客居，專門干偷盜勾當，一次失手，被捕入獄。他很狡詐，假稱有謀反大事要上奏。地方政府不敢怠慢，把來俊臣送到和州刺史處核實，當時的和州刺史是東平王李續，召來俊臣訊問，發現他滿嘴胡說，氣得打了他一百棍。後來武則天稱帝，大肆殺戮李唐宗室，李續也被殺，來俊臣趁機又上書告發琅琊王李沖謀反，說之前就已經告了，卻被李續刻意遮蓋。武則天自然喜歡這種人，當即將其擢拔為官，很快就升到御史中丞。
自從徐敬業起兵反抗，武則天懷疑天下人都在圖謀自己，也知道自己得位不正，宗室大臣都很怨恨，想狠殺一批立威。於是廣開告密之門，有告密的，地方各級政府不許直接審訊，要提供高鐵臥鋪，直接送到京師，按照五品官員的標準招待飲食，由她派人親自審訊。即使是農夫樵夫，也可以得到召見，安排住宿高級賓館。若告密屬實，立刻授官；不屬實，也不懲罰。因此天下告密成風，大家都膽戰心驚，不敢隨便說話。
當時除了來俊臣，靠告密升官的還有索元禮、周興。這些人官越做越大，各自花錢私自畜養了無賴數百人，專門把告密當成事業。如果想陷害某人，就通知自己分布在各地的黨羽，一起行動，顯得不像是孤證。
武則天非常喜歡，詔令在宮廷麗景門內設立推事院，讓來俊臣等人在裡面審案。酷吏王弘義戲稱麗景門為「例竟門」，「麗」和「例」同音，「竟」的意思是「完結」，也就是說，一旦進入此門，照例會性命完結，沒有人能活著出來。
來俊臣和同事司刑評事萬國俊一起，殫精竭慮，批閱十載，增刪五次，撰寫了一部《羅織經》，總共才幾千字，但真是黑色濃縮雞精，司法界的《道德經》。共十二卷，專門教授黨羽如何網羅無辜，如何把人構陷成死罪，做得天衣無縫。其中《刑罰》卷說：「誘人以服，非刑之無得焉。」一旦有人告密，武則天就委派他們去審理，於是各種酷刑如萬舟競發，各擅勝場，「定百脈」、「突地吼」、「死豬愁」、「求破家」、「反是實」，總有一款適合你。把你手腳扭轉，稱之為「鳳皇曬翅」；讓你跪下捧著木枷，在上面累積磚塊，稱之為「仙人獻果」；用鐵圈箍住人的腦殼，然後往縫隙處釘楔子，很快就腦殼崩裂，腦髓流出。
《羅織經》，字字看來皆是血，十年辛苦不尋常。
每次審訊之前，先將刑具陳列，犯人嚇得魂飛魄散，只好違心承認造反。每次碰到大赦，來俊臣總是立刻讓獄卒把想殺的囚犯先殺，再宣布赦令。武則天對他寵幸得不得了，而朝野對這幾個人渣的恐懼甚於虎狼。
在這種肅殺的氣氛下，也有幾個堅持原則的好官，比如司刑丞徐有功、杜景儉，那些被誣告的人都說：「遇到來俊臣、侯思止一定死，遇到徐有功、杜景儉一定能活下來。」
天授二年(691)春，曾經幫助武則天殺害章懷太子李賢的左金吾衛將軍丘神????，也被人告發謀反。武則天把他像一條狗樣的拋棄，在鬧市口斬首。有人告發文昌右丞周興和丘神????有過勾通，武則天讓來俊臣去審問。當時來俊臣和周興正在一起吃飯，討論案件，他對周興說：「囚犯多不承認罪狀，有什麼辦法？」周興說：「這太容易了，取一個大瓮來，架起木炭四面燒烤，然後把囚犯扔進去，沒有什麼口供得不到。」來俊臣當即叫人架起木炭，放上大瓮，燒了一陣，站起來對周興說：「有人告發老兄，太后讓我審理，請老兄進瓮去吧。」周興當即癱倒，叩頭服罪，按律當斬，但武則天特意免他一死，流放嶺南，在路上被仇家截殺。周興與索元禮、來俊臣三個人曾經互相競賽，看誰殺的人多。周興、索元禮各殺了幾千人，來俊臣則屠滅了一千多家。這一年，索元禮也被告發謀反，丟掉了性命。三大奸惡酷吏，只剩下來俊臣一人，當然略次一級的人渣酷吏如萬國俊之類，依舊混得風生水起。
這年八月，玉鈐衛大將軍張虔勖被人告發謀反，來俊臣審訊，張虔勖卻要求向徐有功自辯。來俊臣大怒，命令衛士直接將張虔勖亂刀砍死，割下首級示眾。九月，來俊臣又奉命審訊岐州刺史雲弘嗣，他懶得花時間，依舊直接把雲弘嗣斬首，然後偽造獄辭上奏。武則天也不說什麼，照例嘉獎。
鳳閣舍人張嘉福為了討好武則天，指使洛陽人王慶之等數百人上奏，請求立武承嗣為皇太子。文昌右相、同鸞台鳳閣三品岑長倩表示反對，說朝廷已經有皇太子，不應該又生是非，並奏請嚴肅處理上書者。武則天不高興，又問地官尚書、同平章事格輔元，輔元也堅決反對立武承嗣為太子。武承嗣等人怒不可遏，找了個理由將岑長倩下獄，還脅迫岑長倩的兒子岑靈原，讓他誣告格輔元以及司禮卿兼判納言事歐陽通等幾十人一起謀反，武則天讓來俊臣審理。來俊臣當然不負武則天所託，偽造了歐陽通等人的獄辭，鍛造成鐵案。這年十月十二日，將岑長倩、格輔元、歐陽通等人全部處決。
武則天當時準備稱帝，王公百官都上奏表勸進，只有右衛將軍李安靜反對，於是也被誣告下獄，來俊臣訊問，李安靜說：「我知道，說我謀反，只因為我是唐朝李氏老臣。你們要殺就殺，至於謀反，根本沒有的事。」很快也被來俊臣殺死，同時被殺的還有鸞台侍郎、同平章事樂思晦。
長壽元年(692)，來俊臣又誣陷上了宰相狄仁傑，狄仁傑知道厲害，入獄就承認謀反，卻暗中讓人幫忙伸冤，最後武則天發現來俊臣在誣告，卻依舊沒有懲罰來俊臣，還把狄仁傑貶為彭澤縣令。高麗族猛將、左衛大將軍泉獻誠對朝廷忠心耿耿，來俊臣向他索取賄賂，沒有如願，照例誣陷他謀反，最終在獄中將其勒死。
長壽二年(693)，前尚方監裴匪躬、內常侍范雲仙因為私自拜見皇太子李旦，被判腰斬，從此公卿們再也不敢去見李旦。還有人因此告李旦想謀反，武則天又讓來俊臣審訊李旦身邊的人，都熬不住酷刑，想違心承認。太常工人安金藏對來俊臣大叫：「你既然不相信我的話，我請求剖開肚子，把心給你看，以證明皇太子沒有謀反。」隨即劃開了自己的肚子，五臟六腑滑落在地，到處是血。把變態佬武則天也感動了，讓人抬進宮中，派醫生把他五臟收回肚子，用桑皮線縫好，敷上良藥，經過一晚上才甦醒。武則天親自去探視，嘆道：「我兒子不能自證清白，導致你這麼受苦。」下令來俊臣銷案，李旦因此得以倖存。
延載元年(694)九月，來俊臣自己也被人告發貪污，按律當斬，但武則天認為他忠心，只予以免職。不久又啟用，再次犯罪，貶為同州參軍。另一個酷吏王弘義被流放瓊州，在路上假稱有詔書追他回去，在漢北碰到侍御史胡元禮，胡元禮一審問，發現他是胡說，將其用棍子活活打死。但來俊臣很快又被武則天重新啟用。
神功元年(697)，箕州刺史劉思禮向術士張憬藏學習看相，張憬藏說劉思禮會做到太師。太師是一品官，唐朝宰相也只是三品，基本不授予大臣一品官職。劉思禮尋思，除非是佐助新君開國，否則不可能做太師，於是和洛州錄事參軍綦連耀謀反。明堂尉吉頊聽說了這事，向來俊臣告發，武則天讓新進酷吏武懿宗審訊。武懿宗指示劉思禮儘量誣告牽連，許諾可以免其一死，劉思禮絞盡腦汁，凡是和自己有點小過節的，都誣告進去，最後總共牽連了三十六家，大多是海內名士，最後全部族誅，親戚朋友被連坐的都有一千多人。
來俊臣感覺自己這次沒撈上油水，很遺憾，又誣陷吉頊。吉頊見勢不妙，也趕緊自稱有謀反案件上奏，得被武則天召見，最終獲得昭雪免罪。武則天卻因此再次重用來俊臣，將其擢拔為洛陽令，升司僕少卿。來俊臣的黨羽又告司刑府史樊惎謀反，樊惎隨即處決。樊惎的兒子在朝堂喊冤，沒人敢搭理，一時氣憤，引刀剖腹。秋官侍郎劉如璿偷偷嘆息哭泣，被來俊臣發現，誣告他謀反，判處絞刑，最後獲得赦免，流放瀼州。
來俊臣生性好色，士民妻妾有漂亮的，想盡辦法也要搞到手。不行就讓人誣告其謀反，再矯詔將其妻妾搶走，為此前後陷害殺害的人不計其數。從宰相以下，按照名籍來陷害，仗著武則天的庇護，無法無天，因此越發驕傲，自稱才華可以和前趙開國皇帝石勒相比。監察御史李昭德特別厭惡他，秋官侍郎皇甫文備曾被李昭德當廷侮辱，因此和來俊臣勾結，一起誣陷李昭德謀反，李昭德因此下獄。
大概是過於膨脹，來俊臣最後竟然羅織武氏諸王和武則天的女兒太平公主的罪狀，還誣陷皇太子夥同廬陵王及南北禁軍一起造反，想因此盜竊國柄，被河東人衛遂忠告發。武氏諸王和太平公主又驚又怒，都在武則天面前說來俊臣壞話，隨即來俊臣也被下獄，判處死刑。武則天看了獄狀，捨不得殺他，奏表遞上去三天，都沒有批覆。
重臣王及善勸武則天：「來俊臣凶狡貪暴，是國中最大的惡棍，不殺他，會動搖朝廷。」武則天在圓苑中遊玩，吉頊幫忙牽馬，武則天問他外面的事，他回答：「外面的人只奇怪判決來俊臣的奏書沒有回覆。」武則天說：「來俊臣有功於國，朕再想想。」吉頊說：「來俊臣聚結黨羽，誣陷良善，貪污財物堆積如山，冤魂滿路，是國家的巨賊，有什麼可憐惜的？」武則天也被打動，終於批覆，同意將來俊臣處死。
神功元年(697)六月三日，李昭德和來俊臣同日斬首，時人無不為李昭德的死悲痛，為來俊臣的死歡呼。仇家搶著去吃來俊臣的肉，眨眼之間，就搶得乾乾淨淨，只剩一副骨架。武則天知道後，專門下詔列舉來俊臣的罪惡，說：「殺他一人還不夠，還應該滅他的族，抄他的家。」之後無論官吏還是百姓，走在路上都感到親切，紛紛互相祝賀：「從今日起，睡覺可以安穩了。」
