国产99久久精品_欧美日本韩国一区二区_激情小说综合网_欧美一级二级视频_午夜av电影_日本久久精品视频

最新文章專(zhuān)題視頻專(zhuān)題問(wèn)答1問(wèn)答10問(wèn)答100問(wèn)答1000問(wèn)答2000關(guān)鍵字專(zhuān)題1關(guān)鍵字專(zhuān)題50關(guān)鍵字專(zhuān)題500關(guān)鍵字專(zhuān)題1500TAG最新視頻文章推薦1 推薦3 推薦5 推薦7 推薦9 推薦11 推薦13 推薦15 推薦17 推薦19 推薦21 推薦23 推薦25 推薦27 推薦29 推薦31 推薦33 推薦35 推薦37視頻文章20視頻文章30視頻文章40視頻文章50視頻文章60 視頻文章70視頻文章80視頻文章90視頻文章100視頻文章120視頻文章140 視頻2關(guān)鍵字專(zhuān)題關(guān)鍵字專(zhuān)題tag2tag3文章專(zhuān)題文章專(zhuān)題2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章專(zhuān)題3
問(wèn)答文章1 問(wèn)答文章501 問(wèn)答文章1001 問(wèn)答文章1501 問(wèn)答文章2001 問(wèn)答文章2501 問(wèn)答文章3001 問(wèn)答文章3501 問(wèn)答文章4001 問(wèn)答文章4501 問(wèn)答文章5001 問(wèn)答文章5501 問(wèn)答文章6001 問(wèn)答文章6501 問(wèn)答文章7001 問(wèn)答文章7501 問(wèn)答文章8001 問(wèn)答文章8501 問(wèn)答文章9001 問(wèn)答文章9501
當(dāng)前位置: 首頁(yè) - 科技 - 知識(shí)百科 - 正文

如何用Python檢測(cè)生僻字

來(lái)源:懂視網(wǎng) 責(zé)編:小采 時(shí)間:2020-11-27 14:25:41
文檔

如何用Python檢測(cè)生僻字

如何用Python檢測(cè)生僻字:最近在工作中碰到一個(gè)需求,要求檢測(cè)字段是否包含生僻字以及一些非法字符如 ~!@#$%^&*。通過(guò)網(wǎng)上的查找資料解決了,現(xiàn)在將解決的過(guò)程和示例代碼分享給大家,有需要的可以參考借鑒。下面來(lái)一起看看吧。解決思路首先想到的就是利用 python 的正則表達(dá)式
推薦度:
導(dǎo)讀如何用Python檢測(cè)生僻字:最近在工作中碰到一個(gè)需求,要求檢測(cè)字段是否包含生僻字以及一些非法字符如 ~!@#$%^&*。通過(guò)網(wǎng)上的查找資料解決了,現(xiàn)在將解決的過(guò)程和示例代碼分享給大家,有需要的可以參考借鑒。下面來(lái)一起看看吧。解決思路首先想到的就是利用 python 的正則表達(dá)式

最近在工作中碰到一個(gè)需求,要求檢測(cè)字段是否包含生僻字以及一些非法字符如 ~!@#$%^&*。通過(guò)網(wǎng)上的查找資料解決了,現(xiàn)在將解決的過(guò)程和示例代碼分享給大家,有需要的可以參考借鑒。下面來(lái)一起看看吧。

解決思路

首先想到的就是利用 python 的正則表達(dá)式來(lái)匹配非法字符,然后找出非法記錄。然而理想總是豐滿(mǎn)的,現(xiàn)實(shí)卻是殘酷的。在實(shí)現(xiàn)的過(guò)程中,才發(fā)現(xiàn)自己對(duì)于字符編碼、以及 python 內(nèi)部字符串表示的相關(guān)知識(shí)的缺乏。在這期間,踩過(guò)了不少坑,到最后雖然還有些模糊的地方,但總算有一個(gè)總體清晰的了解。在此記錄下心得,避免以后在同一個(gè)地方跌倒。

以下的測(cè)試環(huán)境是 ArcGIS 10.3 自帶的 python 2.7.8 環(huán)境,不保證其他 python 環(huán)境也適用。

python 正則表達(dá)式

python 中的正則功能由內(nèi)嵌的 re 函數(shù)庫(kù)提供,主要用到 3 個(gè)函數(shù)。re.compile() 提供可重用的正則表達(dá)式,match() search() 函數(shù)返回匹配結(jié)果,兩者之間的區(qū)別在于: match() 從指定位置開(kāi)始匹配,search() 會(huì)從指定位置向后搜索直到找到匹配字符串。例如下面的代碼中,match_result 從第一個(gè)字符 f 開(kāi)始匹配,匹配失敗返回空值;search_result 從 f 開(kāi)始向后搜索,直到找到第一個(gè)匹配的字符 a, 然后通過(guò) group() 函數(shù)輸出匹配結(jié)果為字符 a。

import re

pattern = re.compile('[abc]')
match_result = pattern.match('fabc')
if match_result:
 print match_result.group()

search_result = pattern.search('fabc')
if search_result:
 print search_result.group()

以上的實(shí)現(xiàn)方式需要先編譯一個(gè) pattern,然后再進(jìn)行匹配。實(shí)際上,我們可以直接利用 re.match(pattern, string) 函數(shù)來(lái)實(shí)現(xiàn)相同的功能。但是直接匹配的方式?jīng)]有先編譯再匹配的方式靈活,首先是正則表達(dá)式?jīng)]辦法重用,如果大量數(shù)據(jù)進(jìn)行同一模式匹配,意味著每次都需要內(nèi)部編譯,造成性能損失;另外,re.match() 函數(shù)沒(méi)有 pattern.match() 功能強(qiáng)大,后者可以指定從哪個(gè)位置開(kāi)始匹配。

編碼問(wèn)題

了解 python 正則的基本功能后,剩下的事情就是找到一個(gè)合適的正則表達(dá)式來(lái)匹配生僻字和非法字符。非法字符很簡(jiǎn)單,采用以下 pattern 就可以實(shí)現(xiàn)匹配:

pattern = re.compile(r'[~!@#$%^&* ]')

然而對(duì)于生僻字的匹配,著實(shí)難倒了我。首先是對(duì)于生僻字的定義,什么樣的字算生僻字?經(jīng)過(guò)咨詢(xún)項(xiàng)目經(jīng)理,規(guī)定非 GB2312 的字符屬于生僻字。接下來(lái)的問(wèn)題是,如何匹配 GB2312 字符?

經(jīng)過(guò)查詢(xún),GB2312 的范圍是 [xA1-xF7][xA1-xFE] ,其中漢字區(qū)的范圍是 [xB0-xF7][xA1-xFE] 。因此,添加生僻字匹配后的表達(dá)式為:

pattern = re.compile(r'[~!@#$%^&* ]|[^xA1-xF7][^xA1-xFE]')

問(wèn)題似乎是順理得當(dāng)?shù)亟鉀Q了,然而我還是 too simple too naive 。由于要判斷的字符串都是從圖層文件讀取的,arcpy 貼心地將讀取的字符編碼為 unicode 格式。因此,我需要找出 GB2312 字符集在 unicode 中的編碼范圍。但現(xiàn)實(shí)是,GB2312 字符集在 unicode 中的分布并不是連續(xù)的,使用正則表示這個(gè)范圍必定是非常復(fù)雜的。使用正則表達(dá)式匹配生僻字的構(gòu)想,似乎陷入了死胡同。

解決方案

既然提供的字符串是 unicode 格式,那么我可不可以將其轉(zhuǎn)換為 GB2312 再進(jìn)行匹配呢?實(shí)際上是不行,因?yàn)?unicode 字符集要遠(yuǎn)大于 GB2312 字符集,因此 GB2312 => unicode 總是可以實(shí)現(xiàn)的,而反過(guò)來(lái) unicode => GB2312 不一定能成功。

這突然為我提供了另外一種思路,假設(shè)一個(gè)字符串的 unicode => GB2312 轉(zhuǎn)換會(huì)失敗,那么是不是恰恰說(shuō)明了它不屬于 GB2312 字符集?所以,我使用 unicode_string.encode('GB2312') 函數(shù)嘗試轉(zhuǎn)換字符串,捕獲 UnicodeEncodeError 異常來(lái)識(shí)別生僻字。

最終的代碼如下:

import re

def is_rare_name(string):
 pattern = re.compile(u"[~!@#$%^&* ]")
 match = pattern.search(string)
 if match:
 return True

 try:
 string.encode("gb2312")
 except UnicodeEncodeError:
 return True

 return False

總結(jié)

聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

文檔

如何用Python檢測(cè)生僻字

如何用Python檢測(cè)生僻字:最近在工作中碰到一個(gè)需求,要求檢測(cè)字段是否包含生僻字以及一些非法字符如 ~!@#$%^&*。通過(guò)網(wǎng)上的查找資料解決了,現(xiàn)在將解決的過(guò)程和示例代碼分享給大家,有需要的可以參考借鑒。下面來(lái)一起看看吧。解決思路首先想到的就是利用 python 的正則表達(dá)式
推薦度:
標(biāo)簽: 生僻字 怎么 python
  • 熱門(mén)焦點(diǎn)

最新推薦

猜你喜歡

熱門(mén)推薦

專(zhuān)題
Top
主站蜘蛛池模板: 成人国产激情福利久久精品 | 亚洲欧美v | 欧美区一区 | 欧美精品一区二区三区久久 | 亚洲国产欧美自拍 | 91精品一区二区三区在线播放 | 亚洲啪啪网址 | 自拍 欧美 在线 综合 另类 | 久久久久久久国产a∨ | 国内精品视频免费观看 | 日本丶国产丶欧美色综合 | 国产高清a毛片在线看 | 国产成人深夜福利短视频99 | 欧美精品一区二区三区视频 | 99久久亚洲精品影院 | 久久不射网 | 精品国产一区二区在线观看 | 97久久精品一区二区三区 | 一区二区在线播放视频 | 欧美亚洲天堂 | 一区二区三区欧美视频 | 国产精品1区2区3区 国产精品1234区 | 欧美一区二区三区网站 | 97精品国产97久久久久久 | 婷婷在线免费视频 | 日本a天堂 | 欧美高清性xxxxxxx | 亚洲一区二区三区精品影院 | 亚洲一区自拍 | 97久久精品一区二区三区 | 欧美日韩精品一区二区三区视频在线 | 亚洲一区中文字幕在线 | 亚洲成a人一区二区三区 | 欧美日比 | 亚洲色图国产精品 | 国产日韩欧美视频 | 亚洲va欧美ⅴa国产va影院 | 日本伊人久久 | 在线观看国产视频 | 亚洲视频在线免费观看 | 日韩欧美一区二区三区免费看 |