国产99久久精品_欧美日本韩国一区二区_激情小说综合网_欧美一级二级视频_午夜av电影_日本久久精品视频

最新文章專題視頻專題問答1問答10問答100問答1000問答2000關鍵字專題1關鍵字專題50關鍵字專題500關鍵字專題1500TAG最新視頻文章推薦1 推薦3 推薦5 推薦7 推薦9 推薦11 推薦13 推薦15 推薦17 推薦19 推薦21 推薦23 推薦25 推薦27 推薦29 推薦31 推薦33 推薦35 推薦37視頻文章20視頻文章30視頻文章40視頻文章50視頻文章60 視頻文章70視頻文章80視頻文章90視頻文章100視頻文章120視頻文章140 視頻2關鍵字專題關鍵字專題tag2tag3文章專題文章專題2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章專題3
問答文章1 問答文章501 問答文章1001 問答文章1501 問答文章2001 問答文章2501 問答文章3001 問答文章3501 問答文章4001 問答文章4501 問答文章5001 問答文章5501 問答文章6001 問答文章6501 問答文章7001 問答文章7501 問答文章8001 問答文章8501 問答文章9001 問答文章9501
當前位置: 首頁 - 科技 - 知識百科 - 正文

Python檢測生僻字的實現方法

來源:懂視網 責編:小采 時間:2020-11-27 14:27:37
文檔

Python檢測生僻字的實現方法

Python檢測生僻字的實現方法:解決思路 首先想到的就是利用 python 的正則表達式來匹配非法字符,然后找出非法記錄。然而理想總是豐滿的,現實卻是殘酷的。在實現的過程中,才發現自己對于字符編碼、以及 python 內部字符串表示的相關知識的缺乏。在這期間,踩過了不少坑,到最后雖然還有
推薦度:
導讀Python檢測生僻字的實現方法:解決思路 首先想到的就是利用 python 的正則表達式來匹配非法字符,然后找出非法記錄。然而理想總是豐滿的,現實卻是殘酷的。在實現的過程中,才發現自己對于字符編碼、以及 python 內部字符串表示的相關知識的缺乏。在這期間,踩過了不少坑,到最后雖然還有

解決思路

首先想到的就是利用 python 的正則表達式來匹配非法字符,然后找出非法記錄。然而理想總是豐滿的,現實卻是殘酷的。在實現的過程中,才發現自己對于字符編碼、以及 python 內部字符串表示的相關知識的缺乏。在這期間,踩過了不少坑,到最后雖然還有些模糊的地方,但總算有一個總體清晰的了解。在此記錄下心得,避免以后在同一個地方跌倒。

以下的測試環境是 ArcGIS 10.3 自帶的 python 2.7.8 環境,不保證其他 python 環境也適用。

python 正則表達式

python 中的正則功能由內嵌的 re 函數庫提供,主要用到 3 個函數。re.compile() 提供可重用的正則表達式,match() search() 函數返回匹配結果,兩者之間的區別在于: match() 從指定位置開始匹配,search() 會從指定位置向后搜索直到找到匹配字符串。例如下面的代碼中,match_result 從第一個字符 f 開始匹配,匹配失敗返回空值;search_result 從 f 開始向后搜索,直到找到第一個匹配的字符 a, 然后通過 group() 函數輸出匹配結果為字符 a。

import re

pattern = re.compile('[abc]')
match_result = pattern.match('fabc')
if match_result:
 print match_result.group()

search_result = pattern.search('fabc')
if search_result:
 print search_result.group()

以上的實現方式需要先編譯一個 pattern,然后再進行匹配。實際上,我們可以直接利用 re.match(pattern, string) 函數來實現相同的功能。但是直接匹配的方式沒有先編譯再匹配的方式靈活,首先是正則表達式沒辦法重用,如果大量數據進行同一模式匹配,意味著每次都需要內部編譯,造成性能損失;另外,re.match() 函數沒有 pattern.match() 功能強大,后者可以指定從哪個位置開始匹配。

編碼問題

了解 python 正則的基本功能后,剩下的事情就是找到一個合適的正則表達式來匹配生僻字和非法字符。非法字符很簡單,采用以下 pattern 就可以實現匹配:

pattern = re.compile(r'[~!@#$%^&* ]')

然而對于生僻字的匹配,著實難倒了我。首先是對于生僻字的定義,什么樣的字算生僻字?經過咨詢項目經理,規定非 GB2312 的字符屬于生僻字。接下來的問題是,如何匹配 GB2312 字符?

經過查詢,GB2312 的范圍是 [xA1-xF7][xA1-xFE] ,其中漢字區的范圍是 [xB0-xF7][xA1-xFE] 。因此,添加生僻字匹配后的表達式為:

pattern = re.compile(r'[~!@#$%^&* ]|[^xA1-xF7][^xA1-xFE]')

問題似乎是順理得當地解決了,然而我還是 too simple too naive 。由于要判斷的字符串都是從圖層文件讀取的,arcpy 貼心地將讀取的字符編碼為 unicode 格式。因此,我需要找出 GB2312 字符集在 unicode 中的編碼范圍。但現實是,GB2312 字符集在 unicode 中的分布并不是連續的,使用正則表示這個范圍必定是非常復雜的。使用正則表達式匹配生僻字的構想,似乎陷入了死胡同。

解決方案

既然提供的字符串是 unicode 格式,那么我可不可以將其轉換為 GB2312 再進行匹配呢?實際上是不行,因為 unicode 字符集要遠大于 GB2312 字符集,因此 GB2312 => unicode 總是可以實現的,而反過來 unicode => GB2312 不一定能成功。

這突然為我提供了另外一種思路,假設一個字符串的 unicode => GB2312 轉換會失敗,那么是不是恰恰說明了它不屬于 GB2312 字符集?所以,我使用 unicode_string.encode('GB2312') 函數嘗試轉換字符串,捕獲 UnicodeEncodeError 異常來識別生僻字。

最終的代碼如下:

import re

def is_rare_name(string):
 pattern = re.compile(u"[~!@#$%^&* ]")
 match = pattern.search(string)
 if match:
 return True

 try:
 string.encode("gb2312")
 except UnicodeEncodeError:
 return True

 return False

總結

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

文檔

Python檢測生僻字的實現方法

Python檢測生僻字的實現方法:解決思路 首先想到的就是利用 python 的正則表達式來匹配非法字符,然后找出非法記錄。然而理想總是豐滿的,現實卻是殘酷的。在實現的過程中,才發現自己對于字符編碼、以及 python 內部字符串表示的相關知識的缺乏。在這期間,踩過了不少坑,到最后雖然還有
推薦度:
標簽: 生僻字 實現 python
  • 熱門焦點

最新推薦

猜你喜歡

熱門推薦

專題
Top
主站蜘蛛池模板: 久久久久久国产精品视频 | 亚洲欧美视频一区 | 欧美一区二区三区免费 | 国产免费高清 | 一级不卡毛片免费 | 国产在线一区二区三区四区 | 日韩欧美91 | 久久久久久亚洲精品不卡 | 国产在线精品观看 | 国产资源在线看 | 日韩免费高清视频网站 | 久久久青青久久国产精品 | 国产日韩欧美视频在线 | 欧美亚洲一二三区 | 欧美激情视频一区 | 亚洲精品美女久久777777 | 日本免费一区尤物 | 亚洲国产成人久久综合碰 | 日韩 国产 欧美 | 国产精品免费看 | 亚洲第一区视频 | 欧美国产日韩另类 | 天天欧美 | 国产精品亚洲片在线观看不卡 | 国产原创一区二区 | 国产激情在线观看 | 久久国产精品久久久久久久久久 | 国内高清久久久久久久久 | 欧美日韩亚洲一区 | 在线亚洲精品国产成人二区 | 亚洲一区日韩一区欧美一区a | 亚洲国产欧美日韩精品一区二区三区 | 欧美雌雄双性人交xxxx | 国产香蕉视频在线 | 毛片免费网| 国产区精品视频 | 国产欧美色图 | 日韩在线免费视频 | 国内精品久久久久久久久 | 日韩精品小视频 | 欧美日韩一区二区三区在线 |