test: add maccyrillic
This commit is contained in:
parent
8a9170ddf1
commit
31cf5be8d1
2 changed files with 167 additions and 1 deletions
157
test/testdata/ru/X-MAC-CYRILLIC/wikitop_ru_MACCYRILLIC.txt
vendored
Normal file
157
test/testdata/ru/X-MAC-CYRILLIC/wikitop_ru_MACCYRILLIC.txt
vendored
Normal file
|
@ -0,0 +1,157 @@
|
||||||
|
#‚икипедиЯ (ru) copyright ‚икипедиЯ С Atom-лента
|
||||||
|
|
||||||
|
‡аглавнаЯ страница
|
||||||
|
|
||||||
|
Њатериал из ‚икипедии С свободной энциклопедии
|
||||||
|
‘табильнаЯ версиЯ была проверена 19 сентЯбрЯ 2011. €меютсЯ
|
||||||
|
непроверенные изменениЯ в шаблонах или файлах.
|
||||||
|
’екущаЯ версиЯ показать/скрыть подробности
|
||||||
|
‘табильнаЯ версиЯ была проверена 19 сентЯбрЯ 2011. €меютсЯ
|
||||||
|
непроверенные изменениЯ в шаблонах или файлах.
|
||||||
|
Џерейти к: навигациЯ, поиск
|
||||||
|
|
||||||
|
|
||||||
|
„обро пожаловать в ‚икипедию,
|
||||||
|
|
||||||
|
свободную энциклопедию, которую может редактировать каждый.
|
||||||
|
‘ейчас в ‚икипедии 779 821 статьЯ на русском Языке.
|
||||||
|
|
||||||
|
ѓеографиЯ
|
||||||
|
€скусство
|
||||||
|
€сториЯ
|
||||||
|
Њузыка
|
||||||
|
|
||||||
|
Ќаука
|
||||||
|
Ћбщество
|
||||||
|
Џерсоналии
|
||||||
|
ђелигиЯ
|
||||||
|
|
||||||
|
‘порт
|
||||||
|
’ехника
|
||||||
|
”илософиЯ
|
||||||
|
‚се порталы
|
||||||
|
‘оздать статью (с помощником) ‘правка ‘истема рубрикации Џресса о
|
||||||
|
‚икипедии
|
||||||
|
|
||||||
|
€збраннаЯ статьЯ
|
||||||
|
|
||||||
|
‘хема распределениЯ депутатов II „умы по фракциЯм
|
||||||
|
|
||||||
|
З’ретьеиюньский переворотИ С широко распространЮнное название
|
||||||
|
произошедшего 3 (16) июнЯ 1907 года в ђоссии досрочного роспуска II
|
||||||
|
ѓосударственной „умы, сопровождавшегосЯ изменением избирательной
|
||||||
|
системы.
|
||||||
|
|
||||||
|
Џричиной роспуска II „умы послужила невозможность наладить
|
||||||
|
конструктивное взаимодействие между правительством, возглавлЯемым
|
||||||
|
премьер-министром Џ. Ђ. ‘толыпиным, и „умой, значительную часть которой
|
||||||
|
составлЯли представители крайних левых партий (социал-демократы,
|
||||||
|
социалисты-революционеры, народные социалисты) и примыкавшие к ним
|
||||||
|
трудовики. II „ума, открывшаЯсЯ 20 февралЯ 1907 года, имела не менее
|
||||||
|
оппозиционное настроение, чем ранее распущеннаЯ I „ума. „ума проЯвила
|
||||||
|
тенденцию к отклонению всех правительственных законопроектов и бюджета,
|
||||||
|
а законопроекты, предлагавшиесЯ „умой, заведомо не могли быть
|
||||||
|
утверждены ѓосударственным ‘оветом и императором. ‘ложившаЯсЯ ситуациЯ
|
||||||
|
представлЯла собой конституционный кризис С Ћсновные государственные
|
||||||
|
законы (фактически конституциЯ ђоссии) позволЯли императору в любой
|
||||||
|
момент распустить „уму, но он был обЯзан созвать новую „уму и не мог
|
||||||
|
без еЮ согласиЯ изменить избирательный закон; но при этом следующаЯ
|
||||||
|
„ума, предположительно, не отличалась бы по оппозиционности от
|
||||||
|
распущенной.
|
||||||
|
|
||||||
|
(далееЙ)
|
||||||
|
„ругие избранные статьи (471) | Љандидаты | Џросмотр
|
||||||
|
|
||||||
|
•орошаЯ статьЯ
|
||||||
|
|
||||||
|
‹идер команды в 1992С1996 годы <20>акил ЋХЌил
|
||||||
|
|
||||||
|
ЗЋрландо ЊэджикИ (англ. Orlando Magic) С профессиональный баскетбольный
|
||||||
|
клуб, выступающий в ћго-‚осточном дивизионе ‚осточной конференции
|
||||||
|
Ќациональной баскетбольной ассоциации. Љлуб присоединилсЯ к лиге в 1989
|
||||||
|
году, одновременно с ЗЊиннесотой ’имбервулвзИ, в результате расширениЯ
|
||||||
|
ЌЃЂ. Љоманда базируетсЯ в городе Ћрландо, ”лорида, и домашние игры
|
||||||
|
проводит на арене Зќмвей-центраИ, построенного в 2010 году. ‚ еЮ
|
||||||
|
составе играли такие игроки, как <20>акил ЋХЌил, Ђнферни •ардуэй, ѓрант
|
||||||
|
•илл, ђашид “оллес, ’рэйси Њакгрэди, „уайт •овард, Ѓен “оллес и ‚инс
|
||||||
|
Љартер. ‡а 22 года в ЌЃЂ команда 13 раз выходила в плей-офф, 5 раз
|
||||||
|
становилась чемпионом дивизиона и 2 раза выходила в финал ЌЃЂ (в 2004 и
|
||||||
|
2009 годах). Џо состоЯнию на 2011 год, клуб ЯвлЯетсЯ единственной
|
||||||
|
командой из главных спортивных лиг ‘<>Ђ в Ћрландо.
|
||||||
|
(далееЙ)
|
||||||
|
„ругие хорошие статьи (1194) | Љандидаты | Џросмотр
|
||||||
|
|
||||||
|
€збранные списки и порталы
|
||||||
|
|
||||||
|
|
||||||
|
Џоследний избранный список:
|
||||||
|
ESEFUL.jpg
|
||||||
|
‘писок главных тренеров, выигравших упразднЮнные клубные турниры
|
||||||
|
ЉЋЌЊ…ЃЋ‹ (1988С2001)
|
||||||
|
Џоследний избранный портал:
|
||||||
|
Australia stub.svg
|
||||||
|
ЂвстралиЯ
|
||||||
|
„ругие избранные списки и порталы | Љандидаты | Џросмотр
|
||||||
|
|
||||||
|
€зображение днЯ
|
||||||
|
|
||||||
|
‘амка обыкновенного шимпанзе (Pan troglodytes) с детЮнышем. ‡оопарк
|
||||||
|
ѓоссау, <20>вейцариЯ.
|
||||||
|
‘амка обыкновенного шимпанзе (Pan troglodytes) с детЮнышем. ‡оопарк
|
||||||
|
ѓоссау, <20>вейцариЯ.
|
||||||
|
Џросмотр
|
||||||
|
|
||||||
|
‡наете ли вы?
|
||||||
|
|
||||||
|
€з новых статей ‚икипедии
|
||||||
|
‹ариса ђикельме
|
||||||
|
* ЂктивнаЯ поддержка своей национальной сборной на чемпионате мира по
|
||||||
|
футболу сделала одну модель (на фото) самой высокооплачиваемой в
|
||||||
|
Џарагвае.
|
||||||
|
* Halomonas titanicae в ближайшем будущем съест З’итаникИ.
|
||||||
|
* „етскаЯ пелЮнка стала символом гражданского протеста против
|
||||||
|
действий аргентинской хунты.
|
||||||
|
* Њастер, изготовлЯвший шлЯпы длЯ фильмов о ѓарри Џоттере, делал
|
||||||
|
головные уборы и длЯ королевской семьи.
|
||||||
|
|
||||||
|
„ерево ЗѓиперионИ
|
||||||
|
* ‘амое высокое в мире дерево (на фото) удалось вычислить только 5
|
||||||
|
лет назад.
|
||||||
|
* „лЯ созданиЯ атмосферы таинственности фильм З€нкубИ целиком снЯт на
|
||||||
|
Языке эсперанто.
|
||||||
|
* Ђвстралийский премьер-министр в своЮ времЯ побеждал в национальной
|
||||||
|
викторине.
|
||||||
|
* Ќападение марсиан на ќквадор завершилось гибелью шести человек.
|
||||||
|
* Џроблема Зчто, если бы Ѓог создал множество миров?И обсуждалась ещЮ
|
||||||
|
в ‘редневековье отцами церкви и служит причиной религиозных
|
||||||
|
диспутов и поныне.
|
||||||
|
* Љанадский хоккеист был настолько рад выигрышу Љубка ‘тэнли, что
|
||||||
|
решил крестить в нЮм свою дочь.
|
||||||
|
|
||||||
|
ЏредложениЯ | Ђрхив | Џросмотр | Ћбсудить
|
||||||
|
|
||||||
|
‚ этот день С 21 октЯбрЯ
|
||||||
|
|
||||||
|
‚енденский замок
|
||||||
|
* 1097 С крестоносцы осадили Ђнтиохию
|
||||||
|
* 1520 С ”ернан Њагеллан открыл пролив между Ђтлантическим и ’ихим
|
||||||
|
океанами
|
||||||
|
* 1578 С поражение русской армии у стен ‚енденского замка (на илл.)
|
||||||
|
* 1727 С русский уполномоченный ‘авва ђагузинский подписал договор о
|
||||||
|
торговле с Љитаем
|
||||||
|
* 1805 С ’рафальгарскаЯ битва оставила Ќаполеона без флота
|
||||||
|
* 1858 С премьера оперетты Ћффенбаха ЗЋрфей в адуИ, на которой
|
||||||
|
впервые был исполнен канкан
|
||||||
|
* 1895 С вторжение Японцев на ’айвань, низвержение ’айваньской
|
||||||
|
республики
|
||||||
|
* 1967 С осада Џентагона противниками войны во ‚ьетнаме
|
||||||
|
|
||||||
|
‹оготип З‚икиновостейИ ‘обытиЯ 21 октЯбрЯ 2011 года в ‚икиновостЯх
|
||||||
|
Џросмотр
|
||||||
|
|
||||||
|
‘овместнаЯ работа недели
|
||||||
|
|
||||||
|
Џриглашаем всех желающих принЯть участие в работе над статьЯми о
|
||||||
|
средневековых русских кнЯжествах и о космической программе
|
||||||
|
ЗќнергиЯ-ЃуранИ.
|
||||||
|
п
|
|
@ -376,6 +376,15 @@ class TestCchardet():
|
||||||
print(detected_encoding)
|
print(detected_encoding)
|
||||||
eq_(encoding.lower(),detected_encoding['encoding'].lower())
|
eq_(encoding.lower(),detected_encoding['encoding'].lower())
|
||||||
|
|
||||||
|
def test_detect_ru_maccyrillic(self):
|
||||||
|
encoding = "MAC-CYRILLIC"
|
||||||
|
path = r"testdata/ru/X-MAC-CYRILLIC/wikitop_ru_MACCYRILLIC.txt"
|
||||||
|
with open(path, 'rb') as f:
|
||||||
|
msg = f.read()
|
||||||
|
detected_encoding = cchardet.detect(msg)
|
||||||
|
print(detected_encoding)
|
||||||
|
eq_(encoding.lower(),detected_encoding['encoding'].lower())
|
||||||
|
|
||||||
def test_detect_se_utf8(self):
|
def test_detect_se_utf8(self):
|
||||||
encoding = "UTF-8"
|
encoding = "UTF-8"
|
||||||
path = r"testdata/se/UTF-8/wikitop_se_UTF-8.txt"
|
path = r"testdata/se/UTF-8/wikitop_se_UTF-8.txt"
|
||||||
|
@ -482,4 +491,4 @@ class TestCchardetSpeed():
|
||||||
start_cchardet = time.time()
|
start_cchardet = time.time()
|
||||||
cchardet.detect(msg)
|
cchardet.detect(msg)
|
||||||
result_cchardet += (time.time() - start_cchardet)
|
result_cchardet += (time.time() - start_cchardet)
|
||||||
print('cchardet:',1/(result_cchardet/do_times), 'call(s)/s')
|
print('cchardet:',1/(result_cchardet/do_times), 'call(s)/s')
|
||||||
|
|
Loading…
Reference in a new issue