You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
tdepim/indexlib/tokenizer.cpp

301 lines
6.6 KiB

This file contains invisible Unicode characters!

This file contains invisible Unicode characters that may be processed differently from what appears below. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to reveal hidden characters.

#include "tokenizer.h"
#include <algorithm>
#include <vector>
#include <string>
#include <cassert>
using std::string;
using std::vector;
namespace {
vector<string> split( const char* str, const char delim ) {
assert( str );
vector<string> res;
while ( *str == delim ) ++str;
while ( *str ) {
const char* start = str++;
while ( *str && *str != delim ) ++str;
res.push_back( string( start, str ) );
while ( *str == delim ) ++str;
}
return res;
}
class latin1_tokenizer : public indexlib::detail::tokenizer {
private:
static const char stop = 46; // .
static void normalize( char& c ) {
const char result[] = {
stop, // [ 0 ]
stop, // [ 1 ]
stop, // [ 2 ]
stop, // [ 3 ]
stop, // [ 4 ]
stop, // [ 5 ]
stop, // [ 6 ]
stop, // [ 7 ]
stop, // ^H [ 8 ]
stop, // \t [ 9 ]
stop, // [ 10 ]
stop, // [ 11 ]
stop, // [ 12 ]
stop, // [ 13 ]
stop, // [ 14 ]
stop, // [ 15 ]
stop, // [ 16 ]
stop, // [ 17 ]
stop, // [ 18 ]
stop, // [ 19 ]
stop, // [ 20 ]
stop, // [ 21 ]
stop, // [ 22 ]
stop, // [ 23 ]
stop, // [ 24 ]
stop, // [ 25 ]
stop, // [ 26 ]
stop, // [ 27 ]
stop, // [ 28 ]
stop, // [ 29 ]
stop, // [ 30 ]
stop, // [ 31 ]
stop, // [ 32 ]
stop, // ! [ 33 ]
stop, // " [ 34 ]
stop, // # [ 35 ]
stop, // $ [ 36 ]
stop, // % [ 37 ]
stop, // & [ 38 ]
stop, // ' [ 39 ]
stop, // ( [ 40 ]
stop, // ) [ 41 ]
stop, // * [ 42 ]
stop, // + [ 43 ]
stop, // , [ 44 ]
stop, // - [ 45 ]
stop, // . [ 46 ]
stop, // / [ 47 ]
'0', // 0 [ 48 ]
'1', // 1 [ 49 ]
'2', // 2 [ 50 ]
'3', // 3 [ 51 ]
'4', // 4 [ 52 ]
'5', // 5 [ 53 ]
'6', // 6 [ 54 ]
'7', // 7 [ 55 ]
'8', // 8 [ 56 ]
'9', // 9 [ 57 ]
stop, // : [ 58 ]
stop, // ; [ 59 ]
stop, // < [ 60 ]
stop, // = [ 61 ]
stop, // > [ 62 ]
stop, // ? [ 63 ]
stop, // @ [ 64 ]
'A', // A [ 65 ]
'B', // B [ 66 ]
'C', // C [ 67 ]
'D', // D [ 68 ]
'E', // E [ 69 ]
'F', // F [ 70 ]
'G', // G [ 71 ]
'H', // H [ 72 ]
'I', // I [ 73 ]
'J', // J [ 74 ]
'K', // K [ 75 ]
'L', // L [ 76 ]
'M', // M [ 77 ]
'N', // N [ 78 ]
'O', // O [ 79 ]
'P', // P [ 80 ]
'Q', // Q [ 81 ]
'R', // R [ 82 ]
'S', // S [ 83 ]
'T', // T [ 84 ]
'U', // U [ 85 ]
'V', // V [ 86 ]
'W', // W [ 87 ]
'X', // X [ 88 ]
'Y', // Y [ 89 ]
'Z', // Z [ 90 ]
stop, // [ [ 91 ]
stop, // \ [ 92 ]
stop, // ] [ 93 ]
stop, // ^ [ 94 ]
stop, // _ [ 95 ]
stop, // ` [ 96 ]
'A', // a [ 97 ]
'B', // b [ 98 ]
'C', // c [ 99 ]
'D', // d [ 100 ]
'E', // e [ 101 ]
'F', // f [ 102 ]
'G', // g [ 103 ]
'H', // h [ 104 ]
'I', // i [ 105 ]
'J', // j [ 106 ]
'K', // k [ 107 ]
'L', // l [ 108 ]
'M', // m [ 109 ]
'N', // n [ 110 ]
'O', // o [ 111 ]
'P', // p [ 112 ]
'Q', // q [ 113 ]
'R', // r [ 114 ]
'S', // s [ 115 ]
'T', // t [ 116 ]
'U', // u [ 117 ]
'V', // v [ 118 ]
'W', // w [ 119 ]
'X', // x [ 120 ]
'Y', // y [ 121 ]
'Z', // z [ 122 ]
stop, // { [ 123 ]
stop, // | [ 124 ]
stop, // } [ 125 ]
stop, // ~ [ 126 ]
stop, //  [ 127 ]
stop, // <20> [ 128 ]
stop, // <20> [ 129 ]
stop, // <20> [ 130 ]
stop, // <20> [ 131 ]
stop, // <20> [ 132 ]
stop, // <20> [ 133 ]
stop, // <20> [ 134 ]
stop, // <20> [ 135 ]
stop, // <20> [ 136 ]
stop, // <20> [ 137 ]
stop, // <20> [ 138 ]
stop, // <20> [ 139 ]
stop, // <20> [ 140 ]
stop, // <20> [ 141 ]
stop, // <20> [ 142 ]
stop, // <20> [ 143 ]
stop, // <20> [ 144 ]
stop, // <20> [ 145 ]
stop, // <20> [ 146 ]
stop, // <20> [ 147 ]
stop, // <20> [ 148 ]
stop, // <20> [ 149 ]
stop, // <20> [ 150 ]
stop, // <20> [ 151 ]
stop, // <20> [ 152 ]
stop, // <20> [ 153 ]
stop, // <20> [ 154 ]
stop, // <20> [ 155 ]
stop, // <20> [ 156 ]
stop, // <20> [ 157 ]
stop, // <20> [ 158 ]
stop, // <20> [ 159 ]
stop, // <20> [ 160 ]
stop, // <20> [ 161 ]
stop, // <20> [ 162 ]
stop, // <20> [ 163 ]
stop, // <20> [ 164 ]
stop, // <20> [ 165 ]
stop, // <20> [ 166 ]
stop, // <20> [ 167 ]
stop, // <20> [ 168 ]
stop, // <20> [ 169 ]
stop, // <20> [ 170 ]
stop, // <20> [ 171 ]
stop, // <20> [ 172 ]
stop, // <20> [ 173 ]
stop, // <20> [ 174 ]
stop, // <20> [ 175 ]
stop, // <20> [ 176 ]
stop, // <20> [ 177 ]
stop, // <20> [ 178 ]
stop, // <20> [ 179 ]
stop, // <20> [ 180 ]
stop, // <20> [ 181 ]
stop, // <20> [ 182 ]
stop, // <20> [ 183 ]
stop, // <20> [ 184 ]
stop, // <20> [ 185 ]
stop, // <20> [ 186 ]
stop, // <20> [ 187 ]
stop, // <20> [ 188 ]
stop, // <20> [ 189 ]
stop, // <20> [ 190 ]
stop, // <20> [ 191 ]
'A', // <20> [ 192 ]
'A', // <20> [ 193 ]
'A', // <20> [ 194 ]
'A', // <20> [ 195 ]
'A', // <20> [ 196 ]
'A', // <20> [ 197 ]
'A', // <20> [ 198 ]
'C', // <20> [ 199 ]
'E', // <20> [ 200 ]
'E', // <20> [ 201 ]
'E', // <20> [ 202 ]
'E', // <20> [ 203 ]
'I', // <20> [ 204 ]
'I', // <20> [ 205 ]
'I', // <20> [ 206 ]
'I', // <20> [ 207 ]
'D', // <20> [ 208 ]
'N', // <20> [ 209 ]
'O', // <20> [ 210 ]
'O', // <20> [ 211 ]
'O', // <20> [ 212 ]
'O', // <20> [ 213 ]
'O', // <20> [ 214 ]
'X', // <20> [ 215 ]
'O', // <20> [ 216 ]
'U', // <20> [ 217 ]
'U', // <20> [ 218 ]
'U', // <20> [ 219 ]
'U', // <20> [ 220 ]
'Y', // <20> [ 221 ]
'T', // <20> [ 222 ]
'S', // <20> [ 223 ]
'A', // <20> [ 224 ]
'A', // <20> [ 225 ]
'A', // <20> [ 226 ]
'A', // <20> [ 227 ]
'A', // <20> [ 228 ]
'A', // <20> [ 229 ]
'A', // <20> [ 230 ]
'C', // <20> [ 231 ]
'E', // <20> [ 232 ]
'E', // <20> [ 233 ]
'E', // <20> [ 234 ]
'E', // <20> [ 235 ]
'I', // <20> [ 236 ]
'I', // <20> [ 237 ]
'I', // <20> [ 238 ]
'I', // <20> [ 239 ]
stop, // <20> [ 240 ]
'N', // <20> [ 241 ]
'O', // <20> [ 242 ]
'O', // <20> [ 243 ]
'O', // <20> [ 244 ]
'O', // <20> [ 245 ]
'O', // <20> [ 246 ]
stop, // <20> [ 247 ]
'O', // <20> [ 248 ]
'U', // <20> [ 249 ]
'U', // <20> [ 250 ]
'U', // <20> [ 251 ]
'U', // <20> [ 252 ]
'Y', // <20> [ 253 ]
'T', // <20> [ 254 ]
'Y' // <20> [ 255 ]
};
c = result[ static_cast<unsigned char>( c ) ];
}
std::vector<std::string> do_string_to_words( const char* str ) {
string complete = str;
std::for_each( complete.begin(), complete.end(), normalize );
return split( complete.c_str(), stop );
}
};
}
std::auto_ptr<indexlib::detail::tokenizer> indexlib::detail::get_tokenizer( std::string name ) {
if ( name == "latin-1:european" ) return std::auto_ptr<indexlib::detail::tokenizer>( new latin1_tokenizer );
return std::auto_ptr<indexlib::detail::tokenizer>( 0 );
}