chars.c

   1 /*      $Id: chars.c,v 1.70 2017/06/02 12:43:52 schwarze Exp $ */
   2 /*
   3  * Copyright (c) 2009, 2010, 2011 Kristaps Dzonsons <kristaps@bsd.lv>
   4  * Copyright (c) 2011, 2014, 2015, 2017 Ingo Schwarze <schwarze@openbsd.org>
   5  *
   6  * Permission to use, copy, modify, and distribute this software for any
   7  * purpose with or without fee is hereby granted, provided that the above
   8  * copyright notice and this permission notice appear in all copies.
   9  *
  10  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
  11  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
  12  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
  13  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
  14  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
  15  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
  16  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
  17  */
  18 #include "config.h"
  19
  20 #include <sys/types.h>
  21
  22 #include <assert.h>
  23 #include <ctype.h>
  24 #include <stddef.h>
  25 #include <stdint.h>
  26 #include <stdlib.h>
  27 #include <string.h>
  28
  29 #include "mandoc.h"
  30 #include "mandoc_aux.h"
  31 #include "mandoc_ohash.h"
  32 #include "libmandoc.h"
  33
  34 struct  ln {
  35         const char        roffcode[16];
  36         const char       *ascii;
  37         int               unicode;
  38 };
  39
  40 /* Special break control characters. */
  41 static const char ascii_nbrsp[2] = { ASCII_NBRSP, '\0' };
  42 static const char ascii_break[2] = { ASCII_BREAK, '\0' };
  43
  44 static struct ln lines[] = {
  45
  46         /* Spacing. */
  47         { " ",                  ascii_nbrsp,    0x00a0  },
  48         { "~",                  ascii_nbrsp,    0x00a0  },
  49         { "0",                  " ",            0x2002  },
  50         { "|",                  "",             0       },
  51         { "^",                  "",             0       },
  52         { "&",                  "",             0       },
  53         { "%",                  "",             0       },
  54         { ":",                  ascii_break,    0       },
  55         /* XXX The following three do not really belong here. */
  56         { "t",                  "",             0       },
  57         { "c",                  "",             0       },
  58         { "}",                  "",             0       },
  59
  60         /* Lines. */
  61         { "ba",                 "|",            0x007c  },
  62         { "br",                 "|",            0x2502  },
  63         { "ul",                 "_",            0x005f  },
  64         { "rn",                 "-",            0x203e  },
  65         { "bb",                 "|",            0x00a6  },
  66         { "sl",                 "/",            0x002f  },
  67         { "rs",                 "\\",           0x005c  },
  68
  69         /* Text markers. */
  70         { "ci",                 "O",            0x25cb  },
  71         { "bu",                 "+\bo",         0x2022  },
  72         { "dd",                 "|\b=",         0x2021  },
  73         { "dg",                 "|\b-",         0x2020  },
  74         { "lz",                 "<>",           0x25ca  },
  75         { "sq",                 "[]",           0x25a1  },
  76         { "ps",                 "<par>",        0x00b6  },
  77         { "sc",                 "<sec>",        0x00a7  },
  78         { "lh",                 "<=",           0x261c  },
  79         { "rh",                 "=>",           0x261e  },
  80         { "at",                 "@",            0x0040  },
  81         { "sh",                 "#",            0x0023  },
  82         { "CR",                 "_|",           0x21b5  },
  83         { "OK",                 "\\/",          0x2713  },
  84         { "CL",                 "<club>",       0x2663  },
  85         { "SP",                 "<spade>",      0x2660  },
  86         { "HE",                 "<heart>",      0x2665  },
  87         { "DI",                 "<diamond>",    0x2666  },
  88
  89         /* Legal symbols. */
  90         { "co",                 "(C)",          0x00a9  },
  91         { "rg",                 "(R)",          0x00ae  },
  92         { "tm",                 "tm",           0x2122  },
  93
  94         /* Punctuation. */
  95         { "em",                 "--",           0x2014  },
  96         { "en",                 "-",            0x2013  },
  97         { "hy",                 "-",            0x2010  },
  98         { "e",                  "\\",           0x005c  },
  99         { ".",                  ".",            0x002e  },
 100         { "r!",                 "!",            0x00a1  },
 101         { "r?",                 "?",            0x00bf  },
 102
 103         /* Quotes. */
 104         { "Bq",                 ",,",           0x201e  },
 105         { "bq",                 ",",            0x201a  },
 106         { "lq",                 "\"",           0x201c  },
 107         { "rq",                 "\"",           0x201d  },
 108         { "Lq",                 "\"",           0x201c  },
 109         { "Rq",                 "\"",           0x201d  },
 110         { "oq",                 "`",            0x2018  },
 111         { "cq",                 "\'",           0x2019  },
 112         { "aq",                 "\'",           0x0027  },
 113         { "dq",                 "\"",           0x0022  },
 114         { "Fo",                 "<<",           0x00ab  },
 115         { "Fc",                 ">>",           0x00bb  },
 116         { "fo",                 "<",            0x2039  },
 117         { "fc",                 ">",            0x203a  },
 118
 119         /* Brackets. */
 120         { "lB",                 "[",            0x005b  },
 121         { "rB",                 "]",            0x005d  },
 122         { "lC",                 "{",            0x007b  },
 123         { "rC",                 "}",            0x007d  },
 124         { "la",                 "<",            0x27e8  },
 125         { "ra",                 ">",            0x27e9  },
 126         { "bv",                 "|",            0x23aa  },
 127         { "braceex",            "|",            0x23aa  },
 128         { "bracketlefttp",      "|",            0x23a1  },
 129         { "bracketleftbt",      "|",            0x23a3  },
 130         { "bracketleftex",      "|",            0x23a2  },
 131         { "bracketrighttp",     "|",            0x23a4  },
 132         { "bracketrightbt",     "|",            0x23a6  },
 133         { "bracketrightex",     "|",            0x23a5  },
 134         { "lt",                 ",-",           0x23a7  },
 135         { "bracelefttp",        ",-",           0x23a7  },
 136         { "lk",                 "{",            0x23a8  },
 137         { "braceleftmid",       "{",            0x23a8  },
 138         { "lb",                 "`-",           0x23a9  },
 139         { "braceleftbt",        "`-",           0x23a9  },
 140         { "braceleftex",        "|",            0x23aa  },
 141         { "rt",                 "-.",           0x23ab  },
 142         { "bracerighttp",       "-.",           0x23ab  },
 143         { "rk",                 "}",            0x23ac  },
 144         { "bracerightmid",      "}",            0x23ac  },
 145         { "rb",                 "-\'",          0x23ad  },
 146         { "bracerightbt",       "-\'",          0x23ad  },
 147         { "bracerightex",       "|",            0x23aa  },
 148         { "parenlefttp",        "/",            0x239b  },
 149         { "parenleftbt",        "\\",           0x239d  },
 150         { "parenleftex",        "|",            0x239c  },
 151         { "parenrighttp",       "\\",           0x239e  },
 152         { "parenrightbt",       "/",            0x23a0  },
 153         { "parenrightex",       "|",            0x239f  },
 154
 155         /* Arrows and lines. */
 156         { "<-",                 "<-",           0x2190  },
 157         { "->",                 "->",           0x2192  },
 158         { "<>",                 "<->",          0x2194  },
 159         { "da",                 "|\bv",         0x2193  },
 160         { "ua",                 "|\b^",         0x2191  },
 161         { "va",                 "^v",           0x2195  },
 162         { "lA",                 "<=",           0x21d0  },
 163         { "rA",                 "=>",           0x21d2  },
 164         { "hA",                 "<=>",          0x21d4  },
 165         { "uA",                 "=\b^",         0x21d1  },
 166         { "dA",                 "=\bv",         0x21d3  },
 167         { "vA",                 "^=v",          0x21d5  },
 168         { "an",                 "-",            0x23af  },
 169
 170         /* Logic. */
 171         { "AN",                 "^",            0x2227  },
 172         { "OR",                 "v",            0x2228  },
 173         { "no",                 "~",            0x00ac  },
 174         { "tno",                "~",            0x00ac  },
 175         { "te",                 "3",            0x2203  },
 176         { "fa",                 "-\bV",         0x2200  },
 177         { "st",                 "-)",           0x220b  },
 178         { "tf",                 ".:.",          0x2234  },
 179         { "3d",                 ".:.",          0x2234  },
 180         { "or",                 "|",            0x007c  },
 181
 182         /* Mathematicals. */
 183         { "pl",                 "+",            0x002b  },
 184         { "mi",                 "-",            0x2212  },
 185         { "-",                  "-",            0x002d  },
 186         { "-+",                 "-+",           0x2213  },
 187         { "+-",                 "+-",           0x00b1  },
 188         { "t+-",                "+-",           0x00b1  },
 189         { "pc",                 ".",            0x00b7  },
 190         { "md",                 ".",            0x22c5  },
 191         { "mu",                 "x",            0x00d7  },
 192         { "tmu",                "x",            0x00d7  },
 193         { "c*",                 "O\bx",         0x2297  },
 194         { "c+",                 "O\b+",         0x2295  },
 195         { "di",                 "-:-",          0x00f7  },
 196         { "tdi",                "-:-",          0x00f7  },
 197         { "f/",                 "/",            0x2044  },
 198         { "**",                 "*",            0x2217  },
 199         { "<=",                 "<=",           0x2264  },
 200         { ">=",                 ">=",           0x2265  },
 201         { "<<",                 "<<",           0x226a  },
 202         { ">>",                 ">>",           0x226b  },
 203         { "eq",                 "=",            0x003d  },
 204         { "!=",                 "!=",           0x2260  },
 205         { "==",                 "==",           0x2261  },
 206         { "ne",                 "!==",          0x2262  },
 207         { "ap",                 "~",            0x223c  },
 208         { "|=",                 "-~",           0x2243  },
 209         { "=~",                 "=~",           0x2245  },
 210         { "~~",                 "~~",           0x2248  },
 211         { "~=",                 "~=",           0x2248  },
 212         { "pt",                 "oc",           0x221d  },
 213         { "es",                 "{}",           0x2205  },
 214         { "mo",                 "E",            0x2208  },
 215         { "nm",                 "!E",           0x2209  },
 216         { "sb",                 "(=",           0x2282  },
 217         { "nb",                 "(!=",          0x2284  },
 218         { "sp",                 "=)",           0x2283  },
 219         { "nc",                 "!=)",          0x2285  },
 220         { "ib",                 "(=\b_",        0x2286  },
 221         { "ip",                 "=\b_)",        0x2287  },
 222         { "ca",                 "(^)",          0x2229  },
 223         { "cu",                 "U",            0x222a  },
 224         { "/_",                 "_\b/",         0x2220  },
 225         { "pp",                 "_\b|",         0x22a5  },
 226         { "is",                 "'\b,\bI",      0x222b  },
 227         { "integral",           "'\b,\bI",      0x222b  },
 228         { "sum",                "E",            0x2211  },
 229         { "product",            "TT",           0x220f  },
 230         { "coproduct",          "U",            0x2210  },
 231         { "gr",                 "V",            0x2207  },
 232         { "sr",                 "\\/",          0x221a  },
 233         { "sqrt",               "\\/",          0x221a  },
 234         { "lc",                 "|~",           0x2308  },
 235         { "rc",                 "~|",           0x2309  },
 236         { "lf",                 "|_",           0x230a  },
 237         { "rf",                 "_|",           0x230b  },
 238         { "if",                 "oo",           0x221e  },
 239         { "Ah",                 "N",            0x2135  },
 240         { "Im",                 "I",            0x2111  },
 241         { "Re",                 "R",            0x211c  },
 242         { "wp",                 "P",            0x2118  },
 243         { "pd",                 "a",            0x2202  },
 244         { "-h",                 "/h",           0x210f  },
 245         { "hbar",               "/h",           0x210f  },
 246         { "12",                 "1/2",          0x00bd  },
 247         { "14",                 "1/4",          0x00bc  },
 248         { "34",                 "3/4",          0x00be  },
 249         { "18",                 "1/8",          0x215B  },
 250         { "38",                 "3/8",          0x215C  },
 251         { "58",                 "5/8",          0x215D  },
 252         { "78",                 "7/8",          0x215E  },
 253         { "S1",                 "1",            0x00B9  },
 254         { "S2",                 "2",            0x00B2  },
 255         { "S3",                 "3",            0x00B3  },
 256
 257         /* Ligatures. */
 258         { "ff",                 "ff",           0xfb00  },
 259         { "fi",                 "fi",           0xfb01  },
 260         { "fl",                 "fl",           0xfb02  },
 261         { "Fi",                 "ffi",          0xfb03  },
 262         { "Fl",                 "ffl",          0xfb04  },
 263         { "AE",                 "AE",           0x00c6  },
 264         { "ae",                 "ae",           0x00e6  },
 265         { "OE",                 "OE",           0x0152  },
 266         { "oe",                 "oe",           0x0153  },
 267         { "ss",                 "ss",           0x00df  },
 268         { "IJ",                 "IJ",           0x0132  },
 269         { "ij",                 "ij",           0x0133  },
 270
 271         /* Accents. */
 272         { "a\"",                "\"",           0x02dd  },
 273         { "a-",                 "-",            0x00af  },
 274         { "a.",                 ".",            0x02d9  },
 275         { "a^",                 "^",            0x005e  },
 276         { "aa",                 "\'",           0x00b4  },
 277         { "\'",                 "\'",           0x00b4  },
 278         { "ga",                 "`",            0x0060  },
 279         { "`",                  "`",            0x0060  },
 280         { "ab",                 "'\b`",         0x02d8  },
 281         { "ac",                 ",",            0x00b8  },
 282         { "ad",                 "\"",           0x00a8  },
 283         { "ah",                 "v",            0x02c7  },
 284         { "ao",                 "o",            0x02da  },
 285         { "a~",                 "~",            0x007e  },
 286         { "ho",                 ",",            0x02db  },
 287         { "ha",                 "^",            0x005e  },
 288         { "ti",                 "~",            0x007e  },
 289
 290         /* Accented letters. */
 291         { "'A",                 "'\bA",         0x00c1  },
 292         { "'E",                 "'\bE",         0x00c9  },
 293         { "'I",                 "'\bI",         0x00cd  },
 294         { "'O",                 "'\bO",         0x00d3  },
 295         { "'U",                 "'\bU",         0x00da  },
 296         { "'a",                 "'\ba",         0x00e1  },
 297         { "'e",                 "'\be",         0x00e9  },
 298         { "'i",                 "'\bi",         0x00ed  },
 299         { "'o",                 "'\bo",         0x00f3  },
 300         { "'u",                 "'\bu",         0x00fa  },
 301         { "`A",                 "`\bA",         0x00c0  },
 302         { "`E",                 "`\bE",         0x00c8  },
 303         { "`I",                 "`\bI",         0x00cc  },
 304         { "`O",                 "`\bO",         0x00d2  },
 305         { "`U",                 "`\bU",         0x00d9  },
 306         { "`a",                 "`\ba",         0x00e0  },
 307         { "`e",                 "`\be",         0x00e8  },
 308         { "`i",                 "`\bi",         0x00ec  },
 309         { "`o",                 "`\bo",         0x00f2  },
 310         { "`u",                 "`\bu",         0x00f9  },
 311         { "~A",                 "~\bA",         0x00c3  },
 312         { "~N",                 "~\bN",         0x00d1  },
 313         { "~O",                 "~\bO",         0x00d5  },
 314         { "~a",                 "~\ba",         0x00e3  },
 315         { "~n",                 "~\bn",         0x00f1  },
 316         { "~o",                 "~\bo",         0x00f5  },
 317         { ":A",                 "\"\bA",        0x00c4  },
 318         { ":E",                 "\"\bE",        0x00cb  },
 319         { ":I",                 "\"\bI",        0x00cf  },
 320         { ":O",                 "\"\bO",        0x00d6  },
 321         { ":U",                 "\"\bU",        0x00dc  },
 322         { ":a",                 "\"\ba",        0x00e4  },
 323         { ":e",                 "\"\be",        0x00eb  },
 324         { ":i",                 "\"\bi",        0x00ef  },
 325         { ":o",                 "\"\bo",        0x00f6  },
 326         { ":u",                 "\"\bu",        0x00fc  },
 327         { ":y",                 "\"\by",        0x00ff  },
 328         { "^A",                 "^\bA",         0x00c2  },
 329         { "^E",                 "^\bE",         0x00ca  },
 330         { "^I",                 "^\bI",         0x00ce  },
 331         { "^O",                 "^\bO",         0x00d4  },
 332         { "^U",                 "^\bU",         0x00db  },
 333         { "^a",                 "^\ba",         0x00e2  },
 334         { "^e",                 "^\be",         0x00ea  },
 335         { "^i",                 "^\bi",         0x00ee  },
 336         { "^o",                 "^\bo",         0x00f4  },
 337         { "^u",                 "^\bu",         0x00fb  },
 338         { ",C",                 ",\bC",         0x00c7  },
 339         { ",c",                 ",\bc",         0x00e7  },
 340         { "/L",                 "/\bL",         0x0141  },
 341         { "/l",                 "/\bl",         0x0142  },
 342         { "/O",                 "/\bO",         0x00d8  },
 343         { "/o",                 "/\bo",         0x00f8  },
 344         { "oA",                 "o\bA",         0x00c5  },
 345         { "oa",                 "o\ba",         0x00e5  },
 346
 347         /* Special letters. */
 348         { "-D",                 "-\bD",         0x00d0  },
 349         { "Sd",                 "d",            0x00f0  },
 350         { "TP",                 "Th",           0x00de  },
 351         { "Tp",                 "th",           0x00fe  },
 352         { ".i",                 "i",            0x0131  },
 353         { ".j",                 "j",            0x0237  },
 354
 355         /* Currency. */
 356         { "Do",                 "$",            0x0024  },
 357         { "ct",                 "/\bc",         0x00a2  },
 358         { "Eu",                 "EUR",          0x20ac  },
 359         { "eu",                 "EUR",          0x20ac  },
 360         { "Ye",                 "=\bY",         0x00a5  },
 361         { "Po",                 "GBP",          0x00a3  },
 362         { "Cs",                 "o\bx",         0x00a4  },
 363         { "Fn",                 ",\bf",         0x0192  },
 364
 365         /* Units. */
 366         { "de",                 "<deg>",        0x00b0  },
 367         { "%0",                 "%o",           0x2030  },
 368         { "fm",                 "\'",           0x2032  },
 369         { "sd",                 "''",           0x2033  },
 370         { "mc",                 ",\bu",         0x00b5  },
 371         { "Of",                 "_\ba",         0x00aa  },
 372         { "Om",                 "_\bo",         0x00ba  },
 373
 374         /* Greek characters. */
 375         { "*A",                 "A",            0x0391  },
 376         { "*B",                 "B",            0x0392  },
 377         { "*G",                 "G",            0x0393  },
 378         { "*D",                 "_\b/_\b\\",    0x0394  },
 379         { "*E",                 "E",            0x0395  },
 380         { "*Z",                 "Z",            0x0396  },
 381         { "*Y",                 "H",            0x0397  },
 382         { "*H",                 "-\bO",         0x0398  },
 383         { "*I",                 "I",            0x0399  },
 384         { "*K",                 "K",            0x039a  },
 385         { "*L",                 "/\\",          0x039b  },
 386         { "*M",                 "M",            0x039c  },
 387         { "*N",                 "N",            0x039d  },
 388         { "*C",                 "_\bH",         0x039e  },
 389         { "*O",                 "O",            0x039f  },
 390         { "*P",                 "TT",           0x03a0  },
 391         { "*R",                 "P",            0x03a1  },
 392         { "*S",                 "S",            0x03a3  },
 393         { "*T",                 "T",            0x03a4  },
 394         { "*U",                 "Y",            0x03a5  },
 395         { "*F",                 "I\bO",         0x03a6  },
 396         { "*X",                 "X",            0x03a7  },
 397         { "*Q",                 "I\bY",         0x03a8  },
 398         { "*W",                 "_\bO",         0x03a9  },
 399         { "*a",                 "a",            0x03b1  },
 400         { "*b",                 "B",            0x03b2  },
 401         { "*g",                 "y",            0x03b3  },
 402         { "*d",                 "d",            0x03b4  },
 403         { "*e",                 "e",            0x03b5  },
 404         { "*z",                 ",\bC",         0x03b6  },
 405         { "*y",                 "n",            0x03b7  },
 406         { "*h",                 "-\b0",         0x03b8  },
 407         { "*i",                 "i",            0x03b9  },
 408         { "*k",                 "k",            0x03ba  },
 409         { "*l",                 ">\b\\",        0x03bb  },
 410         { "*m",                 ",\bu",         0x03bc  },
 411         { "*n",                 "v",            0x03bd  },
 412         { "*c",                 ",\bE",         0x03be  },
 413         { "*o",                 "o",            0x03bf  },
 414         { "*p",                 "-\bn",         0x03c0  },
 415         { "*r",                 "p",            0x03c1  },
 416         { "*s",                 "-\bo",         0x03c3  },
 417         { "*t",                 "~\bt",         0x03c4  },
 418         { "*u",                 "u",            0x03c5  },
 419         { "*f",                 "|\bo",         0x03d5  },
 420         { "*x",                 "x",            0x03c7  },
 421         { "*q",                 "|\bu",         0x03c8  },
 422         { "*w",                 "w",            0x03c9  },
 423         { "+h",                 "-\b0",         0x03d1  },
 424         { "+f",                 "|\bo",         0x03c6  },
 425         { "+p",                 "-\bw",         0x03d6  },
 426         { "+e",                 "e",            0x03f5  },
 427         { "ts",                 "s",            0x03c2  },
 428 };
 429
 430 static  struct ohash      mchars;
 431
 432
 433 void
 434 mchars_free(void)
 435 {
 436
 437         ohash_delete(&mchars);
 438 }
 439
 440 void
 441 mchars_alloc(void)
 442 {
 443         size_t            i;
 444         unsigned int      slot;
 445
 446         mandoc_ohash_init(&mchars, 9, offsetof(struct ln, roffcode));
 447         for (i = 0; i < sizeof(lines)/sizeof(lines[0]); i++) {
 448                 slot = ohash_qlookup(&mchars, lines[i].roffcode);
 449                 assert(ohash_find(&mchars, slot) == NULL);
 450                 ohash_insert(&mchars, slot, lines + i);
 451         }
 452 }
 453
 454 int
 455 mchars_spec2cp(const char *p, size_t sz)
 456 {
 457         const struct ln *ln;
 458         const char      *end;
 459
 460         end = p + sz;
 461         ln = ohash_find(&mchars, ohash_qlookupi(&mchars, p, &end));
 462         return ln != NULL ? ln->unicode : sz == 1 ? (unsigned char)*p : -1;
 463 }
 464
 465 int
 466 mchars_num2char(const char *p, size_t sz)
 467 {
 468         int       i;
 469
 470         i = mandoc_strntoi(p, sz, 10);
 471         return i >= 0 && i < 256 ? i : -1;
 472 }
 473
 474 int
 475 mchars_num2uc(const char *p, size_t sz)
 476 {
 477         int      i;
 478
 479         i = mandoc_strntoi(p, sz, 16);
 480         assert(i >= 0 && i <= 0x10FFFF);
 481         return i;
 482 }
 483
 484 const char *
 485 mchars_spec2str(const char *p, size_t sz, size_t *rsz)
 486 {
 487         const struct ln *ln;
 488         const char      *end;
 489
 490         end = p + sz;
 491         ln = ohash_find(&mchars, ohash_qlookupi(&mchars, p, &end));
 492         if (ln == NULL) {
 493                 *rsz = 1;
 494                 return sz == 1 ? p : NULL;
 495         }
 496
 497         *rsz = strlen(ln->ascii);
 498         return ln->ascii;
 499 }
 500
 501 const char *
 502 mchars_uc2str(int uc)
 503 {
 504         size_t    i;
 505
 506         for (i = 0; i < sizeof(lines)/sizeof(lines[0]); i++)
 507                 if (uc == lines[i].unicode)
 508                         return lines[i].ascii;
 509         return "<?>";
 510 }