33c611c811558337bcd6d1b2914ba72a1be97cca
[wimlib] / src / util.c
1 /*
2  * util.c
3  */
4
5 /*
6  * Copyright (C) 2012, 2013 Eric Biggers
7  *
8  * This file is part of wimlib, a library for working with WIM files.
9  *
10  * wimlib is free software; you can redistribute it and/or modify it under the
11  * terms of the GNU General Public License as published by the Free
12  * Software Foundation; either version 3 of the License, or (at your option)
13  * any later version.
14  *
15  * wimlib is distributed in the hope that it will be useful, but WITHOUT ANY
16  * WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
17  * A PARTICULAR PURPOSE. See the GNU General Public License for more
18  * details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with wimlib; if not, see http://www.gnu.org/licenses/.
22  */
23
24 #ifdef HAVE_CONFIG_H
25 #  include "config.h"
26 #endif
27
28 #ifdef _GNU_SOURCE
29 #  define _GNU_SOURCE_DEFINED 1
30 #  undef _GNU_SOURCE
31 #endif
32 /* Make sure the POSIX-compatible strerror_r() is declared, rather than the GNU
33  * version, which has a different return type. */
34 #include <string.h>
35 #ifdef _GNU_SOURCE_DEFINED
36 #  define _GNU_SOURCE
37 #endif
38
39 #include "wimlib.h"
40 #include "wimlib/assert.h"
41 #include "wimlib/compiler.h"
42 #include "wimlib/encoding.h"
43 #include "wimlib/error.h"
44 #include "wimlib/types.h"
45 #include "wimlib/util.h"
46 #include "wimlib/xml.h"
47
48 #ifdef __WIN32__
49 #  include "wimlib/win32.h" /* win32_strerror_r_replacement */
50 #endif
51
52 #include <errno.h>
53 #include <stdarg.h>
54 #include <stdlib.h>
55 #include <time.h>
56 #include <unistd.h>
57
58 size_t
59 utf16le_strlen(const utf16lechar *s)
60 {
61         const utf16lechar *p = s;
62         while (*p)
63                 p++;
64         return (p - s) * sizeof(utf16lechar);
65 }
66
67 #ifdef ENABLE_ERROR_MESSAGES
68 bool wimlib_print_errors = false;
69 FILE *wimlib_error_file = NULL; /* Set in wimlib_global_init() */
70 static bool wimlib_owns_error_file = false;
71 #endif
72
73 #if defined(ENABLE_ERROR_MESSAGES) || defined(ENABLE_DEBUG)
74 static void
75 wimlib_vmsg(const tchar *tag, const tchar *format,
76             va_list va, bool perror)
77 {
78 #if !defined(ENABLE_DEBUG)
79         if (wimlib_print_errors)
80 #endif
81         {
82                 int errno_save = errno;
83                 fflush(stdout);
84                 tfputs(tag, wimlib_error_file);
85                 tvfprintf(wimlib_error_file, format, va);
86                 if (perror && errno_save != 0) {
87                         tchar buf[64];
88                         int res;
89                         res = tstrerror_r(errno_save, buf, ARRAY_LEN(buf));
90                         if (res) {
91                                 tsprintf(buf,
92                                          T("unknown error (errno=%d)"),
93                                          errno_save);
94                         }
95                 #ifdef WIN32
96                         if (errno_save == EBUSY)
97                                 tstrcpy(buf, T("Resource busy"));
98                 #endif
99                         tfprintf(wimlib_error_file, T(": %"TS), buf);
100                 }
101                 tputc(T('\n'), wimlib_error_file);
102                 fflush(wimlib_error_file);
103                 errno = errno_save;
104         }
105 }
106 #endif
107
108 /* True if wimlib is to print an informational message when an error occurs.
109  * This can be turned off by calling wimlib_set_print_errors(false). */
110 #ifdef ENABLE_ERROR_MESSAGES
111 void
112 wimlib_error(const tchar *format, ...)
113 {
114         va_list va;
115
116         va_start(va, format);
117         wimlib_vmsg(T("\r[ERROR] "), format, va, false);
118         va_end(va);
119 }
120
121 void
122 wimlib_error_with_errno(const tchar *format, ...)
123 {
124         va_list va;
125
126         va_start(va, format);
127         wimlib_vmsg(T("\r[ERROR] "), format, va, true);
128         va_end(va);
129 }
130
131 void
132 wimlib_warning(const tchar *format, ...)
133 {
134         va_list va;
135
136         va_start(va, format);
137         wimlib_vmsg(T("\r[WARNING] "), format, va, false);
138         va_end(va);
139 }
140
141 void
142 wimlib_warning_with_errno(const tchar *format, ...)
143 {
144         va_list va;
145
146         va_start(va, format);
147         wimlib_vmsg(T("\r[WARNING] "), format, va, true);
148         va_end(va);
149 }
150
151 #endif
152
153 #if defined(ENABLE_DEBUG) || defined(ENABLE_MORE_DEBUG)
154 void wimlib_debug(const tchar *file, int line, const char *func,
155                   const tchar *format, ...)
156 {
157         va_list va;
158         tchar buf[tstrlen(file) + strlen(func) + 30];
159
160         static bool debug_enabled = false;
161         if (!debug_enabled) {
162                 char *value = getenv("WIMLIB_DEBUG");
163                 if (!value || strcmp(value, "0"))
164                         debug_enabled = true;
165                 else
166                         return;
167         }
168
169         tsprintf(buf, T("[%"TS" %d] %s(): "), file, line, func);
170
171         va_start(va, format);
172         wimlib_vmsg(buf, format, va, false);
173         va_end(va);
174 }
175 #endif
176
177 /* API function documented in wimlib.h  */
178 WIMLIBAPI int
179 wimlib_set_print_errors(bool show_error_messages)
180 {
181 #ifdef ENABLE_ERROR_MESSAGES
182         wimlib_print_errors = show_error_messages;
183         return 0;
184 #else
185         if (show_error_messages)
186                 return WIMLIB_ERR_UNSUPPORTED;
187         else
188                 return 0;
189 #endif
190 }
191
192 WIMLIBAPI int
193 wimlib_set_error_file(FILE *fp)
194 {
195 #ifdef ENABLE_ERROR_MESSAGES
196         if (wimlib_owns_error_file)
197                 fclose(wimlib_error_file);
198         wimlib_error_file = fp;
199         wimlib_print_errors = (fp != NULL);
200         wimlib_owns_error_file = false;
201         return 0;
202 #else
203         return WIMLIB_ERR_UNSUPPORTED;
204 #endif
205 }
206
207 WIMLIBAPI int
208 wimlib_set_error_file_by_name(const tchar *path)
209 {
210 #ifdef ENABLE_ERROR_MESSAGES
211         FILE *fp;
212
213 #ifdef __WIN32__
214         fp = win32_open_logfile(path);
215 #else
216         fp = fopen(path, "a");
217 #endif
218         if (!fp)
219                 return WIMLIB_ERR_OPEN;
220         wimlib_set_error_file(fp);
221         wimlib_owns_error_file = true;
222         return 0;
223 #else
224         return WIMLIB_ERR_UNSUPPORTED;
225 #endif
226 }
227
228 static const tchar *error_strings[] = {
229         [WIMLIB_ERR_SUCCESS]
230                 = T("Success"),
231         [WIMLIB_ERR_ALREADY_LOCKED]
232                 = T("The WIM is already locked for writing"),
233         [WIMLIB_ERR_DECOMPRESSION]
234                 = T("Failed to decompress compressed data"),
235         [WIMLIB_ERR_FUSE]
236                 = T("An error was returned by fuse_main()"),
237         [WIMLIB_ERR_GLOB_HAD_NO_MATCHES]
238                 = T("The provided file glob did not match any files"),
239         [WIMLIB_ERR_ICONV_NOT_AVAILABLE]
240                 = T("The iconv() function does not seem to work. "
241                   "Maybe check to make sure the directory /usr/lib/gconv exists"),
242         [WIMLIB_ERR_IMAGE_COUNT]
243                 = T("Inconsistent image count among the metadata "
244                         "resources, the WIM header, and/or the XML data"),
245         [WIMLIB_ERR_IMAGE_NAME_COLLISION]
246                 = T("Tried to add an image with a name that is already in use"),
247         [WIMLIB_ERR_INSUFFICIENT_PRIVILEGES]
248                 = T("The user does not have sufficient privileges"),
249         [WIMLIB_ERR_INTEGRITY]
250                 = T("The WIM file is corrupted (failed integrity check)"),
251         [WIMLIB_ERR_INVALID_CAPTURE_CONFIG]
252                 = T("The capture configuration string was invalid"),
253         [WIMLIB_ERR_INVALID_CHUNK_SIZE]
254                 = T("The compression chunk size was unrecognized"),
255         [WIMLIB_ERR_INVALID_COMPRESSION_TYPE]
256                 = T("The compression type was unrecognized"),
257         [WIMLIB_ERR_INVALID_HEADER]
258                 = T("The WIM header was invalid"),
259         [WIMLIB_ERR_INVALID_IMAGE]
260                 = T("Tried to select an image that does not exist in the WIM"),
261         [WIMLIB_ERR_INVALID_INTEGRITY_TABLE]
262                 = T("The WIM's integrity table is invalid"),
263         [WIMLIB_ERR_INVALID_LOOKUP_TABLE_ENTRY]
264                 = T("An entry in the WIM's lookup table is invalid"),
265         [WIMLIB_ERR_INVALID_METADATA_RESOURCE]
266                 = T("The metadata resource is invalid"),
267         [WIMLIB_ERR_INVALID_MULTIBYTE_STRING]
268                 = T("A string was not valid in the current locale's character encoding"),
269         [WIMLIB_ERR_INVALID_OVERLAY]
270                 = T("Conflicting files in overlay when creating a WIM image"),
271         [WIMLIB_ERR_INVALID_PARAM]
272                 = T("An invalid parameter was given"),
273         [WIMLIB_ERR_INVALID_PART_NUMBER]
274                 = T("The part number or total parts of the WIM is invalid"),
275         [WIMLIB_ERR_INVALID_PIPABLE_WIM]
276                 = T("The pipable WIM is invalid"),
277         [WIMLIB_ERR_INVALID_REPARSE_DATA]
278                 = T("The reparse data of a reparse point was invalid"),
279         [WIMLIB_ERR_INVALID_RESOURCE_HASH]
280                 = T("The SHA1 message digest of a WIM resource did not match the expected value"),
281         [WIMLIB_ERR_INVALID_UTF8_STRING]
282                 = T("A string provided as input by the user was not a valid UTF-8 string"),
283         [WIMLIB_ERR_INVALID_UTF16_STRING]
284                 = T("A string in a WIM dentry is not a valid UTF-16LE string"),
285         [WIMLIB_ERR_IS_DIRECTORY]
286                 = T("One of the specified paths to delete was a directory"),
287         [WIMLIB_ERR_IS_SPLIT_WIM]
288                 = T("The WIM is part of a split WIM, which is not supported for this operation"),
289         [WIMLIB_ERR_LIBXML_UTF16_HANDLER_NOT_AVAILABLE]
290                 = T("libxml2 was unable to find a character encoding conversion handler "
291                   "for UTF-16LE"),
292         [WIMLIB_ERR_LINK]
293                 = T("Failed to create a hard or symbolic link when extracting "
294                         "a file from the WIM"),
295         [WIMLIB_ERR_METADATA_NOT_FOUND]
296                 = T("A required metadata resource could not be located"),
297         [WIMLIB_ERR_MKDIR]
298                 = T("Failed to create a directory"),
299         [WIMLIB_ERR_MQUEUE]
300                 = T("Failed to create or use a POSIX message queue"),
301         [WIMLIB_ERR_NOMEM]
302                 = T("Ran out of memory"),
303         [WIMLIB_ERR_NOTDIR]
304                 = T("Expected a directory"),
305         [WIMLIB_ERR_NOTEMPTY]
306                 = T("Directory was not empty"),
307         [WIMLIB_ERR_NOT_A_REGULAR_FILE]
308                 = T("One of the specified paths to extract did not "
309                     "correspond to a regular file"),
310         [WIMLIB_ERR_NOT_A_WIM_FILE]
311                 = T("The file did not begin with the magic characters that "
312                         "identify a WIM file"),
313         [WIMLIB_ERR_NO_FILENAME]
314                 = T("The WIM is not identified with a filename"),
315         [WIMLIB_ERR_NOT_PIPABLE]
316                 = T("The WIM was not captured such that it can be "
317                     "applied from a pipe"),
318         [WIMLIB_ERR_NTFS_3G]
319                 = T("NTFS-3g encountered an error (check errno)"),
320         [WIMLIB_ERR_OPEN]
321                 = T("Failed to open a file"),
322         [WIMLIB_ERR_OPENDIR]
323                 = T("Failed to open a directory"),
324         [WIMLIB_ERR_PATH_DOES_NOT_EXIST]
325                 = T("The path does not exist in the WIM image"),
326         [WIMLIB_ERR_READ]
327                 = T("Could not read data from a file"),
328         [WIMLIB_ERR_READLINK]
329                 = T("Could not read the target of a symbolic link"),
330         [WIMLIB_ERR_RENAME]
331                 = T("Could not rename a file"),
332         [WIMLIB_ERR_REPARSE_POINT_FIXUP_FAILED]
333                 = T("Unable to complete reparse point fixup"),
334         [WIMLIB_ERR_RESOURCE_NOT_FOUND]
335                 = T("A file resource needed to complete the operation was missing from the WIM"),
336         [WIMLIB_ERR_RESOURCE_ORDER]
337                 = T("The components of the WIM were arranged in an unexpected order"),
338         [WIMLIB_ERR_SET_ATTRIBUTES]
339                 = T("Failed to set attributes on extracted file"),
340         [WIMLIB_ERR_SET_REPARSE_DATA]
341                 = T("Failed to set reparse data on extracted file"),
342         [WIMLIB_ERR_SET_SECURITY]
343                 = T("Failed to set file owner, group, or other permissions on extracted file"),
344         [WIMLIB_ERR_SET_SHORT_NAME]
345                 = T("Failed to set short name on extracted file"),
346         [WIMLIB_ERR_SET_TIMESTAMPS]
347                 = T("Failed to set timestamps on extracted file"),
348         [WIMLIB_ERR_SPLIT_INVALID]
349                 = T("The WIM is part of an invalid split WIM"),
350         [WIMLIB_ERR_STAT]
351                 = T("Could not read the metadata for a file or directory"),
352         [WIMLIB_ERR_UNEXPECTED_END_OF_FILE]
353                 = T("Unexpectedly reached the end of the file"),
354         [WIMLIB_ERR_UNICODE_STRING_NOT_REPRESENTABLE]
355                 = T("A Unicode string could not be represented in the current locale's encoding"),
356         [WIMLIB_ERR_UNKNOWN_VERSION]
357                 = T("The WIM file is marked with an unknown version number"),
358         [WIMLIB_ERR_UNSUPPORTED]
359                 = T("The requested operation is unsupported"),
360         [WIMLIB_ERR_UNSUPPORTED_FILE]
361                 = T("A file in the directory tree to archive was not of a supported type"),
362         [WIMLIB_ERR_WIM_IS_READONLY]
363                 = T("The WIM is read-only (file permissions, header flag, or split WIM)"),
364         [WIMLIB_ERR_WRITE]
365                 = T("Failed to write data to a file"),
366         [WIMLIB_ERR_XML]
367                 = T("The XML data of the WIM is invalid"),
368         [WIMLIB_ERR_WIM_IS_ENCRYPTED]
369                 = T("The WIM file (or parts of it) is encrypted"),
370         [WIMLIB_ERR_WIMBOOT]
371                 = T("Failed to set WIMBoot pointer data"),
372         [WIMLIB_ERR_ABORTED_BY_PROGRESS]
373                 = T("The operation was aborted by the library user"),
374         [WIMLIB_ERR_UNKNOWN_PROGRESS_STATUS]
375                 = T("The user-provided progress function returned an unrecognized value"),
376         [WIMLIB_ERR_MKNOD]
377                 = T("Unable to create a special file (e.g. device node or socket)"),
378         [WIMLIB_ERR_MOUNTED_IMAGE_IS_BUSY]
379                 = T("There are still files open on the mounted WIM image"),
380         [WIMLIB_ERR_NOT_A_MOUNTPOINT]
381                 = T("There is not a WIM image mounted on the directory"),
382         [WIMLIB_ERR_NOT_PERMITTED_TO_UNMOUNT]
383                 = T("The current user does not have permission to unmount the WIM image"),
384 };
385
386 /* API function documented in wimlib.h  */
387 WIMLIBAPI const tchar *
388 wimlib_get_error_string(enum wimlib_error_code _code)
389 {
390         unsigned int code = (unsigned int)_code;
391
392         if (code >= ARRAY_LEN(error_strings) || error_strings[code] == NULL)
393                 return T("Unknown error");
394
395         return error_strings[code];
396 }
397
398
399
400 static void *(*wimlib_malloc_func) (size_t)         = malloc;
401 static void  (*wimlib_free_func)   (void *)         = free;
402 static void *(*wimlib_realloc_func)(void *, size_t) = realloc;
403
404 void *
405 wimlib_malloc(size_t size)
406 {
407         void *ptr;
408
409 retry:
410         ptr = (*wimlib_malloc_func)(size);
411         if (unlikely(!ptr)) {
412                 if (!size) {
413                         size++;
414                         goto retry;
415                 }
416                 ERROR("memory exhausted");
417         }
418         return ptr;
419 }
420
421 void
422 wimlib_free_memory(void *ptr)
423 {
424         (*wimlib_free_func)(ptr);
425 }
426
427 void *
428 wimlib_realloc(void *ptr, size_t size)
429 {
430         if (size == 0)
431                 size = 1;
432         ptr = (*wimlib_realloc_func)(ptr, size);
433         if (ptr == NULL)
434                 ERROR("memory exhausted");
435         return ptr;
436 }
437
438 void *
439 wimlib_calloc(size_t nmemb, size_t size)
440 {
441         size_t total_size = nmemb * size;
442         void *p = MALLOC(total_size);
443         if (p)
444                 p = memset(p, 0, total_size);
445         return p;
446 }
447
448 char *
449 wimlib_strdup(const char *str)
450 {
451         size_t size;
452         char *p;
453
454         size = strlen(str);
455         p = MALLOC(size + 1);
456         if (p)
457                 p = memcpy(p, str, size + 1);
458         return p;
459 }
460
461 #ifdef __WIN32__
462 wchar_t *
463 wimlib_wcsdup(const wchar_t *str)
464 {
465         size_t size;
466         wchar_t *p;
467
468         size = wcslen(str);
469         p = MALLOC((size + 1) * sizeof(wchar_t));
470         if (p)
471                 p = wmemcpy(p, str, size + 1);
472         return p;
473 }
474 #endif
475
476 void *
477 wimlib_aligned_malloc(size_t size, size_t alignment)
478 {
479         u8 *raw_ptr;
480         u8 *ptr;
481         uintptr_t mask;
482
483         wimlib_assert(alignment != 0 && is_power_of_2(alignment) &&
484                       alignment <= 4096);
485         mask = alignment - 1;
486
487         raw_ptr = MALLOC(size + alignment - 1 + sizeof(size_t));
488         if (!raw_ptr)
489                 return NULL;
490
491         ptr = (u8 *)raw_ptr + sizeof(size_t);
492         while ((uintptr_t)ptr & mask)
493                 ptr++;
494         *((size_t *)ptr - 1) = (ptr - raw_ptr);
495
496         return ptr;
497 }
498
499 void
500 wimlib_aligned_free(void *ptr)
501 {
502         if (ptr)
503                 FREE((u8 *)ptr - *((size_t *)ptr - 1));
504 }
505
506 void *
507 memdup(const void *mem, size_t size)
508 {
509         void *ptr = MALLOC(size);
510         if (ptr)
511                 ptr = memcpy(ptr, mem, size);
512         return ptr;
513 }
514
515 /* API function documented in wimlib.h  */
516 WIMLIBAPI int
517 wimlib_set_memory_allocator(void *(*malloc_func)(size_t),
518                             void (*free_func)(void *),
519                             void *(*realloc_func)(void *, size_t))
520 {
521         wimlib_malloc_func  = malloc_func  ? malloc_func  : malloc;
522         wimlib_free_func    = free_func    ? free_func    : free;
523         wimlib_realloc_func = realloc_func ? realloc_func : realloc;
524
525         xml_set_memory_allocator(wimlib_malloc_func, wimlib_free_func,
526                                  wimlib_realloc_func);
527         return 0;
528 }
529
530 static bool seeded = false;
531
532 static void
533 seed_random(void)
534 {
535         srand(time(NULL) * getpid());
536         seeded = true;
537 }
538
539 /* Fills @n characters pointed to by @p with random alphanumeric characters. */
540 void
541 randomize_char_array_with_alnum(tchar p[], size_t n)
542 {
543         if (!seeded)
544                 seed_random();
545         while (n--) {
546                 int r = rand() % 62;
547                 if (r < 26)
548                         *p++ = r + 'a';
549                 else if (r < 52)
550                         *p++ = r - 26 + 'A';
551                 else
552                         *p++ = r - 52 + '0';
553         }
554 }
555
556 /* Fills @n bytes pointer to by @p with random numbers. */
557 void
558 randomize_byte_array(u8 *p, size_t n)
559 {
560         if (!seeded)
561                 seed_random();
562         while (n--)
563                 *p++ = rand();
564 }
565
566
567 void print_byte_field(const u8 field[], size_t len, FILE *out)
568 {
569         while (len--)
570                 tfprintf(out, T("%02hhx"), *field++);
571 }
572
573 #ifndef HAVE_MEMPCPY
574 void *mempcpy(void *dst, const void *src, size_t n)
575 {
576         return memcpy(dst, src, n) + n;
577 }
578 #endif