3b31e194287fedf85326c7d42a95c857241a7f33
[wimlib] / src / unix_apply.c
1 /*
2  * unix_apply.c - Code to apply files from a WIM image on UNIX.
3  */
4
5 /*
6  * Copyright (C) 2012-2016 Eric Biggers
7  *
8  * This file is free software; you can redistribute it and/or modify it under
9  * the terms of the GNU Lesser General Public License as published by the Free
10  * Software Foundation; either version 3 of the License, or (at your option) any
11  * later version.
12  *
13  * This file is distributed in the hope that it will be useful, but WITHOUT
14  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
15  * FOR A PARTICULAR PURPOSE. See the GNU Lesser General Public License for more
16  * details.
17  *
18  * You should have received a copy of the GNU Lesser General Public License
19  * along with this file; if not, see http://www.gnu.org/licenses/.
20  */
21
22 #ifdef HAVE_CONFIG_H
23 #  include "config.h"
24 #endif
25
26 #include <errno.h>
27 #include <fcntl.h>
28 #include <stdlib.h>
29 #include <sys/stat.h>
30 #include <sys/time.h>
31 #include <sys/types.h>
32 #ifdef HAVE_SYS_XATTR_H
33 #  include <sys/xattr.h>
34 #endif
35 #include <unistd.h>
36
37 #include "wimlib/apply.h"
38 #include "wimlib/assert.h"
39 #include "wimlib/blob_table.h"
40 #include "wimlib/dentry.h"
41 #include "wimlib/error.h"
42 #include "wimlib/file_io.h"
43 #include "wimlib/reparse.h"
44 #include "wimlib/timestamp.h"
45 #include "wimlib/unix_data.h"
46 #include "wimlib/xattr.h"
47
48 /* We don't require O_NOFOLLOW, but the advantage of having it is that if we
49  * need to extract a file to a location at which there exists a symbolic link,
50  * open(..., O_NOFOLLOW | ...) recognizes the symbolic link rather than
51  * following it and creating the file somewhere else.  (Equivalent to
52  * FILE_OPEN_REPARSE_POINT on Windows.)  */
53 #ifndef O_NOFOLLOW
54 #  define O_NOFOLLOW 0
55 #endif
56
57 static int
58 unix_get_supported_features(const char *target,
59                             struct wim_features *supported_features)
60 {
61         supported_features->sparse_files = 1;
62         supported_features->hard_links = 1;
63         supported_features->symlink_reparse_points = 1;
64         supported_features->unix_data = 1;
65         supported_features->timestamps = 1;
66         supported_features->case_sensitive_filenames = 1;
67 #ifdef HAVE_XATTR_SUPPORT
68         supported_features->linux_xattrs = 1;
69 #endif
70         return 0;
71 }
72
73 #define NUM_PATHBUFS 2  /* We need 2 when creating hard links  */
74
75 struct unix_apply_ctx {
76         /* Extract flags, the pointer to the WIMStruct, etc.  */
77         struct apply_ctx common;
78
79         /* Buffers for building extraction paths (allocated).  */
80         char *pathbufs[NUM_PATHBUFS];
81
82         /* Index of next pathbuf to use  */
83         unsigned which_pathbuf;
84
85         /* Currently open file descriptors for extraction  */
86         struct filedes open_fds[MAX_OPEN_FILES];
87
88         /* Number of currently open file descriptors in open_fds, starting from
89          * the beginning of the array.  */
90         unsigned num_open_fds;
91
92         /* For each currently open file, whether we're writing to it in "sparse"
93          * mode or not.  */
94         bool is_sparse_file[MAX_OPEN_FILES];
95
96         /* Whether is_sparse_file[] is true for any currently open file  */
97         bool any_sparse_files;
98
99         /* Buffer for reading reparse point data into memory  */
100         u8 reparse_data[REPARSE_DATA_MAX_SIZE];
101
102         /* Pointer to the next byte in @reparse_data to fill  */
103         u8 *reparse_ptr;
104
105         /* Absolute path to the target directory (allocated buffer).  Only set
106          * if needed for absolute symbolic link fixups.  */
107         char *target_abspath;
108
109         /* Number of characters in target_abspath.  */
110         size_t target_abspath_nchars;
111
112         /* Number of special files we couldn't create due to EPERM  */
113         unsigned long num_special_files_ignored;
114 };
115
116 /* Returns the number of characters needed to represent the path to the
117  * specified @dentry when extracted, not including the null terminator or the
118  * path to the target directory itself.  */
119 static size_t
120 unix_dentry_path_length(const struct wim_dentry *dentry)
121 {
122         size_t len = 0;
123         const struct wim_dentry *d;
124
125         d = dentry;
126         do {
127                 len += d->d_extraction_name_nchars + 1;
128                 d = d->d_parent;
129         } while (!dentry_is_root(d) && will_extract_dentry(d));
130
131         return len;
132 }
133
134 /* Returns the maximum number of characters needed to represent the path to any
135  * dentry in @dentry_list when extracted, including the null terminator and the
136  * path to the target directory itself.  */
137 static size_t
138 unix_compute_path_max(const struct list_head *dentry_list,
139                       const struct unix_apply_ctx *ctx)
140 {
141         size_t max = 0;
142         size_t len;
143         const struct wim_dentry *dentry;
144
145         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
146                 len = unix_dentry_path_length(dentry);
147                 if (len > max)
148                         max = len;
149         }
150
151         /* Account for target and null terminator.  */
152         return ctx->common.target_nchars + max + 1;
153 }
154
155 /* Builds and returns the filesystem path to which to extract @dentry.
156  * This cycles through NUM_PATHBUFS different buffers.  */
157 static const char *
158 unix_build_extraction_path(const struct wim_dentry *dentry,
159                            struct unix_apply_ctx *ctx)
160 {
161         char *pathbuf;
162         char *p;
163         const struct wim_dentry *d;
164
165         pathbuf = ctx->pathbufs[ctx->which_pathbuf];
166         ctx->which_pathbuf = (ctx->which_pathbuf + 1) % NUM_PATHBUFS;
167
168         p = &pathbuf[ctx->common.target_nchars +
169                      unix_dentry_path_length(dentry)];
170         *p = '\0';
171         d = dentry;
172         do {
173                 p -= d->d_extraction_name_nchars;
174                 if (d->d_extraction_name_nchars)
175                         memcpy(p, d->d_extraction_name,
176                                d->d_extraction_name_nchars);
177                 *--p = '/';
178                 d = d->d_parent;
179         } while (!dentry_is_root(d) && will_extract_dentry(d));
180
181         return pathbuf;
182 }
183
184 /* This causes the next call to unix_build_extraction_path() to use the same
185  * path buffer as the previous call.  */
186 static void
187 unix_reuse_pathbuf(struct unix_apply_ctx *ctx)
188 {
189         ctx->which_pathbuf = (ctx->which_pathbuf - 1) % NUM_PATHBUFS;
190 }
191
192 /* Builds and returns the filesystem path to which to extract an unspecified
193  * alias of the @inode.  This cycles through NUM_PATHBUFS different buffers.  */
194 static const char *
195 unix_build_inode_extraction_path(const struct wim_inode *inode,
196                                  struct unix_apply_ctx *ctx)
197 {
198         return unix_build_extraction_path(inode_first_extraction_dentry(inode), ctx);
199 }
200
201 /* Should the specified file be extracted as a directory on UNIX?  We extract
202  * the file as a directory if FILE_ATTRIBUTE_DIRECTORY is set and the file does
203  * not have a symlink or junction reparse point.  It *may* have a different type
204  * of reparse point.  */
205 static inline bool
206 should_extract_as_directory(const struct wim_inode *inode)
207 {
208         return (inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY) &&
209                 !inode_is_symlink(inode);
210 }
211
212 /* Sets the timestamps on a file being extracted.
213  *
214  * Either @fd or @path must be specified (not -1 and not NULL, respectively).
215  */
216 static int
217 unix_set_timestamps(int fd, const char *path, u64 atime, u64 mtime)
218 {
219         {
220                 struct timespec times[2];
221
222                 times[0] = wim_timestamp_to_timespec(atime);
223                 times[1] = wim_timestamp_to_timespec(mtime);
224
225                 errno = ENOSYS;
226 #ifdef HAVE_FUTIMENS
227                 if (fd >= 0 && !futimens(fd, times))
228                         return 0;
229 #endif
230 #ifdef HAVE_UTIMENSAT
231                 if (fd < 0 && !utimensat(AT_FDCWD, path, times, AT_SYMLINK_NOFOLLOW))
232                         return 0;
233 #endif
234                 if (errno != ENOSYS)
235                         return WIMLIB_ERR_SET_TIMESTAMPS;
236         }
237         {
238                 struct timeval times[2];
239
240                 times[0] = wim_timestamp_to_timeval(atime);
241                 times[1] = wim_timestamp_to_timeval(mtime);
242
243                 if (fd >= 0 && !futimes(fd, times))
244                         return 0;
245                 if (fd < 0 && !lutimes(path, times))
246                         return 0;
247                 return WIMLIB_ERR_SET_TIMESTAMPS;
248         }
249 }
250
251 static int
252 unix_set_owner_and_group(int fd, const char *path, uid_t uid, gid_t gid)
253 {
254         if (fd >= 0 && !fchown(fd, uid, gid))
255                 return 0;
256         if (fd < 0 && !lchown(path, uid, gid))
257                 return 0;
258         return WIMLIB_ERR_SET_SECURITY;
259 }
260
261 static int
262 unix_set_mode(int fd, const char *path, mode_t mode)
263 {
264         if (fd >= 0 && !fchmod(fd, mode))
265                 return 0;
266         if (fd < 0 && !chmod(path, mode))
267                 return 0;
268         return WIMLIB_ERR_SET_SECURITY;
269 }
270
271 #ifdef HAVE_XATTR_SUPPORT
272 /* Apply extended attributes to a file */
273 static int
274 apply_linux_xattrs(int fd, const struct wim_inode *inode,
275                    const char *path, struct unix_apply_ctx *ctx,
276                    const void *entries, size_t entries_size)
277 {
278         const void * const entries_end = entries + entries_size;
279         char name[XATTR_NAME_MAX + 1];
280
281         for (const struct wimlib_xattr_entry *entry = entries;
282              (void *)entry < entries_end; entry = xattr_entry_next(entry))
283         {
284                 u16 name_len;
285                 const void *value;
286                 u32 value_len;
287                 int res;
288
289                 if (!valid_xattr_entry(entry, entries_end - (void *)entry)) {
290                         if (!path) {
291                                 path = unix_build_inode_extraction_path(inode,
292                                                                         ctx);
293                         }
294                         ERROR("\"%s\": extended attribute is corrupt", path);
295                         return WIMLIB_ERR_INVALID_XATTR;
296                 }
297                 name_len = le16_to_cpu(entry->name_len);
298                 memcpy(name, entry->name, name_len);
299                 name[name_len] = '\0';
300
301                 value = entry->name + name_len;
302                 value_len = le32_to_cpu(entry->value_len);
303
304                 if (fd >= 0)
305                         res = fsetxattr(fd, name, value, value_len, 0);
306                 else
307                         res = lsetxattr(path, name, value, value_len, 0);
308
309                 if (unlikely(res != 0)) {
310                         if (!path) {
311                                 path = unix_build_inode_extraction_path(inode,
312                                                                         ctx);
313                         }
314                         if (is_security_xattr(name) &&
315                             (ctx->common.extract_flags &
316                              WIMLIB_EXTRACT_FLAG_STRICT_ACLS))
317                         {
318                                 ERROR_WITH_ERRNO("\"%s\": unable to set extended attribute \"%s\"",
319                                                  path, name);
320                                 return WIMLIB_ERR_SET_XATTR;
321                         }
322                         WARNING_WITH_ERRNO("\"%s\": unable to set extended attribute \"%s\"",
323                                            path, name);
324                 }
325         }
326         return 0;
327 }
328 #endif /* HAVE_XATTR_SUPPORT */
329
330 /* Apply standard UNIX permissions (uid, gid, and mode) to a file */
331 static int
332 apply_unix_permissions(int fd, const struct wim_inode *inode,
333                        const char *path, struct unix_apply_ctx *ctx,
334                        const struct wimlib_unix_data *dat)
335 {
336         int ret;
337
338         ret = unix_set_owner_and_group(fd, path, dat->uid, dat->gid);
339         if (ret) {
340                 if (!path)
341                         path = unix_build_inode_extraction_path(inode, ctx);
342                 if (ctx->common.extract_flags &
343                     WIMLIB_EXTRACT_FLAG_STRICT_ACLS)
344                 {
345                         ERROR_WITH_ERRNO("\"%s\": unable to set uid=%"PRIu32" and gid=%"PRIu32,
346                                          path, dat->uid, dat->gid);
347                         return ret;
348                 }
349                 WARNING_WITH_ERRNO("\"%s\": unable to set uid=%"PRIu32" and gid=%"PRIu32,
350                                    path, dat->uid, dat->gid);
351         }
352
353         if (!inode_is_symlink(inode)) {
354                 ret = unix_set_mode(fd, path, dat->mode);
355                 if (ret) {
356                         if (!path)
357                                 path = unix_build_inode_extraction_path(inode,
358                                                                         ctx);
359                         if (ctx->common.extract_flags &
360                             WIMLIB_EXTRACT_FLAG_STRICT_ACLS)
361                         {
362                                 ERROR_WITH_ERRNO("\"%s\": unable to set mode=0%"PRIo32,
363                                                  path, dat->mode);
364                                 return ret;
365                         }
366                         WARNING_WITH_ERRNO("\"%s\": unable to set mode=0%"PRIo32,
367                                            path, dat->mode);
368                 }
369         }
370
371         return 0;
372 }
373
374 /*
375  * Set metadata on an extracted file.
376  *
377  * @fd is an open file descriptor to the extracted file, or -1.  @path is the
378  * path to the extracted file, or NULL.  If valid, this function uses @fd.
379  * Otherwise, if valid, it uses @path.  Otherwise, it calculates the path to one
380  * alias of the extracted file and uses it.
381  */
382 static int
383 unix_set_metadata(int fd, const struct wim_inode *inode,
384                   const char *path, struct unix_apply_ctx *ctx)
385 {
386         int ret;
387
388         if (fd < 0 && !path)
389                 path = unix_build_inode_extraction_path(inode, ctx);
390
391         if (ctx->common.extract_flags & WIMLIB_EXTRACT_FLAG_UNIX_DATA) {
392                 struct wimlib_unix_data dat;
393         #ifdef HAVE_XATTR_SUPPORT
394                 const void *entries;
395                 u32 entries_size;
396
397                 entries = inode_get_linux_xattrs(inode, &entries_size);
398                 if (entries) {
399                         ret = apply_linux_xattrs(fd, inode, path, ctx,
400                                                  entries, entries_size);
401                         if (ret)
402                                 return ret;
403                 }
404         #endif
405                 if (inode_get_unix_data(inode, &dat)) {
406                         ret = apply_unix_permissions(fd, inode, path, ctx,
407                                                      &dat);
408                         if (ret)
409                                 return ret;
410                 }
411         }
412
413         ret = unix_set_timestamps(fd, path, inode->i_last_access_time,
414                                   inode->i_last_write_time);
415         if (ret) {
416                 if (!path)
417                         path = unix_build_inode_extraction_path(inode, ctx);
418                 if (ctx->common.extract_flags &
419                     WIMLIB_EXTRACT_FLAG_STRICT_TIMESTAMPS)
420                 {
421                         ERROR_WITH_ERRNO("\"%s\": unable to set timestamps", path);
422                         return ret;
423                 }
424                 WARNING_WITH_ERRNO("\"%s\": unable to set timestamps", path);
425         }
426
427         return 0;
428 }
429
430 /* Extract all needed aliases of the @inode, where one alias, corresponding to
431  * @first_dentry, has already been extracted to @first_path.  */
432 static int
433 unix_create_hardlinks(const struct wim_inode *inode,
434                       const struct wim_dentry *first_dentry,
435                       const char *first_path, struct unix_apply_ctx *ctx)
436 {
437         const struct wim_dentry *dentry;
438         const char *newpath;
439
440         inode_for_each_extraction_alias(dentry, inode) {
441                 if (dentry == first_dentry)
442                         continue;
443
444                 newpath = unix_build_extraction_path(dentry, ctx);
445         retry_link:
446                 if (link(first_path, newpath)) {
447                         if (errno == EEXIST && !unlink(newpath))
448                                 goto retry_link;
449                         ERROR_WITH_ERRNO("Can't create hard link "
450                                          "\"%s\" => \"%s\"", newpath, first_path);
451                         return WIMLIB_ERR_LINK;
452                 }
453                 unix_reuse_pathbuf(ctx);
454         }
455         return 0;
456 }
457
458 /* If @dentry represents a directory, create it.  */
459 static int
460 unix_create_if_directory(const struct wim_dentry *dentry,
461                          struct unix_apply_ctx *ctx)
462 {
463         const char *path;
464         struct stat stbuf;
465
466         if (!should_extract_as_directory(dentry->d_inode))
467                 return 0;
468
469         path = unix_build_extraction_path(dentry, ctx);
470         if (mkdir(path, 0755) &&
471             /* It's okay if the path already exists, as long as it's a
472              * directory.  */
473             !(errno == EEXIST && !lstat(path, &stbuf) && S_ISDIR(stbuf.st_mode)))
474         {
475                 ERROR_WITH_ERRNO("Can't create directory \"%s\"", path);
476                 return WIMLIB_ERR_MKDIR;
477         }
478
479         return report_file_created(&ctx->common);
480 }
481
482 /* If @dentry represents an empty regular file or a special file, create it, set
483  * its metadata, and create any needed hard links.  */
484 static int
485 unix_extract_if_empty_file(const struct wim_dentry *dentry,
486                            struct unix_apply_ctx *ctx)
487 {
488         const struct wim_inode *inode;
489         struct wimlib_unix_data unix_data;
490         const char *path;
491         int ret;
492
493         inode = dentry->d_inode;
494
495         /* Extract all aliases only when the "first" comes up.  */
496         if (dentry != inode_first_extraction_dentry(inode))
497                 return 0;
498
499         /* Is this a directory, a symbolic link, or any type of nonempty file?
500          */
501         if (should_extract_as_directory(inode) || inode_is_symlink(inode) ||
502             inode_get_blob_for_unnamed_data_stream_resolved(inode))
503                 return 0;
504
505         /* Recognize special files in UNIX_DATA mode  */
506         if ((ctx->common.extract_flags & WIMLIB_EXTRACT_FLAG_UNIX_DATA) &&
507             inode_get_unix_data(inode, &unix_data) &&
508             !S_ISREG(unix_data.mode))
509         {
510                 path = unix_build_extraction_path(dentry, ctx);
511         retry_mknod:
512                 if (mknod(path, unix_data.mode, unix_data.rdev)) {
513                         if (errno == EPERM) {
514                                 WARNING_WITH_ERRNO("Can't create special "
515                                                    "file \"%s\"", path);
516                                 ctx->num_special_files_ignored++;
517                                 return 0;
518                         }
519                         if (errno == EEXIST && !unlink(path))
520                                 goto retry_mknod;
521                         ERROR_WITH_ERRNO("Can't create special file \"%s\"",
522                                          path);
523                         return WIMLIB_ERR_MKNOD;
524                 }
525                 /* On special files, we can set timestamps immediately because
526                  * we don't need to write any data to them.  */
527                 ret = unix_set_metadata(-1, inode, path, ctx);
528         } else {
529                 int fd;
530
531                 path = unix_build_extraction_path(dentry, ctx);
532         retry_create:
533                 fd = open(path, O_EXCL | O_CREAT | O_WRONLY | O_NOFOLLOW, 0644);
534                 if (fd < 0) {
535                         if (errno == EEXIST && !unlink(path))
536                                 goto retry_create;
537                         ERROR_WITH_ERRNO("Can't create regular file \"%s\"", path);
538                         return WIMLIB_ERR_OPEN;
539                 }
540                 /* On empty files, we can set timestamps immediately because we
541                  * don't need to write any data to them.  */
542                 ret = unix_set_metadata(fd, inode, path, ctx);
543                 if (close(fd) && !ret) {
544                         ERROR_WITH_ERRNO("Error closing \"%s\"", path);
545                         ret = WIMLIB_ERR_WRITE;
546                 }
547         }
548         if (ret)
549                 return ret;
550
551         ret = unix_create_hardlinks(inode, dentry, path, ctx);
552         if (ret)
553                 return ret;
554
555         return report_file_created(&ctx->common);
556 }
557
558 static int
559 unix_create_dirs_and_empty_files(const struct list_head *dentry_list,
560                                  struct unix_apply_ctx *ctx)
561 {
562         const struct wim_dentry *dentry;
563         int ret;
564
565         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
566                 ret = unix_create_if_directory(dentry, ctx);
567                 if (ret)
568                         return ret;
569         }
570         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
571                 ret = unix_extract_if_empty_file(dentry, ctx);
572                 if (ret)
573                         return ret;
574         }
575         return 0;
576 }
577
578 static void
579 unix_count_dentries(const struct list_head *dentry_list,
580                     u64 *dir_count_ret, u64 *empty_file_count_ret)
581 {
582         const struct wim_dentry *dentry;
583         u64 dir_count = 0;
584         u64 empty_file_count = 0;
585
586         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
587
588                 const struct wim_inode *inode = dentry->d_inode;
589
590                 if (should_extract_as_directory(inode))
591                         dir_count++;
592                 else if ((dentry == inode_first_extraction_dentry(inode)) &&
593                          !inode_is_symlink(inode) &&
594                          !inode_get_blob_for_unnamed_data_stream_resolved(inode))
595                         empty_file_count++;
596         }
597
598         *dir_count_ret = dir_count;
599         *empty_file_count_ret = empty_file_count;
600 }
601
602 static int
603 unix_create_symlink(const struct wim_inode *inode, const char *path,
604                     size_t rpdatalen, struct unix_apply_ctx *ctx)
605 {
606         char target[REPARSE_POINT_MAX_SIZE];
607         struct blob_descriptor blob_override;
608         int ret;
609
610         blob_set_is_located_in_attached_buffer(&blob_override,
611                                                ctx->reparse_data, rpdatalen);
612
613         ret = wim_inode_readlink(inode, target, sizeof(target) - 1,
614                                  &blob_override,
615                                  ctx->target_abspath,
616                                  ctx->target_abspath_nchars);
617         if (unlikely(ret < 0)) {
618                 errno = -ret;
619                 return WIMLIB_ERR_READLINK;
620         }
621         target[ret] = '\0';
622
623 retry_symlink:
624         if (symlink(target, path)) {
625                 if (errno == EEXIST && !unlink(path))
626                         goto retry_symlink;
627                 return WIMLIB_ERR_LINK;
628         }
629         return 0;
630 }
631
632 static void
633 unix_cleanup_open_fds(struct unix_apply_ctx *ctx, unsigned offset)
634 {
635         for (unsigned i = offset; i < ctx->num_open_fds; i++)
636                 filedes_close(&ctx->open_fds[i]);
637         ctx->num_open_fds = 0;
638         ctx->any_sparse_files = false;
639 }
640
641 static int
642 unix_begin_extract_blob_instance(const struct blob_descriptor *blob,
643                                  const struct wim_inode *inode,
644                                  const struct wim_inode_stream *strm,
645                                  struct unix_apply_ctx *ctx)
646 {
647         const struct wim_dentry *first_dentry;
648         const char *first_path;
649         int fd;
650
651         if (unlikely(strm->stream_type == STREAM_TYPE_REPARSE_POINT)) {
652                 /* On UNIX, symbolic links must be created with symlink(), which
653                  * requires that the full link target be available.  */
654                 if (blob->size > REPARSE_DATA_MAX_SIZE) {
655                         ERROR_WITH_ERRNO("Reparse data of \"%s\" has size "
656                                          "%"PRIu64" bytes (exceeds %u bytes)",
657                                          inode_any_full_path(inode),
658                                          blob->size, REPARSE_DATA_MAX_SIZE);
659                         return WIMLIB_ERR_INVALID_REPARSE_DATA;
660                 }
661                 ctx->reparse_ptr = ctx->reparse_data;
662                 return 0;
663         }
664
665         wimlib_assert(stream_is_unnamed_data_stream(strm));
666
667         /* Unnamed data stream of "regular" file  */
668
669         /* This should be ensured by extract_blob_list()  */
670         wimlib_assert(ctx->num_open_fds < MAX_OPEN_FILES);
671
672         first_dentry = inode_first_extraction_dentry(inode);
673         first_path = unix_build_extraction_path(first_dentry, ctx);
674 retry_create:
675         fd = open(first_path, O_EXCL | O_CREAT | O_WRONLY | O_NOFOLLOW, 0644);
676         if (fd < 0) {
677                 if (errno == EEXIST && !unlink(first_path))
678                         goto retry_create;
679                 ERROR_WITH_ERRNO("Can't create regular file \"%s\"", first_path);
680                 return WIMLIB_ERR_OPEN;
681         }
682         if (inode->i_attributes & FILE_ATTRIBUTE_SPARSE_FILE) {
683                 ctx->is_sparse_file[ctx->num_open_fds] = true;
684                 ctx->any_sparse_files = true;
685         } else {
686                 ctx->is_sparse_file[ctx->num_open_fds] = false;
687 #ifdef HAVE_POSIX_FALLOCATE
688                 posix_fallocate(fd, 0, blob->size);
689 #endif
690         }
691         filedes_init(&ctx->open_fds[ctx->num_open_fds++], fd);
692         return unix_create_hardlinks(inode, first_dentry, first_path, ctx);
693 }
694
695 /* Called when starting to read a blob for extraction  */
696 static int
697 unix_begin_extract_blob(struct blob_descriptor *blob, void *_ctx)
698 {
699         struct unix_apply_ctx *ctx = _ctx;
700         const struct blob_extraction_target *targets = blob_extraction_targets(blob);
701
702         for (u32 i = 0; i < blob->out_refcnt; i++) {
703                 int ret = unix_begin_extract_blob_instance(blob,
704                                                            targets[i].inode,
705                                                            targets[i].stream,
706                                                            ctx);
707                 if (ret) {
708                         ctx->reparse_ptr = NULL;
709                         unix_cleanup_open_fds(ctx, 0);
710                         return ret;
711                 }
712         }
713         return 0;
714 }
715
716 /* Called when the next chunk of a blob has been read for extraction  */
717 static int
718 unix_extract_chunk(const struct blob_descriptor *blob, u64 offset,
719                    const void *chunk, size_t size, void *_ctx)
720 {
721         struct unix_apply_ctx *ctx = _ctx;
722         const void * const end = chunk + size;
723         const void *p;
724         bool zeroes;
725         size_t len;
726         unsigned i;
727         int ret;
728
729         /*
730          * For sparse files, only write nonzero regions.  This lets the
731          * filesystem use holes to represent zero regions.
732          */
733         for (p = chunk; p != end; p += len, offset += len) {
734                 zeroes = maybe_detect_sparse_region(p, end - p, &len,
735                                                     ctx->any_sparse_files);
736                 for (i = 0; i < ctx->num_open_fds; i++) {
737                         if (!zeroes || !ctx->is_sparse_file[i]) {
738                                 ret = full_pwrite(&ctx->open_fds[i],
739                                                   p, len, offset);
740                                 if (ret)
741                                         goto err;
742                         }
743                 }
744         }
745
746         if (ctx->reparse_ptr)
747                 ctx->reparse_ptr = mempcpy(ctx->reparse_ptr, chunk, size);
748         return 0;
749
750 err:
751         ERROR_WITH_ERRNO("Error writing data to filesystem");
752         return ret;
753 }
754
755 /* Called when a blob has been fully read for extraction  */
756 static int
757 unix_end_extract_blob(struct blob_descriptor *blob, int status, void *_ctx)
758 {
759         struct unix_apply_ctx *ctx = _ctx;
760         int ret;
761         unsigned j;
762         const struct blob_extraction_target *targets = blob_extraction_targets(blob);
763
764         ctx->reparse_ptr = NULL;
765
766         if (status) {
767                 unix_cleanup_open_fds(ctx, 0);
768                 return status;
769         }
770
771         j = 0;
772         ret = 0;
773         for (u32 i = 0; i < blob->out_refcnt; i++) {
774                 struct wim_inode *inode = targets[i].inode;
775
776                 if (inode_is_symlink(inode)) {
777                         /* We finally have the symlink data, so we can create
778                          * the symlink.  */
779                         const char *path;
780
781                         path = unix_build_inode_extraction_path(inode, ctx);
782                         ret = unix_create_symlink(inode, path, blob->size, ctx);
783                         if (ret) {
784                                 ERROR_WITH_ERRNO("Can't create symbolic link "
785                                                  "\"%s\"", path);
786                                 break;
787                         }
788                         ret = unix_set_metadata(-1, inode, path, ctx);
789                         if (ret)
790                                 break;
791                 } else {
792                         struct filedes *fd = &ctx->open_fds[j];
793
794                         /* If the file is sparse, extend it to its final size. */
795                         if (ctx->is_sparse_file[j] && ftruncate(fd->fd, blob->size)) {
796                                 ERROR_WITH_ERRNO("Error extending \"%s\" to final size",
797                                                  unix_build_inode_extraction_path(inode, ctx));
798                                 ret = WIMLIB_ERR_WRITE;
799                                 break;
800                         }
801
802                         /* Set metadata on regular file just before closing.  */
803                         ret = unix_set_metadata(fd->fd, inode, NULL, ctx);
804                         if (ret)
805                                 break;
806
807                         if (filedes_close(fd)) {
808                                 ERROR_WITH_ERRNO("Error closing \"%s\"",
809                                                  unix_build_inode_extraction_path(inode, ctx));
810                                 ret = WIMLIB_ERR_WRITE;
811                                 break;
812                         }
813                         j++;
814                 }
815         }
816         unix_cleanup_open_fds(ctx, j);
817         return ret;
818 }
819
820 static int
821 unix_set_dir_metadata(struct list_head *dentry_list, struct unix_apply_ctx *ctx)
822 {
823         const struct wim_dentry *dentry;
824         int ret;
825
826         list_for_each_entry_reverse(dentry, dentry_list, d_extraction_list_node) {
827                 if (should_extract_as_directory(dentry->d_inode)) {
828                         ret = unix_set_metadata(-1, dentry->d_inode, NULL, ctx);
829                         if (ret)
830                                 return ret;
831                         ret = report_file_metadata_applied(&ctx->common);
832                         if (ret)
833                                 return ret;
834                 }
835         }
836         return 0;
837 }
838
839 static int
840 unix_extract(struct list_head *dentry_list, struct apply_ctx *_ctx)
841 {
842         int ret;
843         struct unix_apply_ctx *ctx = (struct unix_apply_ctx *)_ctx;
844         size_t path_max;
845         u64 dir_count;
846         u64 empty_file_count;
847
848         /* Compute the maximum path length that will be needed, then allocate
849          * some path buffers.  */
850         path_max = unix_compute_path_max(dentry_list, ctx);
851
852         for (unsigned i = 0; i < NUM_PATHBUFS; i++) {
853                 ctx->pathbufs[i] = MALLOC(path_max);
854                 if (!ctx->pathbufs[i]) {
855                         ret = WIMLIB_ERR_NOMEM;
856                         goto out;
857                 }
858                 /* Pre-fill the target in each path buffer.  We'll just append
859                  * the rest of the paths after this.  */
860                 memcpy(ctx->pathbufs[i],
861                        ctx->common.target, ctx->common.target_nchars);
862         }
863
864         /* Extract directories and empty regular files.  Directories are needed
865          * because we can't extract any other files until their directories
866          * exist.  Empty files are needed because they don't have
867          * representatives in the blob list.  */
868
869         unix_count_dentries(dentry_list, &dir_count, &empty_file_count);
870
871         ret = start_file_structure_phase(&ctx->common, dir_count + empty_file_count);
872         if (ret)
873                 goto out;
874
875         ret = unix_create_dirs_and_empty_files(dentry_list, ctx);
876         if (ret)
877                 goto out;
878
879         ret = end_file_structure_phase(&ctx->common);
880         if (ret)
881                 goto out;
882
883         /* Get full path to target if needed for absolute symlink fixups.  */
884         if ((ctx->common.extract_flags & WIMLIB_EXTRACT_FLAG_RPFIX) &&
885             ctx->common.required_features.symlink_reparse_points)
886         {
887                 ctx->target_abspath = realpath(ctx->common.target, NULL);
888                 if (!ctx->target_abspath) {
889                         ret = WIMLIB_ERR_NOMEM;
890                         goto out;
891                 }
892                 ctx->target_abspath_nchars = strlen(ctx->target_abspath);
893         }
894
895         /* Extract nonempty regular files and symbolic links.  */
896
897         struct read_blob_callbacks cbs = {
898                 .begin_blob     = unix_begin_extract_blob,
899                 .continue_blob  = unix_extract_chunk,
900                 .end_blob       = unix_end_extract_blob,
901                 .ctx            = ctx,
902         };
903         ret = extract_blob_list(&ctx->common, &cbs);
904         if (ret)
905                 goto out;
906
907
908         /* Set directory metadata.  We do this last so that we get the right
909          * directory timestamps.  */
910         ret = start_file_metadata_phase(&ctx->common, dir_count);
911         if (ret)
912                 goto out;
913
914         ret = unix_set_dir_metadata(dentry_list, ctx);
915         if (ret)
916                 goto out;
917
918         ret = end_file_metadata_phase(&ctx->common);
919         if (ret)
920                 goto out;
921
922         if (ctx->num_special_files_ignored) {
923                 WARNING("%lu special files were not extracted due to EPERM!",
924                         ctx->num_special_files_ignored);
925         }
926 out:
927         for (unsigned i = 0; i < NUM_PATHBUFS; i++)
928                 FREE(ctx->pathbufs[i]);
929         FREE(ctx->target_abspath);
930         return ret;
931 }
932
933 const struct apply_operations unix_apply_ops = {
934         .name                   = "UNIX",
935         .get_supported_features = unix_get_supported_features,
936         .extract                = unix_extract,
937         .context_size           = sizeof(struct unix_apply_ctx),
938 };