d0f3bb6cc86b0b850e43e7547cf5e2fb936824ed
[wimlib] / src / ntfs-3g_apply.c
1 /*
2  * ntfs-3g_apply.c
3  *
4  * Apply a WIM image directly to an NTFS volume using libntfs-3g.  Restore as
5  * much information as possible, including security data, file attributes, DOS
6  * names, and alternate data streams.
7  *
8  * Note: because NTFS-3g offers inode-based interfaces, we actually don't need
9  * to deal with paths at all!  (Other than for error messages.)
10  */
11
12 /*
13  * Copyright (C) 2012, 2013, 2014, 2015 Eric Biggers
14  *
15  * This file is free software; you can redistribute it and/or modify it under
16  * the terms of the GNU Lesser General Public License as published by the Free
17  * Software Foundation; either version 3 of the License, or (at your option) any
18  * later version.
19  *
20  * This file is distributed in the hope that it will be useful, but WITHOUT
21  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
22  * FOR A PARTICULAR PURPOSE. See the GNU Lesser General Public License for more
23  * details.
24  *
25  * You should have received a copy of the GNU Lesser General Public License
26  * along with this file; if not, see http://www.gnu.org/licenses/.
27  */
28
29 #ifdef HAVE_CONFIG_H
30 #  include "config.h"
31 #endif
32
33 #include <errno.h>
34 #include <locale.h>
35 #include <string.h>
36
37 #include <ntfs-3g/attrib.h>
38 #include <ntfs-3g/reparse.h>
39 #include <ntfs-3g/security.h>
40
41 #include "wimlib/assert.h"
42 #include "wimlib/apply.h"
43 #include "wimlib/blob_table.h"
44 #include "wimlib/dentry.h"
45 #include "wimlib/encoding.h"
46 #include "wimlib/error.h"
47 #include "wimlib/metadata.h"
48 #include "wimlib/ntfs_3g.h"
49 #include "wimlib/reparse.h"
50 #include "wimlib/security.h"
51 #include "wimlib/security_descriptor.h"
52
53 static int
54 ntfs_3g_get_supported_features(const char *target,
55                                struct wim_features *supported_features)
56 {
57         supported_features->archive_files             = 1;
58         supported_features->hidden_files              = 1;
59         supported_features->system_files              = 1;
60         supported_features->compressed_files          = 1;
61         supported_features->not_context_indexed_files = 1;
62         supported_features->named_data_streams        = 1;
63         supported_features->hard_links                = 1;
64         supported_features->reparse_points            = 1;
65         supported_features->security_descriptors      = 1;
66         supported_features->short_names               = 1;
67         supported_features->timestamps                = 1;
68         supported_features->case_sensitive_filenames  = 1;
69         return 0;
70 }
71
72 struct ntfs_3g_apply_ctx {
73         /* Extract flags, the pointer to the WIMStruct, etc.  */
74         struct apply_ctx common;
75
76         /* Pointer to the open NTFS volume  */
77         ntfs_volume *vol;
78
79         ntfs_attr *open_attrs[MAX_OPEN_FILES];
80         unsigned num_open_attrs;
81         ntfs_inode *open_inodes[MAX_OPEN_FILES];
82         unsigned num_open_inodes;
83
84         struct reparse_buffer_disk rpbuf;
85         u8 *reparse_ptr;
86
87         /* Offset in the blob currently being read  */
88         u64 offset;
89
90         unsigned num_reparse_inodes;
91         ntfs_inode *ntfs_reparse_inodes[MAX_OPEN_FILES];
92         struct wim_inode *wim_reparse_inodes[MAX_OPEN_FILES];
93 };
94
95 static size_t
96 sid_size(const wimlib_SID *sid)
97 {
98         return offsetof(wimlib_SID, sub_authority) +
99                 sizeof(le32) * sid->sub_authority_count;
100 }
101
102 /*
103  * sd_fixup - Fix up a Windows NT security descriptor for libntfs-3g.
104  *
105  * libntfs-3g validates security descriptors before setting them, but old
106  * versions contain bugs causing it to reject unusual but valid security
107  * descriptors:
108  *
109  * - Versions before 2013.1.13 reject security descriptors ending with an empty
110  *   SACL (System Access Control List).  This bug can be worked around either by
111  *   moving the empty SACL earlier in the security descriptor or by removing the
112  *   SACL entirely.  The latter work-around is valid because an empty SACL is
113  *   equivalent to a "null", or non-existent, SACL.
114  * - Versions before 2014.2.15 reject security descriptors ending with an empty
115  *   DACL (Discretionary Access Control List).  This is very similar to the SACL
116  *   bug.  However, removing the DACL is not a valid workaround because this
117  *   changes the meaning of the security descriptor--- an empty DACL allows no
118  *   access, whereas a "null" DACL allows all access.
119  *
120  * If the security descriptor was fixed, this function returns an allocated
121  * buffer containing the fixed security descriptor, and its size is updated.
122  * Otherwise (or if no memory is available) NULL is returned.
123  */
124 static void *
125 sd_fixup(const void *_desc, size_t *size_p)
126 {
127         u32 owner_offset, group_offset, dacl_offset, sacl_offset;
128         bool owner_valid, group_valid;
129         size_t size = *size_p;
130         const wimlib_SECURITY_DESCRIPTOR_RELATIVE *desc = _desc;
131         wimlib_SECURITY_DESCRIPTOR_RELATIVE *desc_new;
132         const wimlib_SID *owner, *group, *sid;
133
134         /* Don't attempt to fix clearly invalid security descriptors.  */
135         if (size < sizeof(wimlib_SECURITY_DESCRIPTOR_RELATIVE))
136                 return NULL;
137
138         if (le16_to_cpu(desc->control) & wimlib_SE_DACL_PRESENT)
139                 dacl_offset = le32_to_cpu(desc->dacl_offset);
140         else
141                 dacl_offset = 0;
142
143         if (le16_to_cpu(desc->control) & wimlib_SE_SACL_PRESENT)
144                 sacl_offset = le32_to_cpu(desc->sacl_offset);
145         else
146                 sacl_offset = 0;
147
148         /* Check if the security descriptor will be affected by one of the bugs.
149          * If not, do nothing and return.  */
150         if (!((sacl_offset != 0 && sacl_offset == size - sizeof(wimlib_ACL)) ||
151               (dacl_offset != 0 && dacl_offset == size - sizeof(wimlib_ACL))))
152                 return NULL;
153
154         owner_offset = le32_to_cpu(desc->owner_offset);
155         group_offset = le32_to_cpu(desc->group_offset);
156         owner = (const wimlib_SID*)((const u8*)desc + owner_offset);
157         group = (const wimlib_SID*)((const u8*)desc + group_offset);
158
159         /* We'll try to move the owner or group SID to the end of the security
160          * descriptor to avoid the bug.  This is only possible if at least one
161          * is valid.  */
162         owner_valid = (owner_offset != 0) &&
163                         (owner_offset % 4 == 0) &&
164                         (owner_offset <= size - sizeof(SID)) &&
165                         (owner_offset + sid_size(owner) <= size) &&
166                         (owner_offset >= sizeof(wimlib_SECURITY_DESCRIPTOR_RELATIVE));
167         group_valid = (group_offset != 0) &&
168                         (group_offset % 4 == 0) &&
169                         (group_offset <= size - sizeof(SID)) &&
170                         (group_offset + sid_size(group) <= size) &&
171                         (group_offset >= sizeof(wimlib_SECURITY_DESCRIPTOR_RELATIVE));
172         if (owner_valid) {
173                 sid = owner;
174         } else if (group_valid) {
175                 sid = group;
176         } else {
177                 return NULL;
178         }
179
180         desc_new = MALLOC(size + sid_size(sid));
181         if (!desc_new)
182                 return NULL;
183
184         memcpy(desc_new, desc, size);
185         if (owner_valid)
186                 desc_new->owner_offset = cpu_to_le32(size);
187         else if (group_valid)
188                 desc_new->group_offset = cpu_to_le32(size);
189         memcpy((u8*)desc_new + size, sid, sid_size(sid));
190         *size_p = size + sid_size(sid);
191         return desc_new;
192 }
193
194 /* Set the security descriptor @desc of size @desc_size on the NTFS inode @ni.
195   */
196 static int
197 ntfs_3g_set_security_descriptor(ntfs_inode *ni, const void *desc, size_t desc_size)
198 {
199         struct SECURITY_CONTEXT sec_ctx;
200         void *desc_fixed = NULL;
201         int ret = 0;
202
203         memset(&sec_ctx, 0, sizeof(sec_ctx));
204         sec_ctx.vol = ni->vol;
205
206 retry:
207         if (ntfs_set_ntfs_acl(&sec_ctx, ni, desc, desc_size, 0)) {
208                 if (desc_fixed == NULL) {
209                         desc_fixed = sd_fixup(desc, &desc_size);
210                         if (desc_fixed != NULL) {
211                                 desc = desc_fixed;
212                                 goto retry;
213                         }
214                 }
215                 ret = WIMLIB_ERR_SET_SECURITY;
216         }
217
218         FREE(desc_fixed);
219         return ret;
220 }
221
222 static int
223 ntfs_3g_set_timestamps(ntfs_inode *ni, const struct wim_inode *inode)
224 {
225         u64 times[3] = {
226                 inode->i_creation_time,
227                 inode->i_last_write_time,
228                 inode->i_last_access_time,
229         };
230
231         if (ntfs_inode_set_times(ni, (const char *)times, sizeof(times), 0))
232                 return WIMLIB_ERR_SET_TIMESTAMPS;
233         return 0;
234 }
235
236 /* Restore the timestamps on the NTFS inode corresponding to @inode.  */
237 static int
238 ntfs_3g_restore_timestamps(ntfs_volume *vol, const struct wim_inode *inode)
239 {
240         ntfs_inode *ni;
241         int res;
242
243         ni = ntfs_inode_open(vol, inode->i_mft_no);
244         if (!ni)
245                 goto fail;
246
247         res = ntfs_3g_set_timestamps(ni, inode);
248
249         if (ntfs_inode_close(ni) || res)
250                 goto fail;
251
252         return 0;
253
254 fail:
255         ERROR_WITH_ERRNO("Failed to update timestamps of \"%s\" in NTFS volume",
256                          dentry_full_path(inode_first_extraction_dentry(inode)));
257         return WIMLIB_ERR_SET_TIMESTAMPS;
258 }
259
260 /* Restore the DOS name of the @dentry.
261  * This closes both @ni and @dir_ni.
262  * If either is NULL, then they are opened temporarily.  */
263 static int
264 ntfs_3g_restore_dos_name(ntfs_inode *ni, ntfs_inode *dir_ni,
265                          struct wim_dentry *dentry, ntfs_volume *vol)
266 {
267         int ret;
268         const char *dos_name;
269         size_t dos_name_nbytes;
270
271         /* Note: ntfs_set_ntfs_dos_name() closes both inodes (even if it fails).
272          * And it takes in a multibyte string, even though it translates it to
273          * UTF-16LE internally... which is annoying because we currently have
274          * the UTF-16LE string but not the multibyte string.  */
275
276         ret = utf16le_get_tstr(dentry->d_short_name, dentry->d_short_name_nbytes,
277                                &dos_name, &dos_name_nbytes);
278         if (ret)
279                 goto out_close;
280
281         if (!dir_ni)
282                 dir_ni = ntfs_inode_open(vol, dentry->d_parent->d_inode->i_mft_no);
283         if (!ni)
284                 ni = ntfs_inode_open(vol, dentry->d_inode->i_mft_no);
285         if (dir_ni && ni) {
286                 ret = ntfs_set_ntfs_dos_name(ni, dir_ni,
287                                              dos_name, dos_name_nbytes, 0);
288                 dir_ni = NULL;
289                 ni = NULL;
290         } else {
291                 ret = -1;
292         }
293         utf16le_put_tstr(dos_name);
294         if (ret) {
295                 ERROR_WITH_ERRNO("Failed to set DOS name of \"%s\" in NTFS "
296                                  "volume", dentry_full_path(dentry));
297                 ret = WIMLIB_ERR_SET_SHORT_NAME;
298                 goto out_close;
299         }
300
301         /* Unlike most other NTFS-3g functions, ntfs_set_ntfs_dos_name()
302          * changes the directory's last modification timestamp...
303          * Change it back.  */
304         return ntfs_3g_restore_timestamps(vol, dentry->d_parent->d_inode);
305
306 out_close:
307         /* ntfs_inode_close() can take a NULL argument, but it's probably best
308          * not to rely on this behavior.  */
309         if (ni)
310                 ntfs_inode_close(ni);
311         if (dir_ni)
312                 ntfs_inode_close(dir_ni);
313         return ret;
314 }
315
316 static int
317 ntfs_3g_restore_reparse_point(ntfs_inode *ni, const struct wim_inode *inode,
318                               unsigned blob_size, struct ntfs_3g_apply_ctx *ctx)
319 {
320         complete_reparse_point(&ctx->rpbuf, inode, blob_size);
321
322         if (ntfs_set_ntfs_reparse_data(ni, (const char *)&ctx->rpbuf,
323                                        REPARSE_DATA_OFFSET + blob_size, 0))
324         {
325                 ERROR_WITH_ERRNO("Failed to set reparse data on \"%s\"",
326                                  dentry_full_path(
327                                         inode_first_extraction_dentry(inode)));
328                 return WIMLIB_ERR_SET_REPARSE_DATA;
329         }
330
331         return 0;
332 }
333
334
335 /*
336  * Create empty attributes (named data streams and potentially a reparse point)
337  * for the specified file, if there are any.
338  *
339  * Since these won't have blob descriptors, they won't show up in the call to
340  * extract_blob_list().  Hence the need for the special case.
341  */
342 static int
343 ntfs_3g_create_empty_attributes(ntfs_inode *ni,
344                                 const struct wim_inode *inode,
345                                 struct ntfs_3g_apply_ctx *ctx)
346 {
347
348         for (unsigned i = 0; i < inode->i_num_streams; i++) {
349
350                 const struct wim_inode_stream *strm = &inode->i_streams[i];
351                 int ret;
352
353                 if (stream_blob_resolved(strm) != NULL)
354                         continue;
355
356                 if (strm->stream_type == STREAM_TYPE_REPARSE_POINT) {
357                         ret = ntfs_3g_restore_reparse_point(ni, inode, 0, ctx);
358                         if (ret)
359                                 return ret;
360                 } else if (stream_is_named_data_stream(strm)) {
361                         if (ntfs_attr_add(ni, AT_DATA, strm->stream_name,
362                                           utf16le_len_chars(strm->stream_name),
363                                           NULL, 0))
364                         {
365                                 ERROR_WITH_ERRNO("Failed to create named data "
366                                                  "stream of \"%s\"",
367                                                  dentry_full_path(
368                                         inode_first_extraction_dentry(inode)));
369                                 return WIMLIB_ERR_NTFS_3G;
370                         }
371                 }
372         }
373         return 0;
374 }
375
376 /* Set attributes, security descriptor, and timestamps on the NTFS inode @ni.
377  */
378 static int
379 ntfs_3g_set_metadata(ntfs_inode *ni, const struct wim_inode *inode,
380                      const struct ntfs_3g_apply_ctx *ctx)
381 {
382         int extract_flags;
383         const struct wim_security_data *sd;
384         struct wim_dentry *one_dentry;
385         int ret;
386
387         extract_flags = ctx->common.extract_flags;
388         sd = wim_get_current_security_data(ctx->common.wim);
389         one_dentry = inode_first_extraction_dentry(inode);
390
391         /* Attributes  */
392         if (!(extract_flags & WIMLIB_EXTRACT_FLAG_NO_ATTRIBUTES)) {
393                 u32 attrib = inode->i_attributes;
394
395                 attrib &= ~(FILE_ATTRIBUTE_SPARSE_FILE |
396                             FILE_ATTRIBUTE_ENCRYPTED);
397
398                 if (ntfs_set_ntfs_attrib(ni, (const char *)&attrib,
399                                          sizeof(attrib), 0))
400                 {
401                         ERROR_WITH_ERRNO("Failed to set attributes on \"%s\" "
402                                          "in NTFS volume",
403                                          dentry_full_path(one_dentry));
404                         return WIMLIB_ERR_SET_ATTRIBUTES;
405                 }
406         }
407
408         /* Security descriptor  */
409         if (inode_has_security_descriptor(inode)
410             && !(extract_flags & WIMLIB_EXTRACT_FLAG_NO_ACLS))
411         {
412                 const void *desc;
413                 size_t desc_size;
414
415                 desc = sd->descriptors[inode->i_security_id];
416                 desc_size = sd->sizes[inode->i_security_id];
417
418                 ret = ntfs_3g_set_security_descriptor(ni, desc, desc_size);
419
420                 if (unlikely(ret)) {
421                         int err = errno;
422                         ERROR_WITH_ERRNO("Failed to set security descriptor on "
423                                          "\"%s\" in NTFS volume",
424                                          dentry_full_path(one_dentry));
425                         if (err == EINVAL && wimlib_print_errors) {
426                                 fprintf(wimlib_error_file,
427                                         "The security descriptor is: ");
428                                 print_byte_field(desc, desc_size, wimlib_error_file);
429                                 fprintf(wimlib_error_file, "\n");
430                                 fprintf(wimlib_error_file,
431                                         "\nThis error occurred because libntfs-3g thinks "
432                                         "the security descriptor is invalid.  If you "
433                                         "are extracting a Windows 10 image, this may be "
434                                         "caused by a known bug in libntfs-3g.  See: "
435                                         "http://wimlib.net/forums/viewtopic.php?f=1&t=4 "
436                                         "for more information.\n\n");
437                         }
438                         return ret;
439                 }
440         }
441
442         /* Timestamps  */
443         ret = ntfs_3g_set_timestamps(ni, inode);
444         if (ret) {
445                 ERROR_WITH_ERRNO("Failed to set timestamps on \"%s\" "
446                                  "in NTFS volume",
447                                  dentry_full_path(one_dentry));
448                 return ret;
449         }
450         return 0;
451 }
452
453 /* Recursively creates all the subdirectories of @dir, which has been created as
454  * the NTFS inode @dir_ni.  */
455 static int
456 ntfs_3g_create_dirs_recursive(ntfs_inode *dir_ni, struct wim_dentry *dir,
457                               struct ntfs_3g_apply_ctx *ctx)
458 {
459         struct wim_dentry *child;
460
461         for_dentry_child(child, dir) {
462                 ntfs_inode *ni;
463                 int ret;
464
465                 if (!(child->d_inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY))
466                         continue;
467                 if (!will_extract_dentry(child))
468                         continue;
469
470                 ni = ntfs_create(dir_ni, 0, child->d_extraction_name,
471                                  child->d_extraction_name_nchars, S_IFDIR);
472                 if (!ni) {
473                         ERROR_WITH_ERRNO("Error creating \"%s\" in NTFS volume",
474                                          dentry_full_path(child));
475                         return WIMLIB_ERR_NTFS_3G;
476                 }
477
478                 child->d_inode->i_mft_no = ni->mft_no;
479
480                 ret = report_file_created(&ctx->common);
481                 if (!ret)
482                         ret = ntfs_3g_set_metadata(ni, child->d_inode, ctx);
483                 if (!ret)
484                         ret = ntfs_3g_create_empty_attributes(ni, child->d_inode, ctx);
485                 if (!ret)
486                         ret = ntfs_3g_create_dirs_recursive(ni, child, ctx);
487
488                 if (ntfs_inode_close_in_dir(ni, dir_ni) && !ret) {
489                         ERROR_WITH_ERRNO("Error closing \"%s\" in NTFS volume",
490                                          dentry_full_path(child));
491                         ret = WIMLIB_ERR_NTFS_3G;
492                 }
493                 if (ret)
494                         return ret;
495         }
496         return 0;
497 }
498
499 /* For each WIM dentry in the @root tree that represents a directory, create the
500  * corresponding directory in the NTFS volume @ctx->vol.  */
501 static int
502 ntfs_3g_create_directories(struct wim_dentry *root,
503                            struct list_head *dentry_list,
504                            struct ntfs_3g_apply_ctx *ctx)
505 {
506         ntfs_inode *root_ni;
507         int ret;
508         struct wim_dentry *dentry;
509
510         /* Create the directories using POSIX names.  */
511
512         root_ni = ntfs_inode_open(ctx->vol, FILE_root);
513         if (!root_ni) {
514                 ERROR_WITH_ERRNO("Can't open root of NTFS volume");
515                 return WIMLIB_ERR_NTFS_3G;
516         }
517
518         root->d_inode->i_mft_no = FILE_root;
519
520         ret = ntfs_3g_set_metadata(root_ni, root->d_inode, ctx);
521         if (!ret)
522                 ret = ntfs_3g_create_empty_attributes(root_ni, root->d_inode, ctx);
523         if (!ret)
524                 ret = ntfs_3g_create_dirs_recursive(root_ni, root, ctx);
525
526         if (ntfs_inode_close(root_ni) && !ret) {
527                 ERROR_WITH_ERRNO("Error closing root of NTFS volume");
528                 ret = WIMLIB_ERR_NTFS_3G;
529         }
530         if (ret)
531                 return ret;
532
533         /* Set the DOS name of any directory that has one.  */
534         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
535                 if (!(dentry->d_inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY))
536                         continue;
537                 if (!dentry_has_short_name(dentry))
538                         continue;
539                 ret = ntfs_3g_restore_dos_name(NULL, NULL, dentry, ctx->vol);
540                 if (ret)
541                         return ret;
542                 ret = report_file_created(&ctx->common);
543                 if (ret)
544                         return ret;
545         }
546         return 0;
547 }
548
549 /* When creating an inode that will have a short (DOS) name, we create it using
550  * the long name associated with the short name.  This ensures that the short
551  * name gets associated with the correct long name.  */
552 static struct wim_dentry *
553 ntfs_3g_first_extraction_alias(struct wim_inode *inode)
554 {
555         struct wim_dentry *dentry;
556
557         inode_for_each_extraction_alias(dentry, inode)
558                 if (dentry_has_short_name(dentry))
559                         return dentry;
560         return inode_first_extraction_dentry(inode);
561 }
562
563 /*
564  * Add a hard link for the NTFS inode @ni at the location corresponding to the
565  * WIM dentry @dentry.
566  *
567  * The parent directory must have already been created on the NTFS volume.
568  *
569  * Returns 0 on success; returns WIMLIB_ERR_NTFS_3G and sets errno on failure.
570  */
571 static int
572 ntfs_3g_add_link(ntfs_inode *ni, struct wim_dentry *dentry)
573 {
574         ntfs_inode *dir_ni;
575         int res;
576
577         /* Open the inode of the parent directory.  */
578         dir_ni = ntfs_inode_open(ni->vol, dentry->d_parent->d_inode->i_mft_no);
579         if (!dir_ni)
580                 goto fail;
581
582         /* Create the link.  */
583         res = ntfs_link(ni, dir_ni, dentry->d_extraction_name,
584                         dentry->d_extraction_name_nchars);
585
586         /* Close the parent directory.  */
587         if (ntfs_inode_close(dir_ni) || res)
588                 goto fail;
589
590         return 0;
591
592 fail:
593         ERROR_WITH_ERRNO("Can't create link \"%s\" in NTFS volume",
594                          dentry_full_path(dentry));
595         return WIMLIB_ERR_NTFS_3G;
596 }
597
598 static int
599 ntfs_3g_create_nondirectory(struct wim_inode *inode,
600                             struct ntfs_3g_apply_ctx *ctx)
601 {
602         struct wim_dentry *first_dentry;
603         ntfs_inode *dir_ni;
604         ntfs_inode *ni;
605         struct wim_dentry *dentry;
606         int ret;
607
608         first_dentry = ntfs_3g_first_extraction_alias(inode);
609
610         /* Create first link.  */
611
612         dir_ni = ntfs_inode_open(ctx->vol, first_dentry->d_parent->d_inode->i_mft_no);
613         if (!dir_ni) {
614                 ERROR_WITH_ERRNO("Can't open \"%s\" in NTFS volume",
615                                  dentry_full_path(first_dentry->d_parent));
616                 return WIMLIB_ERR_NTFS_3G;
617         }
618
619         ni = ntfs_create(dir_ni, 0, first_dentry->d_extraction_name,
620                          first_dentry->d_extraction_name_nchars, S_IFREG);
621
622         if (!ni) {
623                 ERROR_WITH_ERRNO("Can't create \"%s\" in NTFS volume",
624                                  dentry_full_path(first_dentry));
625                 ntfs_inode_close(dir_ni);
626                 return WIMLIB_ERR_NTFS_3G;
627         }
628
629         inode->i_mft_no = ni->mft_no;
630
631         /* Set short name if present.  */
632         if (dentry_has_short_name(first_dentry)) {
633
634                 ret = ntfs_3g_restore_dos_name(ni, dir_ni, first_dentry, ctx->vol);
635
636                 /* ntfs_3g_restore_dos_name() closed both 'ni' and 'dir_ni'.  */
637
638                 if (ret)
639                         return ret;
640
641                 /* Reopen the inode.  */
642                 ni = ntfs_inode_open(ctx->vol, inode->i_mft_no);
643                 if (!ni) {
644                         ERROR_WITH_ERRNO("Failed to reopen \"%s\" "
645                                          "in NTFS volume",
646                                          dentry_full_path(first_dentry));
647                         return WIMLIB_ERR_NTFS_3G;
648                 }
649         } else {
650                 /* Close the directory in which the first link was created.  */
651                 if (ntfs_inode_close(dir_ni)) {
652                         ERROR_WITH_ERRNO("Failed to close \"%s\" in NTFS volume",
653                                          dentry_full_path(first_dentry->d_parent));
654                         ret = WIMLIB_ERR_NTFS_3G;
655                         goto out_close_ni;
656                 }
657         }
658
659         /* Create additional links if present.  */
660         inode_for_each_extraction_alias(dentry, inode) {
661                 if (dentry != first_dentry) {
662                         ret = ntfs_3g_add_link(ni, dentry);
663                         if (ret)
664                                 goto out_close_ni;
665                 }
666         }
667
668         /* Set metadata.  */
669         ret = ntfs_3g_set_metadata(ni, inode, ctx);
670         if (ret)
671                 goto out_close_ni;
672
673         ret = ntfs_3g_create_empty_attributes(ni, inode, ctx);
674
675 out_close_ni:
676         /* Close the inode.  */
677         if (ntfs_inode_close(ni) && !ret) {
678                 ERROR_WITH_ERRNO("Error closing \"%s\" in NTFS volume",
679                                  dentry_full_path(first_dentry));
680                 ret = WIMLIB_ERR_NTFS_3G;
681         }
682         return ret;
683 }
684
685 /* For each WIM dentry in the @dentry_list that represents a nondirectory file,
686  * create the corresponding nondirectory file in the NTFS volume.
687  *
688  * Directories must have already been created.  */
689 static int
690 ntfs_3g_create_nondirectories(struct list_head *dentry_list,
691                               struct ntfs_3g_apply_ctx *ctx)
692 {
693         struct wim_dentry *dentry;
694         struct wim_inode *inode;
695         int ret;
696
697         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
698                 inode = dentry->d_inode;
699                 if (inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY)
700                         continue;
701                 if (dentry == inode_first_extraction_dentry(inode)) {
702                         ret = ntfs_3g_create_nondirectory(inode, ctx);
703                         if (ret)
704                                 return ret;
705                 }
706                 ret = report_file_created(&ctx->common);
707                 if (ret)
708                         return ret;
709         }
710         return 0;
711 }
712
713 static int
714 ntfs_3g_begin_extract_blob_instance(struct blob_descriptor *blob,
715                                     ntfs_inode *ni,
716                                     struct wim_inode *inode,
717                                     const struct wim_inode_stream *strm,
718                                     struct ntfs_3g_apply_ctx *ctx)
719 {
720         struct wim_dentry *one_dentry = inode_first_extraction_dentry(inode);
721         ntfschar *stream_name;
722         size_t stream_name_nchars;
723         ntfs_attr *attr;
724
725         if (unlikely(strm->stream_type == STREAM_TYPE_REPARSE_POINT)) {
726
727                 if (blob->size > REPARSE_DATA_MAX_SIZE) {
728                         ERROR("Reparse data of \"%s\" has size "
729                               "%"PRIu64" bytes (exceeds %u bytes)",
730                               dentry_full_path(one_dentry),
731                               blob->size, REPARSE_DATA_MAX_SIZE);
732                         return WIMLIB_ERR_INVALID_REPARSE_DATA;
733                 }
734                 ctx->reparse_ptr = ctx->rpbuf.rpdata;
735                 ctx->ntfs_reparse_inodes[ctx->num_reparse_inodes] = ni;
736                 ctx->wim_reparse_inodes[ctx->num_reparse_inodes] = inode;
737                 ctx->num_reparse_inodes++;
738                 return 0;
739         }
740
741         /* It's a data stream (may be unnamed or named).  */
742         wimlib_assert(strm->stream_type == STREAM_TYPE_DATA);
743
744         if (unlikely(stream_is_named(strm))) {
745                 stream_name = strm->stream_name;
746                 stream_name_nchars = utf16le_len_chars(stream_name);
747
748                 if (ntfs_attr_add(ni, AT_DATA, stream_name,
749                                   stream_name_nchars, NULL, 0))
750                 {
751                         ERROR_WITH_ERRNO("Failed to create named data stream of \"%s\"",
752                                          dentry_full_path(one_dentry));
753                         return WIMLIB_ERR_NTFS_3G;
754                 }
755         } else {
756                 /* Don't pass an empty string other than AT_UNNAMED to
757                  * ntfs_attr_open() --- it violates assumptions made by
758                  * libntfs-3g.  */
759                 stream_name = AT_UNNAMED;
760                 stream_name_nchars = 0;
761         }
762
763         /* This should be ensured by extract_blob_list()  */
764         wimlib_assert(ctx->num_open_attrs < MAX_OPEN_FILES);
765
766         attr = ntfs_attr_open(ni, AT_DATA, stream_name, stream_name_nchars);
767         if (!attr) {
768                 ERROR_WITH_ERRNO("Failed to open data stream of \"%s\"",
769                                  dentry_full_path(one_dentry));
770                 return WIMLIB_ERR_NTFS_3G;
771         }
772         ctx->open_attrs[ctx->num_open_attrs++] = attr;
773         ntfs_attr_truncate_solid(attr, blob->size);
774         return 0;
775 }
776
777 static int
778 ntfs_3g_cleanup_blob_extract(struct ntfs_3g_apply_ctx *ctx)
779 {
780         int ret = 0;
781
782         for (unsigned i = 0; i < ctx->num_open_attrs; i++) {
783                 if (ntfs_attr_pclose(ctx->open_attrs[i]))
784                         ret = -1;
785                 ntfs_attr_close(ctx->open_attrs[i]);
786         }
787
788         ctx->num_open_attrs = 0;
789
790         for (unsigned i = 0; i < ctx->num_open_inodes; i++) {
791                 if (ntfs_inode_close(ctx->open_inodes[i]))
792                         ret = -1;
793         }
794         ctx->num_open_inodes = 0;
795
796         ctx->offset = 0;
797         ctx->reparse_ptr = NULL;
798         ctx->num_reparse_inodes = 0;
799         return ret;
800 }
801
802 static ntfs_inode *
803 ntfs_3g_open_inode(struct wim_inode *inode, struct ntfs_3g_apply_ctx *ctx)
804 {
805         ntfs_inode *ni;
806
807         /* If the same blob is being extracted to multiple streams of the same
808          * inode, then we must only open the inode once.  */
809         if (unlikely(inode->i_num_streams > 1)) {
810                 for (unsigned i = 0; i < ctx->num_open_inodes; i++) {
811                         if (ctx->open_inodes[i]->mft_no == inode->i_mft_no) {
812                                 return ctx->open_inodes[i];
813                         }
814                 }
815         }
816
817         ni = ntfs_inode_open(ctx->vol, inode->i_mft_no);
818         if (unlikely(!ni)) {
819                 ERROR_WITH_ERRNO("Can't open \"%s\" in NTFS volume",
820                                  dentry_full_path(
821                                         inode_first_extraction_dentry(inode)));
822                 return NULL;
823         }
824
825         ctx->open_inodes[ctx->num_open_inodes++] = ni;
826         return ni;
827 }
828
829 static int
830 ntfs_3g_begin_extract_blob(struct blob_descriptor *blob, void *_ctx)
831 {
832         struct ntfs_3g_apply_ctx *ctx = _ctx;
833         const struct blob_extraction_target *targets = blob_extraction_targets(blob);
834         int ret;
835         ntfs_inode *ni;
836
837         for (u32 i = 0; i < blob->out_refcnt; i++) {
838                 ret = WIMLIB_ERR_NTFS_3G;
839                 ni = ntfs_3g_open_inode(targets[i].inode, ctx);
840                 if (!ni)
841                         goto out_cleanup;
842
843                 ret = ntfs_3g_begin_extract_blob_instance(blob, ni,
844                                                           targets[i].inode,
845                                                           targets[i].stream, ctx);
846                 if (ret)
847                         goto out_cleanup;
848         }
849         ret = 0;
850         goto out;
851
852 out_cleanup:
853         ntfs_3g_cleanup_blob_extract(ctx);
854 out:
855         return ret;
856 }
857
858 /* Note: contrary to its documentation, ntfs_attr_pwrite() can return a short
859  * count in non-error cases --- specifically, when writing to a compressed
860  * attribute and the requested count exceeds the size of an NTFS "compression
861  * block".  Therefore, we must continue calling ntfs_attr_pwrite() until all
862  * bytes have been written or a real error has occurred.  */
863 static bool
864 ntfs_3g_full_pwrite(ntfs_attr *na, u64 offset, size_t size, const u8 *data)
865 {
866         while (size) {
867                 s64 res = ntfs_attr_pwrite(na, offset, size, data);
868                 if (unlikely(res <= 0))
869                         return false;
870                 wimlib_assert(res <= size);
871                 offset += res;
872                 size -= res;
873                 data += res;
874         }
875         return true;
876 }
877
878 static int
879 ntfs_3g_extract_chunk(const void *chunk, size_t size, void *_ctx)
880 {
881         struct ntfs_3g_apply_ctx *ctx = _ctx;
882
883         for (unsigned i = 0; i < ctx->num_open_attrs; i++) {
884                 if (!ntfs_3g_full_pwrite(ctx->open_attrs[i],
885                                          ctx->offset, size, chunk))
886                 {
887                         ERROR_WITH_ERRNO("Error writing data to NTFS volume");
888                         return WIMLIB_ERR_NTFS_3G;
889                 }
890         }
891         if (ctx->reparse_ptr)
892                 ctx->reparse_ptr = mempcpy(ctx->reparse_ptr, chunk, size);
893         ctx->offset += size;
894         return 0;
895 }
896
897 static int
898 ntfs_3g_end_extract_blob(struct blob_descriptor *blob, int status, void *_ctx)
899 {
900         struct ntfs_3g_apply_ctx *ctx = _ctx;
901         int ret;
902
903         if (status) {
904                 ret = status;
905                 goto out;
906         }
907
908         for (u32 i = 0; i < ctx->num_reparse_inodes; i++) {
909                 ret = ntfs_3g_restore_reparse_point(ctx->ntfs_reparse_inodes[i],
910                                                     ctx->wim_reparse_inodes[i],
911                                                     blob->size, ctx);
912                 if (ret)
913                         goto out;
914         }
915         ret = 0;
916 out:
917         if (ntfs_3g_cleanup_blob_extract(ctx) && !ret) {
918                 ERROR_WITH_ERRNO("Error writing data to NTFS volume");
919                 ret = WIMLIB_ERR_NTFS_3G;
920         }
921         return ret;
922 }
923
924 static u64
925 ntfs_3g_count_dentries(const struct list_head *dentry_list)
926 {
927         const struct wim_dentry *dentry;
928         u64 count = 0;
929
930         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
931                 count++;
932                 if ((dentry->d_inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY) &&
933                     dentry_has_short_name(dentry))
934                 {
935                         count++;
936                 }
937         }
938
939         return count;
940 }
941
942 static int
943 ntfs_3g_extract(struct list_head *dentry_list, struct apply_ctx *_ctx)
944 {
945         struct ntfs_3g_apply_ctx *ctx = (struct ntfs_3g_apply_ctx *)_ctx;
946         ntfs_volume *vol;
947         struct wim_dentry *root;
948         int ret;
949
950         /* For NTFS-3g extraction mode we require that the dentries to extract
951          * form a single tree.  */
952         root = list_first_entry(dentry_list, struct wim_dentry,
953                                 d_extraction_list_node);
954
955         /* Mount the NTFS volume.  */
956         vol = ntfs_mount(ctx->common.target, 0);
957         if (!vol) {
958                 ERROR_WITH_ERRNO("Failed to mount \"%s\" with NTFS-3g",
959                                  ctx->common.target);
960                 return WIMLIB_ERR_NTFS_3G;
961         }
962         ctx->vol = vol;
963
964         /* Create all inodes and aliases, including short names, and set
965          * metadata (attributes, security descriptors, and timestamps).  */
966
967         ret = start_file_structure_phase(&ctx->common,
968                                          ntfs_3g_count_dentries(dentry_list));
969         if (ret)
970                 goto out_unmount;
971
972         ret = ntfs_3g_create_directories(root, dentry_list, ctx);
973         if (ret)
974                 goto out_unmount;
975
976         ret = ntfs_3g_create_nondirectories(dentry_list, ctx);
977         if (ret)
978                 goto out_unmount;
979
980         ret = end_file_structure_phase(&ctx->common);
981         if (ret)
982                 goto out_unmount;
983
984         /* Extract blobs.  */
985         struct read_blob_callbacks cbs = {
986                 .begin_blob     = ntfs_3g_begin_extract_blob,
987                 .consume_chunk  = ntfs_3g_extract_chunk,
988                 .end_blob       = ntfs_3g_end_extract_blob,
989                 .ctx            = ctx,
990         };
991         ret = extract_blob_list(&ctx->common, &cbs);
992
993         /* We do not need a final pass to set timestamps because libntfs-3g does
994          * not update timestamps automatically (exception:
995          * ntfs_set_ntfs_dos_name() does, but we handle this elsewhere).  */
996
997 out_unmount:
998         if (ntfs_umount(ctx->vol, FALSE) && !ret) {
999                 ERROR_WITH_ERRNO("Failed to unmount \"%s\" with NTFS-3g",
1000                                  ctx->common.target);
1001                 ret = WIMLIB_ERR_NTFS_3G;
1002         }
1003         return ret;
1004 }
1005
1006 const struct apply_operations ntfs_3g_apply_ops = {
1007         .name                   = "NTFS-3g",
1008         .get_supported_features = ntfs_3g_get_supported_features,
1009         .extract                = ntfs_3g_extract,
1010         .context_size           = sizeof(struct ntfs_3g_apply_ctx),
1011         .single_tree_only       = true,
1012 };
1013
1014 void
1015 libntfs3g_global_init(void)
1016 {
1017        ntfs_set_char_encoding(setlocale(LC_ALL, ""));
1018 }