wimlib.net Git - wimlib/blob - src/ntfs-3g_apply.c

   1 /*
   2  * ntfs-3g_apply.c
   3  *
   4  * Apply a WIM image directly to an NTFS volume using libntfs-3g.  Restore as
   5  * much information as possible, including security data, file attributes, DOS
   6  * names, and alternate data streams.
   7  *
   8  * Note: because NTFS-3g offers inode-based interfaces, we actually don't need
   9  * to deal with paths at all!  (Other than for error messages.)
  10  */
  11
  12 /*
  13  * Copyright (C) 2012, 2013, 2014, 2015 Eric Biggers
  14  *
  15  * This file is free software; you can redistribute it and/or modify it under
  16  * the terms of the GNU Lesser General Public License as published by the Free
  17  * Software Foundation; either version 3 of the License, or (at your option) any
  18  * later version.
  19  *
  20  * This file is distributed in the hope that it will be useful, but WITHOUT
  21  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
  22  * FOR A PARTICULAR PURPOSE. See the GNU Lesser General Public License for more
  23  * details.
  24  *
  25  * You should have received a copy of the GNU Lesser General Public License
  26  * along with this file; if not, see http://www.gnu.org/licenses/.
  27  */
  28
  29 #ifdef HAVE_CONFIG_H
  30 #  include "config.h"
  31 #endif
  32
  33 #include <locale.h>
  34 #include <string.h>
  35
  36 #include <ntfs-3g/attrib.h>
  37 #include <ntfs-3g/reparse.h>
  38 #include <ntfs-3g/security.h>
  39
  40 #include "wimlib/assert.h"
  41 #include "wimlib/apply.h"
  42 #include "wimlib/blob_table.h"
  43 #include "wimlib/dentry.h"
  44 #include "wimlib/encoding.h"
  45 #include "wimlib/error.h"
  46 #include "wimlib/metadata.h"
  47 #include "wimlib/ntfs_3g.h"
  48 #include "wimlib/reparse.h"
  49 #include "wimlib/security.h"
  50 #include "wimlib/security_descriptor.h"
  51
  52 static int
  53 ntfs_3g_get_supported_features(const char *target,
  54                                struct wim_features *supported_features)
  55 {
  56         supported_features->archive_files             = 1;
  57         supported_features->hidden_files              = 1;
  58         supported_features->system_files              = 1;
  59         supported_features->compressed_files          = 1;
  60         supported_features->not_context_indexed_files = 1;
  61         supported_features->named_data_streams        = 1;
  62         supported_features->hard_links                = 1;
  63         supported_features->reparse_points            = 1;
  64         supported_features->security_descriptors      = 1;
  65         supported_features->short_names               = 1;
  66         supported_features->timestamps                = 1;
  67         supported_features->case_sensitive_filenames  = 1;
  68         return 0;
  69 }
  70
  71 struct ntfs_3g_apply_ctx {
  72         /* Extract flags, the pointer to the WIMStruct, etc.  */
  73         struct apply_ctx common;
  74
  75         /* Pointer to the open NTFS volume  */
  76         ntfs_volume *vol;
  77
  78         ntfs_attr *open_attrs[MAX_OPEN_FILES];
  79         unsigned num_open_attrs;
  80         ntfs_inode *open_inodes[MAX_OPEN_FILES];
  81         unsigned num_open_inodes;
  82
  83         struct reparse_buffer_disk rpbuf;
  84         u8 *reparse_ptr;
  85
  86         /* Offset in the blob currently being read  */
  87         u64 offset;
  88
  89         unsigned num_reparse_inodes;
  90         ntfs_inode *ntfs_reparse_inodes[MAX_OPEN_FILES];
  91         struct wim_inode *wim_reparse_inodes[MAX_OPEN_FILES];
  92 };
  93
  94 static size_t
  95 sid_size(const wimlib_SID *sid)
  96 {
  97         return offsetof(wimlib_SID, sub_authority) +
  98                 sizeof(le32) * sid->sub_authority_count;
  99 }
 100
 101 /*
 102  * sd_fixup - Fix up a Windows NT security descriptor for libntfs-3g.
 103  *
 104  * libntfs-3g validates security descriptors before setting them, but old
 105  * versions contain bugs causing it to reject unusual but valid security
 106  * descriptors:
 107  *
 108  * - Versions before 2013.1.13 reject security descriptors ending with an empty
 109  *   SACL (System Access Control List).  This bug can be worked around either by
 110  *   moving the empty SACL earlier in the security descriptor or by removing the
 111  *   SACL entirely.  The latter work-around is valid because an empty SACL is
 112  *   equivalent to a "null", or non-existent, SACL.
 113  * - Versions up to and including 2013.1.13 reject security descriptors ending
 114  *   with an empty DACL (Discretionary Access Control List).  This is very
 115  *   similar to the SACL bug and should be fixed in the next release after
 116  *   2013.1.13.  However, removing the DACL is not a valid workaround because
 117  *   this changes the meaning of the security descriptor--- an empty DACL allows
 118  *   no access, whereas a "null" DACL allows all access.
 119  *
 120  * If the security descriptor was fixed, this function returns an allocated
 121  * buffer containing the fixed security descriptor, and its size is updated.
 122  * Otherwise (or if no memory is available) the original descriptor is returned.
 123  */
 124 static u8 *
 125 sd_fixup(const u8 *_desc, size_t *size_p)
 126 {
 127         u32 owner_offset, group_offset, dacl_offset, sacl_offset;
 128         bool owner_valid, group_valid;
 129         size_t size = *size_p;
 130         const wimlib_SECURITY_DESCRIPTOR_RELATIVE *desc =
 131                         (const wimlib_SECURITY_DESCRIPTOR_RELATIVE*)_desc;
 132         wimlib_SECURITY_DESCRIPTOR_RELATIVE *desc_new;
 133         const wimlib_SID *owner, *group, *sid;
 134
 135         /* Don't attempt to fix clearly invalid security descriptors.  */
 136         if (size < sizeof(wimlib_SECURITY_DESCRIPTOR_RELATIVE))
 137                 return (u8*)_desc;
 138
 139         if (le16_to_cpu(desc->control) & wimlib_SE_DACL_PRESENT)
 140                 dacl_offset = le32_to_cpu(desc->dacl_offset);
 141         else
 142                 dacl_offset = 0;
 143
 144         if (le16_to_cpu(desc->control) & wimlib_SE_SACL_PRESENT)
 145                 sacl_offset = le32_to_cpu(desc->sacl_offset);
 146         else
 147                 sacl_offset = 0;
 148
 149         /* Check if the security descriptor will be affected by one of the bugs.
 150          * If not, do nothing and return.
 151          *
 152          * Note: HAVE_NTFS_MNT_RDONLY is defined if libntfs-3g is
 153          * version 2013.1.13 or later.  */
 154         if (!(
 155         #if !defined(HAVE_NTFS_MNT_RDONLY)
 156             (sacl_offset != 0 && sacl_offset == size - sizeof(wimlib_ACL)) ||
 157         #endif
 158             (dacl_offset != 0 && dacl_offset == size - sizeof(wimlib_ACL))))
 159                 return (u8*)_desc;
 160
 161         owner_offset = le32_to_cpu(desc->owner_offset);
 162         group_offset = le32_to_cpu(desc->group_offset);
 163         owner = (const wimlib_SID*)((const u8*)desc + owner_offset);
 164         group = (const wimlib_SID*)((const u8*)desc + group_offset);
 165
 166         /* We'll try to move the owner or group SID to the end of the security
 167          * descriptor to avoid the bug.  This is only possible if at least one
 168          * is valid.  */
 169         owner_valid = (owner_offset != 0) &&
 170                         (owner_offset % 4 == 0) &&
 171                         (owner_offset <= size - sizeof(SID)) &&
 172                         (owner_offset + sid_size(owner) <= size) &&
 173                         (owner_offset >= sizeof(wimlib_SECURITY_DESCRIPTOR_RELATIVE));
 174         group_valid = (group_offset != 0) &&
 175                         (group_offset % 4 == 0) &&
 176                         (group_offset <= size - sizeof(SID)) &&
 177                         (group_offset + sid_size(group) <= size) &&
 178                         (group_offset >= sizeof(wimlib_SECURITY_DESCRIPTOR_RELATIVE));
 179         if (owner_valid) {
 180                 sid = owner;
 181         } else if (group_valid) {
 182                 sid = group;
 183         } else {
 184                 return (u8*)_desc;
 185         }
 186
 187         desc_new = MALLOC(size + sid_size(sid));
 188         if (!desc_new)
 189                 return (u8*)_desc;
 190
 191         memcpy(desc_new, desc, size);
 192         if (owner_valid)
 193                 desc_new->owner_offset = cpu_to_le32(size);
 194         else if (group_valid)
 195                 desc_new->group_offset = cpu_to_le32(size);
 196         memcpy((u8*)desc_new + size, sid, sid_size(sid));
 197         *size_p = size + sid_size(sid);
 198         return (u8*)desc_new;
 199 }
 200
 201 /* Set the security descriptor @desc of size @desc_size on the NTFS inode @ni.
 202   */
 203 static int
 204 ntfs_3g_set_security_descriptor(ntfs_inode *ni, const void *desc, size_t desc_size)
 205 {
 206         struct SECURITY_CONTEXT sec_ctx;
 207         u8 *desc_fixed;
 208         int ret = 0;
 209
 210         memset(&sec_ctx, 0, sizeof(sec_ctx));
 211         sec_ctx.vol = ni->vol;
 212
 213         desc_fixed = sd_fixup(desc, &desc_size);
 214
 215         if (ntfs_set_ntfs_acl(&sec_ctx, ni, desc_fixed, desc_size, 0))
 216                 ret = WIMLIB_ERR_SET_SECURITY;
 217
 218         if (desc_fixed != desc)
 219                 FREE(desc_fixed);
 220
 221         return ret;
 222 }
 223
 224 static int
 225 ntfs_3g_set_timestamps(ntfs_inode *ni, const struct wim_inode *inode)
 226 {
 227         u64 times[3] = {
 228                 inode->i_creation_time,
 229                 inode->i_last_write_time,
 230                 inode->i_last_access_time,
 231         };
 232
 233         if (ntfs_inode_set_times(ni, (const char *)times, sizeof(times), 0))
 234                 return WIMLIB_ERR_SET_TIMESTAMPS;
 235         return 0;
 236 }
 237
 238 /* Restore the timestamps on the NTFS inode corresponding to @inode.  */
 239 static int
 240 ntfs_3g_restore_timestamps(ntfs_volume *vol, const struct wim_inode *inode)
 241 {
 242         ntfs_inode *ni;
 243         int res;
 244
 245         ni = ntfs_inode_open(vol, inode->i_mft_no);
 246         if (!ni)
 247                 goto fail;
 248
 249         res = ntfs_3g_set_timestamps(ni, inode);
 250
 251         if (ntfs_inode_close(ni) || res)
 252                 goto fail;
 253
 254         return 0;
 255
 256 fail:
 257         ERROR_WITH_ERRNO("Failed to update timestamps of \"%s\" in NTFS volume",
 258                          dentry_full_path(inode_first_extraction_dentry(inode)));
 259         return WIMLIB_ERR_SET_TIMESTAMPS;
 260 }
 261
 262 /* Restore the DOS name of the @dentry.
 263  * This closes both @ni and @dir_ni.
 264  * If either is NULL, then they are opened temporarily.  */
 265 static int
 266 ntfs_3g_restore_dos_name(ntfs_inode *ni, ntfs_inode *dir_ni,
 267                          struct wim_dentry *dentry, ntfs_volume *vol)
 268 {
 269         int ret;
 270         const char *dos_name;
 271         size_t dos_name_nbytes;
 272
 273         /* Note: ntfs_set_ntfs_dos_name() closes both inodes (even if it fails).
 274          * And it takes in a multibyte string, even though it translates it to
 275          * UTF-16LE internally... which is annoying because we currently have
 276          * the UTF-16LE string but not the multibyte string.  */
 277
 278         ret = utf16le_get_tstr(dentry->short_name, dentry->short_name_nbytes,
 279                                &dos_name, &dos_name_nbytes);
 280         if (ret)
 281                 goto out_close;
 282
 283         if (!dir_ni)
 284                 dir_ni = ntfs_inode_open(vol, dentry->d_parent->d_inode->i_mft_no);
 285         if (!ni)
 286                 ni = ntfs_inode_open(vol, dentry->d_inode->i_mft_no);
 287         if (dir_ni && ni) {
 288                 ret = ntfs_set_ntfs_dos_name(ni, dir_ni,
 289                                              dos_name, dos_name_nbytes, 0);
 290                 dir_ni = NULL;
 291                 ni = NULL;
 292         } else {
 293                 ret = -1;
 294         }
 295         utf16le_put_tstr(dos_name);
 296         if (ret) {
 297                 ERROR_WITH_ERRNO("Failed to set DOS name of \"%s\" in NTFS "
 298                                  "volume", dentry_full_path(dentry));
 299                 ret = WIMLIB_ERR_SET_SHORT_NAME;
 300                 goto out_close;
 301         }
 302
 303         /* Unlike most other NTFS-3g functions, ntfs_set_ntfs_dos_name()
 304          * changes the directory's last modification timestamp...
 305          * Change it back.  */
 306         return ntfs_3g_restore_timestamps(vol, dentry->d_parent->d_inode);
 307
 308 out_close:
 309         /* ntfs_inode_close() can take a NULL argument, but it's probably best
 310          * not to rely on this behavior.  */
 311         if (ni)
 312                 ntfs_inode_close(ni);
 313         if (dir_ni)
 314                 ntfs_inode_close(dir_ni);
 315         return ret;
 316 }
 317
 318 /*
 319  * Create empty named data streams for the specified file, if there are any.
 320  *
 321  * Since these won't have blob descriptors, they won't show up in the call to
 322  * extract_blob_list().  Hence the need for the special case.
 323  */
 324 static int
 325 ntfs_3g_create_empty_named_data_streams(ntfs_inode *ni,
 326                                         const struct wim_inode *inode,
 327                                         const struct ntfs_3g_apply_ctx *ctx)
 328 {
 329         for (unsigned i = 0; i < inode->i_num_streams; i++) {
 330
 331                 const struct wim_inode_stream *strm = &inode->i_streams[i];
 332
 333                 if (!stream_is_named_data_stream(strm) ||
 334                     stream_blob_resolved(strm) != NULL)
 335                         continue;
 336
 337                 if (ntfs_attr_add(ni, AT_DATA, strm->stream_name,
 338                                   utf16le_len_chars(strm->stream_name),
 339                                   NULL, 0))
 340                 {
 341                         ERROR_WITH_ERRNO("Failed to create named data stream "
 342                                          "of \"%s\"", dentry_full_path(
 343                                                 inode_first_extraction_dentry(inode)));
 344                         return WIMLIB_ERR_NTFS_3G;
 345                 }
 346         }
 347         return 0;
 348 }
 349
 350 /* Set attributes, security descriptor, and timestamps on the NTFS inode @ni.
 351  */
 352 static int
 353 ntfs_3g_set_metadata(ntfs_inode *ni, const struct wim_inode *inode,
 354                      const struct ntfs_3g_apply_ctx *ctx)
 355 {
 356         int extract_flags;
 357         const struct wim_security_data *sd;
 358         struct wim_dentry *one_dentry;
 359         int ret;
 360
 361         extract_flags = ctx->common.extract_flags;
 362         sd = wim_get_current_security_data(ctx->common.wim);
 363         one_dentry = inode_first_extraction_dentry(inode);
 364
 365         /* Attributes  */
 366         if (!(extract_flags & WIMLIB_EXTRACT_FLAG_NO_ATTRIBUTES)) {
 367                 u32 attrib = inode->i_attributes;
 368
 369                 attrib &= ~(FILE_ATTRIBUTE_SPARSE_FILE |
 370                             FILE_ATTRIBUTE_ENCRYPTED);
 371
 372                 if (ntfs_set_ntfs_attrib(ni, (const char *)&attrib,
 373                                          sizeof(attrib), 0))
 374                 {
 375                         ERROR_WITH_ERRNO("Failed to set attributes on \"%s\" "
 376                                          "in NTFS volume",
 377                                          dentry_full_path(one_dentry));
 378                         return WIMLIB_ERR_SET_ATTRIBUTES;
 379                 }
 380         }
 381
 382         /* Security descriptor  */
 383         if ((inode->i_security_id >= 0)
 384             && !(extract_flags & WIMLIB_EXTRACT_FLAG_NO_ACLS))
 385         {
 386                 const void *desc;
 387                 size_t desc_size;
 388
 389                 desc = sd->descriptors[inode->i_security_id];
 390                 desc_size = sd->sizes[inode->i_security_id];
 391
 392                 ret = ntfs_3g_set_security_descriptor(ni, desc, desc_size);
 393                 if (ret) {
 394                         if (wimlib_print_errors) {
 395                                 ERROR_WITH_ERRNO("Failed to set security descriptor "
 396                                                  "on \"%s\" in NTFS volume",
 397                                                  dentry_full_path(one_dentry));
 398                                 fprintf(wimlib_error_file,
 399                                         "The security descriptor is: ");
 400                                 print_byte_field(desc, desc_size, wimlib_error_file);
 401                                 fprintf(wimlib_error_file, "\n");
 402                         }
 403                         return ret;
 404                 }
 405         }
 406
 407         /* Timestamps  */
 408         ret = ntfs_3g_set_timestamps(ni, inode);
 409         if (ret) {
 410                 ERROR_WITH_ERRNO("Failed to set timestamps on \"%s\" "
 411                                  "in NTFS volume",
 412                                  dentry_full_path(one_dentry));
 413                 return ret;
 414         }
 415         return 0;
 416 }
 417
 418 /* Recursively creates all the subdirectories of @dir, which has been created as
 419  * the NTFS inode @dir_ni.  */
 420 static int
 421 ntfs_3g_create_dirs_recursive(ntfs_inode *dir_ni, struct wim_dentry *dir,
 422                               struct ntfs_3g_apply_ctx *ctx)
 423 {
 424         struct wim_dentry *child;
 425
 426         for_dentry_child(child, dir) {
 427                 ntfs_inode *ni;
 428                 int ret;
 429
 430                 if (!(child->d_inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY))
 431                         continue;
 432                 if (!will_extract_dentry(child))
 433                         continue;
 434
 435                 ni = ntfs_create(dir_ni, 0, child->d_extraction_name,
 436                                  child->d_extraction_name_nchars, S_IFDIR);
 437                 if (!ni) {
 438                         ERROR_WITH_ERRNO("Error creating \"%s\" in NTFS volume",
 439                                          dentry_full_path(child));
 440                         return WIMLIB_ERR_NTFS_3G;
 441                 }
 442
 443                 child->d_inode->i_mft_no = ni->mft_no;
 444
 445                 ret = report_file_created(&ctx->common);
 446                 if (!ret)
 447                         ret = ntfs_3g_set_metadata(ni, child->d_inode, ctx);
 448                 if (!ret)
 449                         ret = ntfs_3g_create_empty_named_data_streams(ni, child->d_inode, ctx);
 450                 if (!ret)
 451                         ret = ntfs_3g_create_dirs_recursive(ni, child, ctx);
 452
 453                 if (ntfs_inode_close_in_dir(ni, dir_ni) && !ret) {
 454                         ERROR_WITH_ERRNO("Error closing \"%s\" in NTFS volume",
 455                                          dentry_full_path(child));
 456                         ret = WIMLIB_ERR_NTFS_3G;
 457                 }
 458                 if (ret)
 459                         return ret;
 460         }
 461         return 0;
 462 }
 463
 464 /* For each WIM dentry in the @root tree that represents a directory, create the
 465  * corresponding directory in the NTFS volume @ctx->vol.  */
 466 static int
 467 ntfs_3g_create_directories(struct wim_dentry *root,
 468                            struct list_head *dentry_list,
 469                            struct ntfs_3g_apply_ctx *ctx)
 470 {
 471         ntfs_inode *root_ni;
 472         int ret;
 473         struct wim_dentry *dentry;
 474
 475         /* Create the directories using POSIX names.  */
 476
 477         root_ni = ntfs_inode_open(ctx->vol, FILE_root);
 478         if (!root_ni) {
 479                 ERROR_WITH_ERRNO("Can't open root of NTFS volume");
 480                 return WIMLIB_ERR_NTFS_3G;
 481         }
 482
 483         root->d_inode->i_mft_no = FILE_root;
 484
 485         ret = ntfs_3g_create_dirs_recursive(root_ni, root, ctx);
 486
 487         if (ntfs_inode_close(root_ni) && !ret) {
 488                 ERROR_WITH_ERRNO("Error closing root of NTFS volume");
 489                 ret = WIMLIB_ERR_NTFS_3G;
 490         }
 491         if (ret)
 492                 return ret;
 493
 494         /* Set the DOS name of any directory that has one.  */
 495         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
 496                 if (!(dentry->d_inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY))
 497                         continue;
 498                 if (!dentry_has_short_name(dentry))
 499                         continue;
 500                 ret = ntfs_3g_restore_dos_name(NULL, NULL, dentry, ctx->vol);
 501                 if (ret)
 502                         return ret;
 503                 ret = report_file_created(&ctx->common);
 504                 if (ret)
 505                         return ret;
 506         }
 507         return 0;
 508 }
 509
 510 /* When creating an inode that will have a short (DOS) name, we create it using
 511  * the long name associated with the short name.  This ensures that the short
 512  * name gets associated with the correct long name.  */
 513 static struct wim_dentry *
 514 ntfs_3g_first_extraction_alias(struct wim_inode *inode)
 515 {
 516         struct list_head *next = inode->i_extraction_aliases.next;
 517         struct wim_dentry *dentry;
 518
 519         do {
 520                 dentry = list_entry(next, struct wim_dentry,
 521                                     d_extraction_alias_node);
 522                 if (dentry_has_short_name(dentry))
 523                         break;
 524                 next = next->next;
 525         } while (next != &inode->i_extraction_aliases);
 526         return dentry;
 527 }
 528
 529 /*
 530  * Add a hard link for the NTFS inode @ni at the location corresponding to the
 531  * WIM dentry @dentry.
 532  *
 533  * The parent directory must have already been created on the NTFS volume.
 534  *
 535  * Returns 0 on success; returns WIMLIB_ERR_NTFS_3G and sets errno on failure.
 536  */
 537 static int
 538 ntfs_3g_add_link(ntfs_inode *ni, struct wim_dentry *dentry)
 539 {
 540         ntfs_inode *dir_ni;
 541         int res;
 542
 543         /* Open the inode of the parent directory.  */
 544         dir_ni = ntfs_inode_open(ni->vol, dentry->d_parent->d_inode->i_mft_no);
 545         if (!dir_ni)
 546                 goto fail;
 547
 548         /* Create the link.  */
 549         res = ntfs_link(ni, dir_ni, dentry->d_extraction_name,
 550                         dentry->d_extraction_name_nchars);
 551
 552         /* Close the parent directory.  */
 553         if (ntfs_inode_close(dir_ni) || res)
 554                 goto fail;
 555
 556         return 0;
 557
 558 fail:
 559         ERROR_WITH_ERRNO("Can't create link \"%s\" in NTFS volume",
 560                          dentry_full_path(dentry));
 561         return WIMLIB_ERR_NTFS_3G;
 562 }
 563
 564 static int
 565 ntfs_3g_create_nondirectory(struct wim_inode *inode,
 566                             const struct ntfs_3g_apply_ctx *ctx)
 567 {
 568         struct wim_dentry *first_dentry;
 569         ntfs_inode *dir_ni;
 570         ntfs_inode *ni;
 571         struct list_head *next;
 572         struct wim_dentry *dentry;
 573         int ret;
 574
 575         first_dentry = ntfs_3g_first_extraction_alias(inode);
 576
 577         /* Create first link.  */
 578
 579         dir_ni = ntfs_inode_open(ctx->vol, first_dentry->d_parent->d_inode->i_mft_no);
 580         if (!dir_ni) {
 581                 ERROR_WITH_ERRNO("Can't open \"%s\" in NTFS volume",
 582                                  dentry_full_path(first_dentry->d_parent));
 583                 return WIMLIB_ERR_NTFS_3G;
 584         }
 585
 586         ni = ntfs_create(dir_ni, 0, first_dentry->d_extraction_name,
 587                          first_dentry->d_extraction_name_nchars, S_IFREG);
 588
 589         if (!ni) {
 590                 ERROR_WITH_ERRNO("Can't create \"%s\" in NTFS volume",
 591                                  dentry_full_path(first_dentry));
 592                 ntfs_inode_close(dir_ni);
 593                 return WIMLIB_ERR_NTFS_3G;
 594         }
 595
 596         inode->i_mft_no = ni->mft_no;
 597
 598         /* Set short name if present.  */
 599         if (dentry_has_short_name(first_dentry)) {
 600
 601                 ret = ntfs_3g_restore_dos_name(ni, dir_ni, first_dentry, ctx->vol);
 602
 603                 /* ntfs_3g_restore_dos_name() closed both 'ni' and 'dir_ni'.  */
 604
 605                 if (ret)
 606                         return ret;
 607
 608                 /* Reopen the inode.  */
 609                 ni = ntfs_inode_open(ctx->vol, inode->i_mft_no);
 610                 if (!ni) {
 611                         ERROR_WITH_ERRNO("Failed to reopen \"%s\" "
 612                                          "in NTFS volume",
 613                                          dentry_full_path(first_dentry));
 614                         return WIMLIB_ERR_NTFS_3G;
 615                 }
 616         } else {
 617                 /* Close the directory in which the first link was created.  */
 618                 if (ntfs_inode_close(dir_ni)) {
 619                         ERROR_WITH_ERRNO("Failed to close \"%s\" in NTFS volume",
 620                                          dentry_full_path(first_dentry->d_parent));
 621                         ret = WIMLIB_ERR_NTFS_3G;
 622                         goto out_close_ni;
 623                 }
 624         }
 625
 626         /* Create additional links if present.  */
 627         next = inode->i_extraction_aliases.next;
 628         do {
 629                 dentry = list_entry(next, struct wim_dentry,
 630                                     d_extraction_alias_node);
 631                 if (dentry != first_dentry) {
 632                         ret = ntfs_3g_add_link(ni, dentry);
 633                         if (ret)
 634                                 goto out_close_ni;
 635                 }
 636                 next = next->next;
 637         } while (next != &inode->i_extraction_aliases);
 638
 639         /* Set metadata.  */
 640         ret = ntfs_3g_set_metadata(ni, inode, ctx);
 641         if (ret)
 642                 goto out_close_ni;
 643
 644         ret = ntfs_3g_create_empty_named_data_streams(ni, inode, ctx);
 645
 646 out_close_ni:
 647         /* Close the inode.  */
 648         if (ntfs_inode_close(ni) && !ret) {
 649                 ERROR_WITH_ERRNO("Error closing \"%s\" in NTFS volume",
 650                                  dentry_full_path(first_dentry));
 651                 ret = WIMLIB_ERR_NTFS_3G;
 652         }
 653         return ret;
 654 }
 655
 656 /* For each WIM dentry in the @dentry_list that represents a nondirectory file,
 657  * create the corresponding nondirectory file in the NTFS volume.
 658  *
 659  * Directories must have already been created.  */
 660 static int
 661 ntfs_3g_create_nondirectories(struct list_head *dentry_list,
 662                               struct ntfs_3g_apply_ctx *ctx)
 663 {
 664         struct wim_dentry *dentry;
 665         struct wim_inode *inode;
 666         int ret;
 667
 668         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
 669                 inode = dentry->d_inode;
 670                 if (inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY)
 671                         continue;
 672                 if (dentry == inode_first_extraction_dentry(inode)) {
 673                         ret = ntfs_3g_create_nondirectory(inode, ctx);
 674                         if (ret)
 675                                 return ret;
 676                 }
 677                 ret = report_file_created(&ctx->common);
 678                 if (ret)
 679                         return ret;
 680         }
 681         return 0;
 682 }
 683
 684 static int
 685 ntfs_3g_begin_extract_blob_instance(struct blob_descriptor *blob,
 686                                     ntfs_inode *ni,
 687                                     struct wim_inode *inode,
 688                                     const struct wim_inode_stream *strm,
 689                                     struct ntfs_3g_apply_ctx *ctx)
 690 {
 691         struct wim_dentry *one_dentry = inode_first_extraction_dentry(inode);
 692         size_t stream_name_nchars;
 693         ntfs_attr *attr;
 694
 695         if (unlikely(strm->stream_type == STREAM_TYPE_REPARSE_POINT)) {
 696
 697                 if (blob->size > REPARSE_DATA_MAX_SIZE) {
 698                         ERROR("Reparse data of \"%s\" has size "
 699                               "%"PRIu64" bytes (exceeds %u bytes)",
 700                               dentry_full_path(one_dentry),
 701                               blob->size, REPARSE_DATA_MAX_SIZE);
 702                         return WIMLIB_ERR_INVALID_REPARSE_DATA;
 703                 }
 704                 ctx->reparse_ptr = ctx->rpbuf.rpdata;
 705                 ctx->rpbuf.rpdatalen = cpu_to_le16(blob->size);
 706                 ctx->rpbuf.rpreserved = cpu_to_le16(0);
 707                 ctx->ntfs_reparse_inodes[ctx->num_reparse_inodes] = ni;
 708                 ctx->wim_reparse_inodes[ctx->num_reparse_inodes] = inode;
 709                 ctx->num_reparse_inodes++;
 710                 return 0;
 711         }
 712
 713         /* It's a data stream (may be unnamed or named).  */
 714         wimlib_assert(strm->stream_type == STREAM_TYPE_DATA);
 715
 716         stream_name_nchars = utf16le_len_chars(strm->stream_name);
 717
 718         if (stream_name_nchars &&
 719             (ntfs_attr_add(ni, AT_DATA, strm->stream_name,
 720                            stream_name_nchars, NULL, 0)))
 721         {
 722                 ERROR_WITH_ERRNO("Failed to create named data stream of \"%s\"",
 723                                  dentry_full_path(one_dentry));
 724                 return WIMLIB_ERR_NTFS_3G;
 725         }
 726
 727         /* This should be ensured by extract_blob_list()  */
 728         wimlib_assert(ctx->num_open_attrs < MAX_OPEN_FILES);
 729
 730         attr = ntfs_attr_open(ni, AT_DATA, strm->stream_name,
 731                               stream_name_nchars);
 732         if (!attr) {
 733                 ERROR_WITH_ERRNO("Failed to open data stream of \"%s\"",
 734                                  dentry_full_path(one_dentry));
 735                 return WIMLIB_ERR_NTFS_3G;
 736         }
 737         ctx->open_attrs[ctx->num_open_attrs++] = attr;
 738         ntfs_attr_truncate_solid(attr, blob->size);
 739         return 0;
 740 }
 741
 742 static int
 743 ntfs_3g_cleanup_blob_extract(struct ntfs_3g_apply_ctx *ctx)
 744 {
 745         int ret = 0;
 746
 747         for (unsigned i = 0; i < ctx->num_open_attrs; i++) {
 748                 if (ntfs_attr_pclose(ctx->open_attrs[i]))
 749                         ret = -1;
 750                 ntfs_attr_close(ctx->open_attrs[i]);
 751         }
 752
 753         ctx->num_open_attrs = 0;
 754
 755         for (unsigned i = 0; i < ctx->num_open_inodes; i++) {
 756                 if (ntfs_inode_close(ctx->open_inodes[i]))
 757                         ret = -1;
 758         }
 759         ctx->num_open_inodes = 0;
 760
 761         ctx->offset = 0;
 762         ctx->reparse_ptr = NULL;
 763         ctx->num_reparse_inodes = 0;
 764         return ret;
 765 }
 766
 767 static ntfs_inode *
 768 ntfs_3g_open_inode(struct wim_inode *inode, struct ntfs_3g_apply_ctx *ctx)
 769 {
 770         ntfs_inode *ni = NULL;
 771
 772         if (inode->i_visited) {
 773                 for (u32 i = 0; i < ctx->num_open_inodes; i++) {
 774                         if (ctx->open_inodes[i]->mft_no == inode->i_mft_no) {
 775                                 ni = ctx->open_inodes[i];
 776                                 break;
 777                         }
 778                 }
 779         }
 780         if (!ni) {
 781                 ni = ntfs_inode_open(ctx->vol, inode->i_mft_no);
 782                 ctx->open_inodes[ctx->num_open_inodes++] = ni;
 783                 inode->i_visited = 1;
 784         }
 785
 786         if (!ni) {
 787                 ERROR_WITH_ERRNO("Can't open \"%s\" in NTFS volume",
 788                                  dentry_full_path(
 789                                         inode_first_extraction_dentry(inode)));
 790                 return NULL;
 791         }
 792         return ni;
 793 }
 794
 795 static int
 796 ntfs_3g_begin_extract_blob(struct blob_descriptor *blob, void *_ctx)
 797 {
 798         struct ntfs_3g_apply_ctx *ctx = _ctx;
 799         const struct blob_extraction_target *targets = blob_extraction_targets(blob);
 800         int ret;
 801         ntfs_inode *ni;
 802
 803         for (u32 i = 0; i < blob->out_refcnt; i++) {
 804                 ret = WIMLIB_ERR_NTFS_3G;
 805                 ni = ntfs_3g_open_inode(targets[i].inode, ctx);
 806                 if (!ni)
 807                         goto out_cleanup;
 808
 809                 ret = ntfs_3g_begin_extract_blob_instance(blob, ni,
 810                                                           targets[i].inode,
 811                                                           targets[i].stream, ctx);
 812                 if (ret)
 813                         goto out_cleanup;
 814         }
 815         ret = 0;
 816         goto out;
 817
 818 out_cleanup:
 819         ntfs_3g_cleanup_blob_extract(ctx);
 820 out:
 821         for (u32 i = 0; i < blob->out_refcnt; i++)
 822                 targets[i].inode->i_visited = 0;
 823         return ret;
 824 }
 825
 826 static int
 827 ntfs_3g_extract_chunk(const void *chunk, size_t size, void *_ctx)
 828 {
 829         struct ntfs_3g_apply_ctx *ctx = _ctx;
 830         s64 res;
 831
 832         for (unsigned i = 0; i < ctx->num_open_attrs; i++) {
 833                 res = ntfs_attr_pwrite(ctx->open_attrs[i],
 834                                        ctx->offset, size, chunk);
 835                 if (res != size) {
 836                         ERROR_WITH_ERRNO("Error writing data to NTFS volume");
 837                         return WIMLIB_ERR_NTFS_3G;
 838                 }
 839         }
 840         if (ctx->reparse_ptr)
 841                 ctx->reparse_ptr = mempcpy(ctx->reparse_ptr, chunk, size);
 842         ctx->offset += size;
 843         return 0;
 844 }
 845
 846 static int
 847 ntfs_3g_end_extract_blob(struct blob_descriptor *blob, int status, void *_ctx)
 848 {
 849         struct ntfs_3g_apply_ctx *ctx = _ctx;
 850         int ret;
 851
 852         if (status) {
 853                 ret = status;
 854                 goto out;
 855         }
 856
 857         for (u32 i = 0; i < ctx->num_reparse_inodes; i++) {
 858                 struct wim_inode *inode = ctx->wim_reparse_inodes[i];
 859
 860                 ctx->rpbuf.rptag = cpu_to_le32(inode->i_reparse_tag);
 861
 862                 if (ntfs_set_ntfs_reparse_data(ctx->ntfs_reparse_inodes[i],
 863                                                (const char *)&ctx->rpbuf,
 864                                                blob->size + REPARSE_DATA_OFFSET,
 865                                                0))
 866                 {
 867                         ERROR_WITH_ERRNO("Failed to set reparse "
 868                                          "data on \"%s\"",
 869                                          dentry_full_path(
 870                                                 inode_first_extraction_dentry(inode)));
 871                         ret = WIMLIB_ERR_NTFS_3G;
 872                         goto out;
 873                 }
 874         }
 875         ret = 0;
 876 out:
 877         if (ntfs_3g_cleanup_blob_extract(ctx) && !ret) {
 878                 ERROR_WITH_ERRNO("Error writing data to NTFS volume");
 879                 ret = WIMLIB_ERR_NTFS_3G;
 880         }
 881         return ret;
 882 }
 883
 884 static uint64_t
 885 ntfs_3g_count_dentries(const struct list_head *dentry_list)
 886 {
 887         const struct wim_dentry *dentry;
 888         uint64_t count = 0;
 889
 890         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
 891                 count++;
 892                 if ((dentry->d_inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY) &&
 893                     dentry_has_short_name(dentry))
 894                 {
 895                         count++;
 896                 }
 897         }
 898
 899         return count;
 900 }
 901
 902 static int
 903 ntfs_3g_extract(struct list_head *dentry_list, struct apply_ctx *_ctx)
 904 {
 905         struct ntfs_3g_apply_ctx *ctx = (struct ntfs_3g_apply_ctx *)_ctx;
 906         ntfs_volume *vol;
 907         struct wim_dentry *root;
 908         int ret;
 909
 910         /* For NTFS-3g extraction mode we require that the dentries to extract
 911          * form a single tree.  */
 912         root = list_first_entry(dentry_list, struct wim_dentry,
 913                                 d_extraction_list_node);
 914
 915         /* Mount the NTFS volume.  */
 916         vol = ntfs_mount(ctx->common.target, 0);
 917         if (!vol) {
 918                 ERROR_WITH_ERRNO("Failed to mount \"%s\" with NTFS-3g",
 919                                  ctx->common.target);
 920                 return WIMLIB_ERR_NTFS_3G;
 921         }
 922         ctx->vol = vol;
 923
 924         /* Create all inodes and aliases, including short names, and set
 925          * metadata (attributes, security descriptors, and timestamps).  */
 926
 927         ret = start_file_structure_phase(&ctx->common,
 928                                          ntfs_3g_count_dentries(dentry_list));
 929         if (ret)
 930                 goto out_unmount;
 931
 932         ret = ntfs_3g_create_directories(root, dentry_list, ctx);
 933         if (ret)
 934                 goto out_unmount;
 935
 936         ret = ntfs_3g_create_nondirectories(dentry_list, ctx);
 937         if (ret)
 938                 goto out_unmount;
 939
 940         ret = end_file_structure_phase(&ctx->common);
 941         if (ret)
 942                 goto out_unmount;
 943
 944         /* Extract blobs.  */
 945         struct read_blob_list_callbacks cbs = {
 946                 .begin_blob        = ntfs_3g_begin_extract_blob,
 947                 .begin_blob_ctx    = ctx,
 948                 .consume_chunk     = ntfs_3g_extract_chunk,
 949                 .consume_chunk_ctx = ctx,
 950                 .end_blob          = ntfs_3g_end_extract_blob,
 951                 .end_blob_ctx      = ctx,
 952         };
 953         ret = extract_blob_list(&ctx->common, &cbs);
 954
 955         /* We do not need a final pass to set timestamps because libntfs-3g does
 956          * not update timestamps automatically (exception:
 957          * ntfs_set_ntfs_dos_name() does, but we handle this elsewhere).  */
 958
 959 out_unmount:
 960         if (ntfs_umount(ctx->vol, FALSE) && !ret) {
 961                 ERROR_WITH_ERRNO("Failed to unmount \"%s\" with NTFS-3g",
 962                                  ctx->common.target);
 963                 ret = WIMLIB_ERR_NTFS_3G;
 964         }
 965         return ret;
 966 }
 967
 968 const struct apply_operations ntfs_3g_apply_ops = {
 969         .name                   = "NTFS-3g",
 970         .get_supported_features = ntfs_3g_get_supported_features,
 971         .extract                = ntfs_3g_extract,
 972         .context_size           = sizeof(struct ntfs_3g_apply_ctx),
 973         .single_tree_only       = true,
 974 };
 975
 976 void
 977 libntfs3g_global_init(void)
 978 {
 979        ntfs_set_char_encoding(setlocale(LC_ALL, ""));
 980 }