wimlib.net Git - wimlib/blob - src/ntfs-3g_apply.c

   1 /*
   2  * ntfs-3g_apply.c
   3  *
   4  * Apply a WIM image directly to an NTFS volume using libntfs-3g.  Restore as
   5  * much information as possible, including security data, file attributes, DOS
   6  * names, and alternate data streams.
   7  *
   8  * Note: because NTFS-3g offers inode-based interfaces, we actually don't need
   9  * to deal with paths at all!  (Other than for error messages.)
  10  */
  11
  12 /*
  13  * Copyright (C) 2012, 2013, 2014, 2015 Eric Biggers
  14  *
  15  * This file is free software; you can redistribute it and/or modify it under
  16  * the terms of the GNU Lesser General Public License as published by the Free
  17  * Software Foundation; either version 3 of the License, or (at your option) any
  18  * later version.
  19  *
  20  * This file is distributed in the hope that it will be useful, but WITHOUT
  21  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
  22  * FOR A PARTICULAR PURPOSE. See the GNU Lesser General Public License for more
  23  * details.
  24  *
  25  * You should have received a copy of the GNU Lesser General Public License
  26  * along with this file; if not, see http://www.gnu.org/licenses/.
  27  */
  28
  29 #ifdef HAVE_CONFIG_H
  30 #  include "config.h"
  31 #endif
  32
  33 #include <errno.h>
  34 #include <locale.h>
  35 #include <string.h>
  36
  37 #include <ntfs-3g/attrib.h>
  38 #include <ntfs-3g/reparse.h>
  39 #include <ntfs-3g/security.h>
  40
  41 #include "wimlib/assert.h"
  42 #include "wimlib/apply.h"
  43 #include "wimlib/blob_table.h"
  44 #include "wimlib/dentry.h"
  45 #include "wimlib/encoding.h"
  46 #include "wimlib/error.h"
  47 #include "wimlib/metadata.h"
  48 #include "wimlib/ntfs_3g.h"
  49 #include "wimlib/reparse.h"
  50 #include "wimlib/security.h"
  51 #include "wimlib/security_descriptor.h"
  52
  53 static int
  54 ntfs_3g_get_supported_features(const char *target,
  55                                struct wim_features *supported_features)
  56 {
  57         supported_features->archive_files             = 1;
  58         supported_features->hidden_files              = 1;
  59         supported_features->system_files              = 1;
  60         supported_features->compressed_files          = 1;
  61         supported_features->not_context_indexed_files = 1;
  62         supported_features->named_data_streams        = 1;
  63         supported_features->hard_links                = 1;
  64         supported_features->reparse_points            = 1;
  65         supported_features->security_descriptors      = 1;
  66         supported_features->short_names               = 1;
  67         supported_features->timestamps                = 1;
  68         supported_features->case_sensitive_filenames  = 1;
  69         return 0;
  70 }
  71
  72 struct ntfs_3g_apply_ctx {
  73         /* Extract flags, the pointer to the WIMStruct, etc.  */
  74         struct apply_ctx common;
  75
  76         /* Pointer to the open NTFS volume  */
  77         ntfs_volume *vol;
  78
  79         ntfs_attr *open_attrs[MAX_OPEN_FILES];
  80         unsigned num_open_attrs;
  81         ntfs_inode *open_inodes[MAX_OPEN_FILES];
  82         unsigned num_open_inodes;
  83
  84         struct reparse_buffer_disk rpbuf;
  85         u8 *reparse_ptr;
  86
  87         /* Offset in the blob currently being read  */
  88         u64 offset;
  89
  90         unsigned num_reparse_inodes;
  91         ntfs_inode *ntfs_reparse_inodes[MAX_OPEN_FILES];
  92         struct wim_inode *wim_reparse_inodes[MAX_OPEN_FILES];
  93 };
  94
  95 static size_t
  96 sid_size(const wimlib_SID *sid)
  97 {
  98         return offsetof(wimlib_SID, sub_authority) +
  99                 sizeof(le32) * sid->sub_authority_count;
 100 }
 101
 102 /*
 103  * sd_fixup - Fix up a Windows NT security descriptor for libntfs-3g.
 104  *
 105  * libntfs-3g validates security descriptors before setting them, but old
 106  * versions contain bugs causing it to reject unusual but valid security
 107  * descriptors:
 108  *
 109  * - Versions before 2013.1.13 reject security descriptors ending with an empty
 110  *   SACL (System Access Control List).  This bug can be worked around either by
 111  *   moving the empty SACL earlier in the security descriptor or by removing the
 112  *   SACL entirely.  The latter work-around is valid because an empty SACL is
 113  *   equivalent to a "null", or non-existent, SACL.
 114  * - Versions before 2014.2.15 reject security descriptors ending with an empty
 115  *   DACL (Discretionary Access Control List).  This is very similar to the SACL
 116  *   bug.  However, removing the DACL is not a valid workaround because this
 117  *   changes the meaning of the security descriptor--- an empty DACL allows no
 118  *   access, whereas a "null" DACL allows all access.
 119  *
 120  * If the security descriptor was fixed, this function returns an allocated
 121  * buffer containing the fixed security descriptor, and its size is updated.
 122  * Otherwise (or if no memory is available) NULL is returned.
 123  */
 124 static void *
 125 sd_fixup(const void *_desc, size_t *size_p)
 126 {
 127         u32 owner_offset, group_offset, dacl_offset, sacl_offset;
 128         bool owner_valid, group_valid;
 129         size_t size = *size_p;
 130         const wimlib_SECURITY_DESCRIPTOR_RELATIVE *desc = _desc;
 131         wimlib_SECURITY_DESCRIPTOR_RELATIVE *desc_new;
 132         const wimlib_SID *owner, *group, *sid;
 133
 134         /* Don't attempt to fix clearly invalid security descriptors.  */
 135         if (size < sizeof(wimlib_SECURITY_DESCRIPTOR_RELATIVE))
 136                 return NULL;
 137
 138         if (le16_to_cpu(desc->control) & wimlib_SE_DACL_PRESENT)
 139                 dacl_offset = le32_to_cpu(desc->dacl_offset);
 140         else
 141                 dacl_offset = 0;
 142
 143         if (le16_to_cpu(desc->control) & wimlib_SE_SACL_PRESENT)
 144                 sacl_offset = le32_to_cpu(desc->sacl_offset);
 145         else
 146                 sacl_offset = 0;
 147
 148         /* Check if the security descriptor will be affected by one of the bugs.
 149          * If not, do nothing and return.  */
 150         if (!((sacl_offset != 0 && sacl_offset == size - sizeof(wimlib_ACL)) ||
 151               (dacl_offset != 0 && dacl_offset == size - sizeof(wimlib_ACL))))
 152                 return NULL;
 153
 154         owner_offset = le32_to_cpu(desc->owner_offset);
 155         group_offset = le32_to_cpu(desc->group_offset);
 156         owner = (const wimlib_SID*)((const u8*)desc + owner_offset);
 157         group = (const wimlib_SID*)((const u8*)desc + group_offset);
 158
 159         /* We'll try to move the owner or group SID to the end of the security
 160          * descriptor to avoid the bug.  This is only possible if at least one
 161          * is valid.  */
 162         owner_valid = (owner_offset != 0) &&
 163                         (owner_offset % 4 == 0) &&
 164                         (owner_offset <= size - sizeof(SID)) &&
 165                         (owner_offset + sid_size(owner) <= size) &&
 166                         (owner_offset >= sizeof(wimlib_SECURITY_DESCRIPTOR_RELATIVE));
 167         group_valid = (group_offset != 0) &&
 168                         (group_offset % 4 == 0) &&
 169                         (group_offset <= size - sizeof(SID)) &&
 170                         (group_offset + sid_size(group) <= size) &&
 171                         (group_offset >= sizeof(wimlib_SECURITY_DESCRIPTOR_RELATIVE));
 172         if (owner_valid) {
 173                 sid = owner;
 174         } else if (group_valid) {
 175                 sid = group;
 176         } else {
 177                 return NULL;
 178         }
 179
 180         desc_new = MALLOC(size + sid_size(sid));
 181         if (!desc_new)
 182                 return NULL;
 183
 184         memcpy(desc_new, desc, size);
 185         if (owner_valid)
 186                 desc_new->owner_offset = cpu_to_le32(size);
 187         else if (group_valid)
 188                 desc_new->group_offset = cpu_to_le32(size);
 189         memcpy((u8*)desc_new + size, sid, sid_size(sid));
 190         *size_p = size + sid_size(sid);
 191         return desc_new;
 192 }
 193
 194 /* Set the security descriptor @desc of size @desc_size on the NTFS inode @ni.
 195   */
 196 static int
 197 ntfs_3g_set_security_descriptor(ntfs_inode *ni, const void *desc, size_t desc_size)
 198 {
 199         struct SECURITY_CONTEXT sec_ctx;
 200         void *desc_fixed = NULL;
 201         int ret = 0;
 202
 203         memset(&sec_ctx, 0, sizeof(sec_ctx));
 204         sec_ctx.vol = ni->vol;
 205
 206 retry:
 207         if (ntfs_set_ntfs_acl(&sec_ctx, ni, desc, desc_size, 0)) {
 208                 if (desc_fixed == NULL) {
 209                         desc_fixed = sd_fixup(desc, &desc_size);
 210                         if (desc_fixed != NULL) {
 211                                 desc = desc_fixed;
 212                                 goto retry;
 213                         }
 214                 }
 215                 ret = WIMLIB_ERR_SET_SECURITY;
 216         }
 217
 218         FREE(desc_fixed);
 219         return ret;
 220 }
 221
 222 static int
 223 ntfs_3g_set_timestamps(ntfs_inode *ni, const struct wim_inode *inode)
 224 {
 225         u64 times[3] = {
 226                 inode->i_creation_time,
 227                 inode->i_last_write_time,
 228                 inode->i_last_access_time,
 229         };
 230
 231         if (ntfs_inode_set_times(ni, (const char *)times, sizeof(times), 0))
 232                 return WIMLIB_ERR_SET_TIMESTAMPS;
 233         return 0;
 234 }
 235
 236 /* Restore the timestamps on the NTFS inode corresponding to @inode.  */
 237 static int
 238 ntfs_3g_restore_timestamps(ntfs_volume *vol, const struct wim_inode *inode)
 239 {
 240         ntfs_inode *ni;
 241         int res;
 242
 243         ni = ntfs_inode_open(vol, inode->i_mft_no);
 244         if (!ni)
 245                 goto fail;
 246
 247         res = ntfs_3g_set_timestamps(ni, inode);
 248
 249         if (ntfs_inode_close(ni) || res)
 250                 goto fail;
 251
 252         return 0;
 253
 254 fail:
 255         ERROR_WITH_ERRNO("Failed to update timestamps of \"%s\" in NTFS volume",
 256                          dentry_full_path(inode_first_extraction_dentry(inode)));
 257         return WIMLIB_ERR_SET_TIMESTAMPS;
 258 }
 259
 260 /* Restore the DOS name of the @dentry.
 261  * This closes both @ni and @dir_ni.
 262  * If either is NULL, then they are opened temporarily.  */
 263 static int
 264 ntfs_3g_restore_dos_name(ntfs_inode *ni, ntfs_inode *dir_ni,
 265                          struct wim_dentry *dentry, ntfs_volume *vol)
 266 {
 267         int ret;
 268         const char *dos_name;
 269         size_t dos_name_nbytes;
 270
 271         /* Note: ntfs_set_ntfs_dos_name() closes both inodes (even if it fails).
 272          * And it takes in a multibyte string, even though it translates it to
 273          * UTF-16LE internally... which is annoying because we currently have
 274          * the UTF-16LE string but not the multibyte string.  */
 275
 276         ret = utf16le_get_tstr(dentry->d_short_name, dentry->d_short_name_nbytes,
 277                                &dos_name, &dos_name_nbytes);
 278         if (ret)
 279                 goto out_close;
 280
 281         if (!dir_ni)
 282                 dir_ni = ntfs_inode_open(vol, dentry->d_parent->d_inode->i_mft_no);
 283         if (!ni)
 284                 ni = ntfs_inode_open(vol, dentry->d_inode->i_mft_no);
 285         if (dir_ni && ni) {
 286                 ret = ntfs_set_ntfs_dos_name(ni, dir_ni,
 287                                              dos_name, dos_name_nbytes, 0);
 288                 dir_ni = NULL;
 289                 ni = NULL;
 290         } else {
 291                 ret = -1;
 292         }
 293         utf16le_put_tstr(dos_name);
 294         if (ret) {
 295                 ERROR_WITH_ERRNO("Failed to set DOS name of \"%s\" in NTFS "
 296                                  "volume", dentry_full_path(dentry));
 297                 ret = WIMLIB_ERR_SET_SHORT_NAME;
 298                 goto out_close;
 299         }
 300
 301         /* Unlike most other NTFS-3g functions, ntfs_set_ntfs_dos_name()
 302          * changes the directory's last modification timestamp...
 303          * Change it back.  */
 304         return ntfs_3g_restore_timestamps(vol, dentry->d_parent->d_inode);
 305
 306 out_close:
 307         /* ntfs_inode_close() can take a NULL argument, but it's probably best
 308          * not to rely on this behavior.  */
 309         if (ni)
 310                 ntfs_inode_close(ni);
 311         if (dir_ni)
 312                 ntfs_inode_close(dir_ni);
 313         return ret;
 314 }
 315
 316 static int
 317 ntfs_3g_restore_reparse_point(ntfs_inode *ni, const struct wim_inode *inode,
 318                               unsigned blob_size, struct ntfs_3g_apply_ctx *ctx)
 319 {
 320         complete_reparse_point(&ctx->rpbuf, inode, blob_size);
 321
 322         if (ntfs_set_ntfs_reparse_data(ni, (const char *)&ctx->rpbuf,
 323                                        REPARSE_DATA_OFFSET + blob_size, 0))
 324         {
 325                 ERROR_WITH_ERRNO("Failed to set reparse data on \"%s\"",
 326                                  dentry_full_path(
 327                                         inode_first_extraction_dentry(inode)));
 328                 return WIMLIB_ERR_SET_REPARSE_DATA;
 329         }
 330
 331         return 0;
 332 }
 333
 334
 335 /*
 336  * Create empty attributes (named data streams and potentially a reparse point)
 337  * for the specified file, if there are any.
 338  *
 339  * Since these won't have blob descriptors, they won't show up in the call to
 340  * extract_blob_list().  Hence the need for the special case.
 341  */
 342 static int
 343 ntfs_3g_create_empty_attributes(ntfs_inode *ni,
 344                                 const struct wim_inode *inode,
 345                                 struct ntfs_3g_apply_ctx *ctx)
 346 {
 347
 348         for (unsigned i = 0; i < inode->i_num_streams; i++) {
 349
 350                 const struct wim_inode_stream *strm = &inode->i_streams[i];
 351                 int ret;
 352
 353                 if (stream_blob_resolved(strm) != NULL)
 354                         continue;
 355
 356                 if (strm->stream_type == STREAM_TYPE_REPARSE_POINT) {
 357                         ret = ntfs_3g_restore_reparse_point(ni, inode, 0, ctx);
 358                         if (ret)
 359                                 return ret;
 360                 } else if (stream_is_named_data_stream(strm)) {
 361                         if (ntfs_attr_add(ni, AT_DATA, strm->stream_name,
 362                                           utf16le_len_chars(strm->stream_name),
 363                                           NULL, 0))
 364                         {
 365                                 ERROR_WITH_ERRNO("Failed to create named data "
 366                                                  "stream of \"%s\"",
 367                                                  dentry_full_path(
 368                                         inode_first_extraction_dentry(inode)));
 369                                 return WIMLIB_ERR_NTFS_3G;
 370                         }
 371                 }
 372         }
 373         return 0;
 374 }
 375
 376 /* Set attributes, security descriptor, and timestamps on the NTFS inode @ni.
 377  */
 378 static int
 379 ntfs_3g_set_metadata(ntfs_inode *ni, const struct wim_inode *inode,
 380                      const struct ntfs_3g_apply_ctx *ctx)
 381 {
 382         int extract_flags;
 383         const struct wim_security_data *sd;
 384         struct wim_dentry *one_dentry;
 385         int ret;
 386
 387         extract_flags = ctx->common.extract_flags;
 388         sd = wim_get_current_security_data(ctx->common.wim);
 389         one_dentry = inode_first_extraction_dentry(inode);
 390
 391         /* Attributes  */
 392         if (!(extract_flags & WIMLIB_EXTRACT_FLAG_NO_ATTRIBUTES)) {
 393                 u32 attrib = inode->i_attributes;
 394
 395                 attrib &= ~(FILE_ATTRIBUTE_SPARSE_FILE |
 396                             FILE_ATTRIBUTE_ENCRYPTED);
 397
 398                 if (ntfs_set_ntfs_attrib(ni, (const char *)&attrib,
 399                                          sizeof(attrib), 0))
 400                 {
 401                         ERROR_WITH_ERRNO("Failed to set attributes on \"%s\" "
 402                                          "in NTFS volume",
 403                                          dentry_full_path(one_dentry));
 404                         return WIMLIB_ERR_SET_ATTRIBUTES;
 405                 }
 406         }
 407
 408         /* Security descriptor  */
 409         if (inode_has_security_descriptor(inode)
 410             && !(extract_flags & WIMLIB_EXTRACT_FLAG_NO_ACLS))
 411         {
 412                 const void *desc;
 413                 size_t desc_size;
 414
 415                 desc = sd->descriptors[inode->i_security_id];
 416                 desc_size = sd->sizes[inode->i_security_id];
 417
 418                 ret = ntfs_3g_set_security_descriptor(ni, desc, desc_size);
 419
 420                 if (unlikely(ret)) {
 421                         int err = errno;
 422                         ERROR_WITH_ERRNO("Failed to set security descriptor on "
 423                                          "\"%s\" in NTFS volume",
 424                                          dentry_full_path(one_dentry));
 425                         if (err == EINVAL && wimlib_print_errors) {
 426                                 fprintf(wimlib_error_file,
 427                                         "The security descriptor is: ");
 428                                 print_byte_field(desc, desc_size, wimlib_error_file);
 429                                 fprintf(wimlib_error_file, "\n");
 430                                 fprintf(wimlib_error_file,
 431                                         "\nThis error occurred because libntfs-3g thinks "
 432                                         "the security descriptor is invalid.  If you "
 433                                         "are extracting a Windows 10 image, this may be "
 434                                         "caused by a known bug in libntfs-3g.  See: "
 435                                         "http://wimlib.net/forums/viewtopic.php?f=1&t=4 "
 436                                         "for more information.\n\n");
 437                         }
 438                         return ret;
 439                 }
 440         }
 441
 442         /* Timestamps  */
 443         ret = ntfs_3g_set_timestamps(ni, inode);
 444         if (ret) {
 445                 ERROR_WITH_ERRNO("Failed to set timestamps on \"%s\" "
 446                                  "in NTFS volume",
 447                                  dentry_full_path(one_dentry));
 448                 return ret;
 449         }
 450         return 0;
 451 }
 452
 453 /* Recursively creates all the subdirectories of @dir, which has been created as
 454  * the NTFS inode @dir_ni.  */
 455 static int
 456 ntfs_3g_create_dirs_recursive(ntfs_inode *dir_ni, struct wim_dentry *dir,
 457                               struct ntfs_3g_apply_ctx *ctx)
 458 {
 459         struct wim_dentry *child;
 460
 461         for_dentry_child(child, dir) {
 462                 ntfs_inode *ni;
 463                 int ret;
 464
 465                 if (!(child->d_inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY))
 466                         continue;
 467                 if (!will_extract_dentry(child))
 468                         continue;
 469
 470                 ni = ntfs_create(dir_ni, 0, child->d_extraction_name,
 471                                  child->d_extraction_name_nchars, S_IFDIR);
 472                 if (!ni) {
 473                         ERROR_WITH_ERRNO("Error creating \"%s\" in NTFS volume",
 474                                          dentry_full_path(child));
 475                         return WIMLIB_ERR_NTFS_3G;
 476                 }
 477
 478                 child->d_inode->i_mft_no = ni->mft_no;
 479
 480                 ret = report_file_created(&ctx->common);
 481                 if (!ret)
 482                         ret = ntfs_3g_set_metadata(ni, child->d_inode, ctx);
 483                 if (!ret)
 484                         ret = ntfs_3g_create_empty_attributes(ni, child->d_inode, ctx);
 485                 if (!ret)
 486                         ret = ntfs_3g_create_dirs_recursive(ni, child, ctx);
 487
 488                 if (ntfs_inode_close_in_dir(ni, dir_ni) && !ret) {
 489                         ERROR_WITH_ERRNO("Error closing \"%s\" in NTFS volume",
 490                                          dentry_full_path(child));
 491                         ret = WIMLIB_ERR_NTFS_3G;
 492                 }
 493                 if (ret)
 494                         return ret;
 495         }
 496         return 0;
 497 }
 498
 499 /* For each WIM dentry in the @root tree that represents a directory, create the
 500  * corresponding directory in the NTFS volume @ctx->vol.  */
 501 static int
 502 ntfs_3g_create_directories(struct wim_dentry *root,
 503                            struct list_head *dentry_list,
 504                            struct ntfs_3g_apply_ctx *ctx)
 505 {
 506         ntfs_inode *root_ni;
 507         int ret;
 508         struct wim_dentry *dentry;
 509
 510         /* Create the directories using POSIX names.  */
 511
 512         root_ni = ntfs_inode_open(ctx->vol, FILE_root);
 513         if (!root_ni) {
 514                 ERROR_WITH_ERRNO("Can't open root of NTFS volume");
 515                 return WIMLIB_ERR_NTFS_3G;
 516         }
 517
 518         root->d_inode->i_mft_no = FILE_root;
 519
 520         ret = ntfs_3g_set_metadata(root_ni, root->d_inode, ctx);
 521         if (!ret)
 522                 ret = ntfs_3g_create_empty_attributes(root_ni, root->d_inode, ctx);
 523         if (!ret)
 524                 ret = ntfs_3g_create_dirs_recursive(root_ni, root, ctx);
 525
 526         if (ntfs_inode_close(root_ni) && !ret) {
 527                 ERROR_WITH_ERRNO("Error closing root of NTFS volume");
 528                 ret = WIMLIB_ERR_NTFS_3G;
 529         }
 530         if (ret)
 531                 return ret;
 532
 533         /* Set the DOS name of any directory that has one.  */
 534         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
 535                 if (!(dentry->d_inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY))
 536                         continue;
 537                 if (!dentry_has_short_name(dentry))
 538                         continue;
 539                 ret = ntfs_3g_restore_dos_name(NULL, NULL, dentry, ctx->vol);
 540                 if (ret)
 541                         return ret;
 542                 ret = report_file_created(&ctx->common);
 543                 if (ret)
 544                         return ret;
 545         }
 546         return 0;
 547 }
 548
 549 /* When creating an inode that will have a short (DOS) name, we create it using
 550  * the long name associated with the short name.  This ensures that the short
 551  * name gets associated with the correct long name.  */
 552 static struct wim_dentry *
 553 ntfs_3g_first_extraction_alias(struct wim_inode *inode)
 554 {
 555         struct wim_dentry *dentry;
 556
 557         inode_for_each_extraction_alias(dentry, inode)
 558                 if (dentry_has_short_name(dentry))
 559                         return dentry;
 560         return inode_first_extraction_dentry(inode);
 561 }
 562
 563 /*
 564  * Add a hard link for the NTFS inode @ni at the location corresponding to the
 565  * WIM dentry @dentry.
 566  *
 567  * The parent directory must have already been created on the NTFS volume.
 568  *
 569  * Returns 0 on success; returns WIMLIB_ERR_NTFS_3G and sets errno on failure.
 570  */
 571 static int
 572 ntfs_3g_add_link(ntfs_inode *ni, struct wim_dentry *dentry)
 573 {
 574         ntfs_inode *dir_ni;
 575         int res;
 576
 577         /* Open the inode of the parent directory.  */
 578         dir_ni = ntfs_inode_open(ni->vol, dentry->d_parent->d_inode->i_mft_no);
 579         if (!dir_ni)
 580                 goto fail;
 581
 582         /* Create the link.  */
 583         res = ntfs_link(ni, dir_ni, dentry->d_extraction_name,
 584                         dentry->d_extraction_name_nchars);
 585
 586         /* Close the parent directory.  */
 587         if (ntfs_inode_close(dir_ni) || res)
 588                 goto fail;
 589
 590         return 0;
 591
 592 fail:
 593         ERROR_WITH_ERRNO("Can't create link \"%s\" in NTFS volume",
 594                          dentry_full_path(dentry));
 595         return WIMLIB_ERR_NTFS_3G;
 596 }
 597
 598 static int
 599 ntfs_3g_create_nondirectory(struct wim_inode *inode,
 600                             struct ntfs_3g_apply_ctx *ctx)
 601 {
 602         struct wim_dentry *first_dentry;
 603         ntfs_inode *dir_ni;
 604         ntfs_inode *ni;
 605         struct wim_dentry *dentry;
 606         int ret;
 607
 608         first_dentry = ntfs_3g_first_extraction_alias(inode);
 609
 610         /* Create first link.  */
 611
 612         dir_ni = ntfs_inode_open(ctx->vol, first_dentry->d_parent->d_inode->i_mft_no);
 613         if (!dir_ni) {
 614                 ERROR_WITH_ERRNO("Can't open \"%s\" in NTFS volume",
 615                                  dentry_full_path(first_dentry->d_parent));
 616                 return WIMLIB_ERR_NTFS_3G;
 617         }
 618
 619         ni = ntfs_create(dir_ni, 0, first_dentry->d_extraction_name,
 620                          first_dentry->d_extraction_name_nchars, S_IFREG);
 621
 622         if (!ni) {
 623                 ERROR_WITH_ERRNO("Can't create \"%s\" in NTFS volume",
 624                                  dentry_full_path(first_dentry));
 625                 ntfs_inode_close(dir_ni);
 626                 return WIMLIB_ERR_NTFS_3G;
 627         }
 628
 629         inode->i_mft_no = ni->mft_no;
 630
 631         /* Set short name if present.  */
 632         if (dentry_has_short_name(first_dentry)) {
 633
 634                 ret = ntfs_3g_restore_dos_name(ni, dir_ni, first_dentry, ctx->vol);
 635
 636                 /* ntfs_3g_restore_dos_name() closed both 'ni' and 'dir_ni'.  */
 637
 638                 if (ret)
 639                         return ret;
 640
 641                 /* Reopen the inode.  */
 642                 ni = ntfs_inode_open(ctx->vol, inode->i_mft_no);
 643                 if (!ni) {
 644                         ERROR_WITH_ERRNO("Failed to reopen \"%s\" "
 645                                          "in NTFS volume",
 646                                          dentry_full_path(first_dentry));
 647                         return WIMLIB_ERR_NTFS_3G;
 648                 }
 649         } else {
 650                 /* Close the directory in which the first link was created.  */
 651                 if (ntfs_inode_close(dir_ni)) {
 652                         ERROR_WITH_ERRNO("Failed to close \"%s\" in NTFS volume",
 653                                          dentry_full_path(first_dentry->d_parent));
 654                         ret = WIMLIB_ERR_NTFS_3G;
 655                         goto out_close_ni;
 656                 }
 657         }
 658
 659         /* Create additional links if present.  */
 660         inode_for_each_extraction_alias(dentry, inode) {
 661                 if (dentry != first_dentry) {
 662                         ret = ntfs_3g_add_link(ni, dentry);
 663                         if (ret)
 664                                 goto out_close_ni;
 665                 }
 666         }
 667
 668         /* Set metadata.  */
 669         ret = ntfs_3g_set_metadata(ni, inode, ctx);
 670         if (ret)
 671                 goto out_close_ni;
 672
 673         ret = ntfs_3g_create_empty_attributes(ni, inode, ctx);
 674
 675 out_close_ni:
 676         /* Close the inode.  */
 677         if (ntfs_inode_close(ni) && !ret) {
 678                 ERROR_WITH_ERRNO("Error closing \"%s\" in NTFS volume",
 679                                  dentry_full_path(first_dentry));
 680                 ret = WIMLIB_ERR_NTFS_3G;
 681         }
 682         return ret;
 683 }
 684
 685 /* For each WIM dentry in the @dentry_list that represents a nondirectory file,
 686  * create the corresponding nondirectory file in the NTFS volume.
 687  *
 688  * Directories must have already been created.  */
 689 static int
 690 ntfs_3g_create_nondirectories(struct list_head *dentry_list,
 691                               struct ntfs_3g_apply_ctx *ctx)
 692 {
 693         struct wim_dentry *dentry;
 694         struct wim_inode *inode;
 695         int ret;
 696
 697         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
 698                 inode = dentry->d_inode;
 699                 if (inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY)
 700                         continue;
 701                 if (dentry == inode_first_extraction_dentry(inode)) {
 702                         ret = ntfs_3g_create_nondirectory(inode, ctx);
 703                         if (ret)
 704                                 return ret;
 705                 }
 706                 ret = report_file_created(&ctx->common);
 707                 if (ret)
 708                         return ret;
 709         }
 710         return 0;
 711 }
 712
 713 static int
 714 ntfs_3g_begin_extract_blob_instance(struct blob_descriptor *blob,
 715                                     ntfs_inode *ni,
 716                                     struct wim_inode *inode,
 717                                     const struct wim_inode_stream *strm,
 718                                     struct ntfs_3g_apply_ctx *ctx)
 719 {
 720         struct wim_dentry *one_dentry = inode_first_extraction_dentry(inode);
 721         ntfschar *stream_name;
 722         size_t stream_name_nchars;
 723         ntfs_attr *attr;
 724
 725         if (unlikely(strm->stream_type == STREAM_TYPE_REPARSE_POINT)) {
 726
 727                 if (blob->size > REPARSE_DATA_MAX_SIZE) {
 728                         ERROR("Reparse data of \"%s\" has size "
 729                               "%"PRIu64" bytes (exceeds %u bytes)",
 730                               dentry_full_path(one_dentry),
 731                               blob->size, REPARSE_DATA_MAX_SIZE);
 732                         return WIMLIB_ERR_INVALID_REPARSE_DATA;
 733                 }
 734                 ctx->reparse_ptr = ctx->rpbuf.rpdata;
 735                 ctx->ntfs_reparse_inodes[ctx->num_reparse_inodes] = ni;
 736                 ctx->wim_reparse_inodes[ctx->num_reparse_inodes] = inode;
 737                 ctx->num_reparse_inodes++;
 738                 return 0;
 739         }
 740
 741         /* It's a data stream (may be unnamed or named).  */
 742         wimlib_assert(strm->stream_type == STREAM_TYPE_DATA);
 743
 744         if (unlikely(stream_is_named(strm))) {
 745                 stream_name = strm->stream_name;
 746                 stream_name_nchars = utf16le_len_chars(stream_name);
 747
 748                 if (ntfs_attr_add(ni, AT_DATA, stream_name,
 749                                   stream_name_nchars, NULL, 0))
 750                 {
 751                         ERROR_WITH_ERRNO("Failed to create named data stream of \"%s\"",
 752                                          dentry_full_path(one_dentry));
 753                         return WIMLIB_ERR_NTFS_3G;
 754                 }
 755         } else {
 756                 /* Don't pass an empty string other than AT_UNNAMED to
 757                  * ntfs_attr_open() --- it violates assumptions made by
 758                  * libntfs-3g.  */
 759                 stream_name = AT_UNNAMED;
 760                 stream_name_nchars = 0;
 761         }
 762
 763         /* This should be ensured by extract_blob_list()  */
 764         wimlib_assert(ctx->num_open_attrs < MAX_OPEN_FILES);
 765
 766         attr = ntfs_attr_open(ni, AT_DATA, stream_name, stream_name_nchars);
 767         if (!attr) {
 768                 ERROR_WITH_ERRNO("Failed to open data stream of \"%s\"",
 769                                  dentry_full_path(one_dentry));
 770                 return WIMLIB_ERR_NTFS_3G;
 771         }
 772         ctx->open_attrs[ctx->num_open_attrs++] = attr;
 773         ntfs_attr_truncate_solid(attr, blob->size);
 774         return 0;
 775 }
 776
 777 static int
 778 ntfs_3g_cleanup_blob_extract(struct ntfs_3g_apply_ctx *ctx)
 779 {
 780         int ret = 0;
 781
 782         for (unsigned i = 0; i < ctx->num_open_attrs; i++) {
 783                 if (ntfs_attr_pclose(ctx->open_attrs[i]))
 784                         ret = -1;
 785                 ntfs_attr_close(ctx->open_attrs[i]);
 786         }
 787
 788         ctx->num_open_attrs = 0;
 789
 790         for (unsigned i = 0; i < ctx->num_open_inodes; i++) {
 791                 if (ntfs_inode_close(ctx->open_inodes[i]))
 792                         ret = -1;
 793         }
 794         ctx->num_open_inodes = 0;
 795
 796         ctx->offset = 0;
 797         ctx->reparse_ptr = NULL;
 798         ctx->num_reparse_inodes = 0;
 799         return ret;
 800 }
 801
 802 static ntfs_inode *
 803 ntfs_3g_open_inode(struct wim_inode *inode, struct ntfs_3g_apply_ctx *ctx)
 804 {
 805         ntfs_inode *ni;
 806
 807         /* If the same blob is being extracted to multiple streams of the same
 808          * inode, then we must only open the inode once.  */
 809         if (unlikely(inode->i_num_streams > 1)) {
 810                 for (unsigned i = 0; i < ctx->num_open_inodes; i++) {
 811                         if (ctx->open_inodes[i]->mft_no == inode->i_mft_no) {
 812                                 return ctx->open_inodes[i];
 813                         }
 814                 }
 815         }
 816
 817         ni = ntfs_inode_open(ctx->vol, inode->i_mft_no);
 818         if (unlikely(!ni)) {
 819                 ERROR_WITH_ERRNO("Can't open \"%s\" in NTFS volume",
 820                                  dentry_full_path(
 821                                         inode_first_extraction_dentry(inode)));
 822                 return NULL;
 823         }
 824
 825         ctx->open_inodes[ctx->num_open_inodes++] = ni;
 826         return ni;
 827 }
 828
 829 static int
 830 ntfs_3g_begin_extract_blob(struct blob_descriptor *blob, void *_ctx)
 831 {
 832         struct ntfs_3g_apply_ctx *ctx = _ctx;
 833         const struct blob_extraction_target *targets = blob_extraction_targets(blob);
 834         int ret;
 835         ntfs_inode *ni;
 836
 837         for (u32 i = 0; i < blob->out_refcnt; i++) {
 838                 ret = WIMLIB_ERR_NTFS_3G;
 839                 ni = ntfs_3g_open_inode(targets[i].inode, ctx);
 840                 if (!ni)
 841                         goto out_cleanup;
 842
 843                 ret = ntfs_3g_begin_extract_blob_instance(blob, ni,
 844                                                           targets[i].inode,
 845                                                           targets[i].stream, ctx);
 846                 if (ret)
 847                         goto out_cleanup;
 848         }
 849         ret = 0;
 850         goto out;
 851
 852 out_cleanup:
 853         ntfs_3g_cleanup_blob_extract(ctx);
 854 out:
 855         return ret;
 856 }
 857
 858 static int
 859 ntfs_3g_extract_chunk(const void *chunk, size_t size, void *_ctx)
 860 {
 861         struct ntfs_3g_apply_ctx *ctx = _ctx;
 862         s64 res;
 863
 864         for (unsigned i = 0; i < ctx->num_open_attrs; i++) {
 865                 res = ntfs_attr_pwrite(ctx->open_attrs[i],
 866                                        ctx->offset, size, chunk);
 867                 if (res != size) {
 868                         ERROR_WITH_ERRNO("Error writing data to NTFS volume");
 869                         return WIMLIB_ERR_NTFS_3G;
 870                 }
 871         }
 872         if (ctx->reparse_ptr)
 873                 ctx->reparse_ptr = mempcpy(ctx->reparse_ptr, chunk, size);
 874         ctx->offset += size;
 875         return 0;
 876 }
 877
 878 static int
 879 ntfs_3g_end_extract_blob(struct blob_descriptor *blob, int status, void *_ctx)
 880 {
 881         struct ntfs_3g_apply_ctx *ctx = _ctx;
 882         int ret;
 883
 884         if (status) {
 885                 ret = status;
 886                 goto out;
 887         }
 888
 889         for (u32 i = 0; i < ctx->num_reparse_inodes; i++) {
 890                 ret = ntfs_3g_restore_reparse_point(ctx->ntfs_reparse_inodes[i],
 891                                                     ctx->wim_reparse_inodes[i],
 892                                                     blob->size, ctx);
 893                 if (ret)
 894                         goto out;
 895         }
 896         ret = 0;
 897 out:
 898         if (ntfs_3g_cleanup_blob_extract(ctx) && !ret) {
 899                 ERROR_WITH_ERRNO("Error writing data to NTFS volume");
 900                 ret = WIMLIB_ERR_NTFS_3G;
 901         }
 902         return ret;
 903 }
 904
 905 static u64
 906 ntfs_3g_count_dentries(const struct list_head *dentry_list)
 907 {
 908         const struct wim_dentry *dentry;
 909         u64 count = 0;
 910
 911         list_for_each_entry(dentry, dentry_list, d_extraction_list_node) {
 912                 count++;
 913                 if ((dentry->d_inode->i_attributes & FILE_ATTRIBUTE_DIRECTORY) &&
 914                     dentry_has_short_name(dentry))
 915                 {
 916                         count++;
 917                 }
 918         }
 919
 920         return count;
 921 }
 922
 923 static int
 924 ntfs_3g_extract(struct list_head *dentry_list, struct apply_ctx *_ctx)
 925 {
 926         struct ntfs_3g_apply_ctx *ctx = (struct ntfs_3g_apply_ctx *)_ctx;
 927         ntfs_volume *vol;
 928         struct wim_dentry *root;
 929         int ret;
 930
 931         /* For NTFS-3g extraction mode we require that the dentries to extract
 932          * form a single tree.  */
 933         root = list_first_entry(dentry_list, struct wim_dentry,
 934                                 d_extraction_list_node);
 935
 936         /* Mount the NTFS volume.  */
 937         vol = ntfs_mount(ctx->common.target, 0);
 938         if (!vol) {
 939                 ERROR_WITH_ERRNO("Failed to mount \"%s\" with NTFS-3g",
 940                                  ctx->common.target);
 941                 return WIMLIB_ERR_NTFS_3G;
 942         }
 943         ctx->vol = vol;
 944
 945         /* Create all inodes and aliases, including short names, and set
 946          * metadata (attributes, security descriptors, and timestamps).  */
 947
 948         ret = start_file_structure_phase(&ctx->common,
 949                                          ntfs_3g_count_dentries(dentry_list));
 950         if (ret)
 951                 goto out_unmount;
 952
 953         ret = ntfs_3g_create_directories(root, dentry_list, ctx);
 954         if (ret)
 955                 goto out_unmount;
 956
 957         ret = ntfs_3g_create_nondirectories(dentry_list, ctx);
 958         if (ret)
 959                 goto out_unmount;
 960
 961         ret = end_file_structure_phase(&ctx->common);
 962         if (ret)
 963                 goto out_unmount;
 964
 965         /* Extract blobs.  */
 966         struct read_blob_callbacks cbs = {
 967                 .begin_blob     = ntfs_3g_begin_extract_blob,
 968                 .consume_chunk  = ntfs_3g_extract_chunk,
 969                 .end_blob       = ntfs_3g_end_extract_blob,
 970                 .ctx            = ctx,
 971         };
 972         ret = extract_blob_list(&ctx->common, &cbs);
 973
 974         /* We do not need a final pass to set timestamps because libntfs-3g does
 975          * not update timestamps automatically (exception:
 976          * ntfs_set_ntfs_dos_name() does, but we handle this elsewhere).  */
 977
 978 out_unmount:
 979         if (ntfs_umount(ctx->vol, FALSE) && !ret) {
 980                 ERROR_WITH_ERRNO("Failed to unmount \"%s\" with NTFS-3g",
 981                                  ctx->common.target);
 982                 ret = WIMLIB_ERR_NTFS_3G;
 983         }
 984         return ret;
 985 }
 986
 987 const struct apply_operations ntfs_3g_apply_ops = {
 988         .name                   = "NTFS-3g",
 989         .get_supported_features = ntfs_3g_get_supported_features,
 990         .extract                = ntfs_3g_extract,
 991         .context_size           = sizeof(struct ntfs_3g_apply_ctx),
 992         .single_tree_only       = true,
 993 };
 994
 995 void
 996 libntfs3g_global_init(void)
 997 {
 998        ntfs_set_char_encoding(setlocale(LC_ALL, ""));
 999 }