wimlib.net Git - wimlib/blob - README.md

   1 # Introduction
   2
   3 This is wimlib version 1.14.4 (February 2024).  wimlib is a C library for
   4 creating, modifying, extracting, and mounting files in the Windows Imaging
   5 Format (WIM files).  wimlib and its command-line frontend `wimlib-imagex`
   6 provide a free and cross-platform alternative to Microsoft's WIMGAPI, ImageX,
   7 and DISM.
   8
   9 For the release notes, see the [NEWS file](NEWS.md).
  10
  11 # Table of Contents
  12
  13 - [Installation](#installation)
  14   - [Windows](#windows)
  15   - [UNIX-like systems](#unix-like-systems)
  16     - [Installing distro package](#installing-distro-package)
  17     - [Building from source](#building-from-source)
  18 - [WIM files](#wim-files)
  19 - [ImageX implementation](#imagex-implementation)
  20 - [Compression](#compression)
  21 - [NTFS support](#ntfs-support)
  22 - [Windows PE](#windows-pe)
  23 - [Portability](#portability)
  24 - [References](#references)
  25 - [History](#history)
  26 - [Notices](#notices)
  27
  28 # Installation
  29
  30 ## Windows
  31
  32 To install wimlib and `wimlib-imagex` on Windows, just download and extract the
  33 ZIP file containing the latest binaries.  All official releases are available
  34 from [wimlib.net](https://wimlib.net).
  35
  36 For more details, including directions for how to build from source on Windows
  37 if desired, see [README.WINDOWS.md](README.WINDOWS.md).
  38
  39 ## UNIX-like systems
  40
  41 ### Installing distro package
  42
  43 To install wimlib and `wimlib-imagex` on UNIX-like systems, first consider just
  44 installing the package provided by your operating system, if there is one.
  45
  46 For example, on Ubuntu and other Debian based systems, run:
  47
  48     sudo apt install wimtools
  49
  50 On Fedora and other Red Hat based systems, run:
  51
  52     sudo dnf install wimlib-utils
  53
  54 On Arch Linux, run:
  55
  56     sudo pacman -S wimlib
  57
  58 ### Building from source
  59
  60 To build from source instead, first install the development files for libfuse3
  61 and libntfs-3g, if they're available for your operating system.  For example, on
  62 Ubuntu, run:
  63
  64     sudo apt install libfuse3-dev ntfs-3g-dev
  65
  66 Then, if you're building from the git repository instead of from a release
  67 tarball, install additional build dependencies and run the bootstrap script:
  68
  69     sudo apt install autoconf automake libtool pkgconf
  70     ./bootstrap
  71
  72 Finally, configure, build, and install the software:
  73
  74     ./configure
  75     make
  76     sudo make install
  77
  78 In addition to the standard options, the configure script accepts the following
  79 options:
  80
  81 - `--without-fuse`:  Disables support for mounting WIM images.  The `wimmount`,
  82   `wimmountrw`, and `wimunmount` commands won't work.  This removes the
  83   dependency on libfuse3.
  84
  85 - `--without-ntfs-3g`:  Disables support for capturing or applying WIM images
  86   directly from/to NTFS volumes.  This removes the dependency on libntfs-3g.
  87
  88 The `mkwinpeimg` shell script also has some optional dependencies that you can
  89 choose to install:
  90
  91 - `cdrkit` (for making ISO filesystems)
  92 - `mtools` (for making disk images)
  93 - `syslinux` (for making disk images)
  94 - `cabextract` (for extracting files from the Windows Automated Installation Kit)
  95
  96 Mounting WIM images also requires the FUSE kernel module.  When you try to mount
  97 a WIM image, the FUSE kernel module should be automatically loaded.  Mounting
  98 WIM images is only supported on Linux.
  99
 100 # WIM files
 101
 102 A Windows Imaging (WIM) file is an archive designed primarily for archiving
 103 Windows filesystems.  However, it can be used on other platforms as well, with
 104 some limitations.  Like some other archive formats such as ZIP, files in WIM
 105 archives may be compressed.  WIM archives support multiple compression formats,
 106 including LZX, XPRESS, and LZMS.  All these formats are supported by wimlib.
 107
 108 A WIM archive contains one or more "images", each of which is a logically
 109 independent directory tree.  Each image has a 1-based index and usually a name.
 110
 111 WIM archives provide data deduplication at the level of full file contents.  In
 112 other words, each unique "file contents" is only stored once in the archive,
 113 regardless of how many files have that contents across all images.
 114
 115 A WIM archive may be either stand-alone or split into multiple parts.
 116
 117 An update of the WIM format --- first added by Microsoft for Windows 8 ---
 118 supports solid-mode compression.  This refers to files being compressed together
 119 (e.g. as in a .tar.xz or .7z archive) rather than separately (e.g. as in a .zip
 120 archive).  This usually produces a much better compression ratio.  Solid
 121 archives are sometimes called "ESD files" by Microsoft and may have the ".esd"
 122 file extension rather than ".wim".  They are supported in wimlib since v1.6.0.
 123
 124 # ImageX implementation
 125
 126 wimlib itself is a C library, and it provides a [documented public
 127 API](https://wimlib.net/apidoc) for other programs to use.  However, it is also
 128 distributed with a command-line program called `wimlib-imagex` that uses this
 129 library to implement an imaging tool similar to Microsoft's `ImageX`.
 130 `wimlib-imagex` supports almost all the capabilities of Microsoft's `ImageX` as
 131 well as additional capabilities.  `wimlib-imagex` works on both UNIX-like
 132 systems and Windows, although some features differ between the platforms.
 133
 134 Run `wimlib-imagex` with no arguments to see an overview of the available
 135 commands and their syntax.  Note that the commands have both long and short
 136 forms, e.g. `wimlib-imagex apply` is equivalent to `wimapply`.  For additional
 137 documentation:
 138
 139 - If you have installed `wimlib-imagex` on a UNIX-like system, you will find
 140   further documentation in the man pages; run `man wimlib-imagex` to get
 141   started.
 142
 143 - If you have downloaded the Windows binary distribution, you will find the
 144   documentation for `wimlib-imagex` in PDF format in the `doc` directory.  Note
 145   that although the documentation is written in the style of UNIX manual pages,
 146   it does document Windows-specific behavior when relevant.
 147
 148 # Compression
 149
 150 wimlib (and `wimlib-imagex`) can create XPRESS, LZX, and LZMS compressed WIM
 151 archives.  wimlib's compression codecs usually outperform and outcompress their
 152 closed-source Microsoft equivalents.  Multiple compression levels and chunk
 153 sizes as well as solid mode compression are supported.  Compression is
 154 multithreaded by default.  Detailed benchmark results and descriptions of the
 155 algorithms used can be found at
 156 [wimlib.net](https://wimlib.net/compression.html).
 157
 158 # NTFS support
 159
 160 WIM images may contain data, such as named data streams and
 161 compression/encryption flags, that are best represented on the NTFS filesystem
 162 used on Windows.  Also, WIM images may contain security descriptors which are
 163 specific to Windows and cannot be represented on other operating systems.
 164 wimlib handles this NTFS-specific or Windows-specific data in a
 165 platform-dependent way:
 166
 167 - In the Windows version of wimlib and `wimlib-imagex`, NTFS-specific and
 168   Windows-specific data are supported natively.
 169
 170 - In the UNIX version of wimlib and `wimlib-imagex`, NTFS-specific and
 171   Windows-specific data are ordinarily ignored; however, there is also special
 172   support for capturing and extracting images directly to/from unmounted NTFS
 173   volumes.  This was made possible with the help of libntfs-3g from the NTFS-3G
 174   project.
 175
 176 For both platforms the code for NTFS capture and extraction is complete enough
 177 that it is possible to apply an image from the `install.wim` contained in recent
 178 Windows installation media (Vista or later) directly to an NTFS filesystem, and
 179 then boot Windows from it after preparing the Boot Configuration Data.  In
 180 addition, a Windows installation can be captured (or backed up) into a WIM file,
 181 and then re-applied later.
 182
 183 # Windows PE
 184
 185 wimlib can also be used to create customized images of Windows PE on either
 186 UNIX-like systems or Windows.  Windows PE (Preinstallation Environment) is a
 187 lightweight version of Windows that runs entirely from memory and can be used to
 188 perform maintenance or to install Windows.  It is the operating system that runs
 189 when you boot from the Windows installation media.
 190
 191 A copy of Windows PE can be found on the installation media for Windows (Vista
 192 or later) as the file `sources/boot.wim`, or in the Windows Automated
 193 Installation Kit (WAIK), which is free to download from Microsoft.
 194
 195 A shell script `mkwinpeimg` is provided with wimlib on UNIX-like systems to
 196 simplify the process of creating and customizing a bootable Windows PE image,
 197 sourcing the needed files from the Windows installation media or from the WAIK.
 198
 199 # Portability
 200
 201 wimlib works on both UNIX-like systems (Linux, Mac OS X, FreeBSD, etc.) and
 202 Windows (Vista and later).
 203
 204 As much code as possible is shared among all supported platforms, but there
 205 necessarily are some differences in what features are supported on each platform
 206 and how they are implemented.  Most notable is that file tree scanning and
 207 extraction are implemented separately for Windows, UNIX, and UNIX (NTFS-3G
 208 mode), to ensure a fast and feature-rich implementation of each platform/mode.
 209
 210 wimlib is mainly used on x86 and x86\_64 CPUs, but it should also work on a
 211 number of other GCC-supported 32-bit or 64-bit architectures.  It has been
 212 tested on the ARM and MIPS architectures.
 213
 214 Currently, gcc and clang are the only supported compilers.  A few nonstandard
 215 extensions are used in the code.
 216
 217 # References
 218
 219 The WIM file format is partially specified in a document that can be found in
 220 the Microsoft Download Center.  However, this document really only provides an
 221 overview of the format and is not a formal specification.  It also does not
 222 cover later extensions of the format, such as solid resources.
 223
 224 With regards to the supported compression formats:
 225
 226 - Microsoft has official documentation for XPRESS that is of reasonable quality.
 227 - Microsoft has official documentation for LZX, but in two different documents,
 228   neither of which is completely applicable to its use in the WIM format, and
 229   the first of which contains multiple errors.
 230 - There does not seem to be any official documentation for LZMS, so my comments
 231   and code in `src/lzms_decompress.c` may in fact be the best documentation
 232   available for this particular compression format.
 233
 234 The algorithms used by wimlib's compression and decompression codecs are
 235 inspired by a variety of sources, including open source projects and computer
 236 science papers.
 237
 238 The code in `ntfs-3g_apply.c` and `ntfs-3g_capture.c` uses the [NTFS-3G
 239 library](https://github.com/tuxera/ntfs-3g), which is a library for reading and
 240 writing to NTFS filesystems (the filesystem used by recent versions of Windows).
 241
 242 A limited number of other free programs can handle some parts of the WIM
 243 file format:
 244
 245 - 7-Zip is able to extract and create WIMs (as well as files in many other
 246   archive formats).  However, wimlib is designed specifically to handle WIM
 247   files and provides features previously only available in Microsoft's
 248   implementation, such as the ability to mount WIMs read-write as well as
 249   read-only, the ability to create compressed WIMs, the correct handling of
 250   security descriptors and hard links, and support for LZMS compression.
 251
 252 - [`ImagePyX`](https://github.com/maxpat78/ImagePyX) is a Python program that
 253   provides some capabilities of `wimlib-imagex`, with the help of external
 254   compression codecs.
 255
 256 If you are looking for an archive format that provides features similar to WIM
 257 but was designed primarily for UNIX, you may want to consider
 258 [SquashFS](https://docs.kernel.org/filesystems/squashfs.html).  However, you may
 259 find that wimlib works surprisingly well on UNIX.  It will store hard links and
 260 symbolic links, and it supports storing standard UNIX file permissions (owners,
 261 groups, and modes); special files such as device nodes and FIFOs; and extended
 262 attributes.  Actually, I use it to back up my own files on Linux!
 263
 264 # History
 265
 266 wimlib was originally a project started by Carl Thijssen for use on Linux in the
 267 [Ultimate Deployment Appliance](https://www.ultimatedeployment.org).  Since then
 268 the code has been entirely rewritten and improved (main author: Eric Biggers).
 269 Windows support has been available since version 1.3.0 (March 2013).  A list of
 270 version-to-version changes can be found in the [NEWS file](NEWS.md).
 271
 272 # Notices
 273
 274 wimlib is free software that comes with NO WARRANTY, to the extent permitted by
 275 law.  For full details, see the [COPYING file](COPYING).
 276
 277 Bug reports, suggestions, and other contributions are appreciated and should be
 278 posted to [the forums](https://wimlib.net/forums/).
 279
 280 wimlib is independently developed and does not contain any code, data, or files
 281 copyrighted by Microsoft.  It is not known to be affected by any patents.