Use public domain SHA1 code
authorEric Biggers <ebiggers3@gmail.com>
Sat, 26 May 2012 18:49:31 +0000 (13:49 -0500)
committerEric Biggers <ebiggers3@gmail.com>
Sat, 26 May 2012 18:49:31 +0000 (13:49 -0500)
I believe that technically I shouldn't have been using the coreutils SHA1 code
in wimlib because the coreutils code is GPLv3 while wimlib is LGPLv2.1+.  So I
replaced it with public domain code.

This only applies to building SHA1 support into wimlib.  I would recommend using
an external libcrypto if possible.

src/modify.c
src/mount.c
src/resource.c
src/sha1.c
src/sha1.h
src/util.c
src/util.h

index 60149f8..dbf2a50 100644 (file)
@@ -26,6 +26,7 @@
 
 #include "wimlib_internal.h"
 #include "util.h"
+#include "sha1.h"
 #include "dentry.h"
 #include "xml.h"
 #include "lookup_table.h"
index bd02cec..c313de8 100644 (file)
@@ -27,6 +27,7 @@
 #include "wimlib_internal.h"
 
 #ifdef WITH_FUSE
+#include "sha1.h"
 #include "lookup_table.h"
 #include "xml.h"
 #include <stdlib.h>
index e29434f..bd28ffc 100644 (file)
@@ -32,8 +32,6 @@
 #include <unistd.h>
 #include <errno.h>
 
-/* Used for buffering FILE IO */
-#define BUFFER_SIZE 4096
 
 /* 
  * Reads all or part of a compressed resource into an in-memory buffer.
index ff582ed..dd2dd24 100644 (file)
@@ -1,29 +1,25 @@
-/* sha1.c - Functions to compute SHA1 message digest of files or
-   memory blocks according to the NIST specification FIPS-180-1.
-
-   Copyright (C) 2000-2001, 2003-2006, 2008-2011 Free Software Foundation, Inc.
-
-   This program is free software; you can redistribute it and/or modify it
-   under the terms of the GNU General Public License as published by the
-   Free Software Foundation; either version 3, or (at your option) any
-   later version.
-
-   This program is distributed in the hope that it will be useful,
-   but WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
-   GNU General Public License for more details.
-
-   You should have received a copy of the GNU General Public License
-   along with this program; if not, write to the Free Software Foundation,
-   Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.  */
-
-/* Written by Scott G. Miller
-   Credits:
-      Robert Klep <robert@ilse.nl>  -- Expansion function fix
-
-   Modified by Eric Biggers for wimlib:  Conditionally compile in the use of
-   OpenSSL or Intel's assembly code for SHA1 block updates
-*/
+/*
+ * sha1.c
+ *
+ * Copyright (C) 2012 Eric Biggers
+ *
+ * Parts of this file are based on public domain code written by Steve Reid.
+ *
+ * wimlib - Library for working with WIM files 
+ *
+ * This library is free software; you can redistribute it and/or modify it under
+ * the terms of the GNU Lesser General Public License as published by the Free
+ * Software Foundation; either version 2.1 of the License, or (at your option) any
+ * later version.
+ *
+ * This library is distributed in the hope that it will be useful, but WITHOUT ANY
+ * WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A
+ * PARTICULAR PURPOSE. See the GNU Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public License along
+ * with this library; if not, write to the Free Software Foundation, Inc., 59
+ * Temple Place, Suite 330, Boston, MA 02111-1307 USA 
+ */
 
 #include "util.h"
 #include "wimlib.h"
 #include "endianness.h"
 #include <string.h>
 
-#define SWAP(n) to_be32(n)
-
-#define BLOCKSIZE 32768
-#if BLOCKSIZE % 64 != 0
-#error "invalid BLOCKSIZE"
-#endif
+/* The SHA1 support in wimlib can use an external libcrypto (part of openssl) or
+ * use a built-in SHA1 function.  The built-in functions are either based on
+ * Steve Reid's public domain code, or based on Intel's SSSE3 SHA1 code.
+ */
 
 const u8 empty_file_sha1sum[SHA1_HASH_SIZE] = {
        0xda, 0x39, 0xa3, 0xee, 0x5e, 0x6b, 0x4b, 0x0d, 0x32, 0x55, 
@@ -46,55 +40,27 @@ const u8 empty_file_sha1sum[SHA1_HASH_SIZE] = {
 
 #ifdef WITH_LIBCRYPTO
 
-static inline void sha1_init_ctx(SHA_CTX *ctx)
-{
-       SHA1_Init(ctx);
-}
-
-static inline void sha1_process_block(const void *buffer, size_t len, 
-                                     SHA_CTX *ctx)
-{
-       SHA1_Update(ctx, buffer, len);
-}
-
-static inline void sha1_process_bytes(const void *buffer, size_t len, 
-                                     SHA_CTX *ctx)
-{
-       SHA1_Update(ctx, buffer, len);
-}
-
+#define sha1_init     SHA1_Init
+#define sha1_update   SHA1_Update
+#define sha1_final    SHA1_Final
 
-static inline void *sha1_finish_ctx(SHA_CTX *ctx, void *resbuf)
-{
-       SHA1_Final(resbuf, ctx);
-}
 #else /* WITH_LIBCRYPTO */
 
-/* Structure to save state of computation between the single steps.  */
-struct sha1_ctx {
-       uint32_t A;
-       uint32_t B;
-       uint32_t C;
-       uint32_t D;
-       uint32_t E;
-
-       uint32_t total[2];
-       uint32_t buflen;
-       uint32_t buffer[32];
-};
-
-typedef struct sha1_ctx SHA_CTX;
+typedef struct {
+    u32 state[5];
+    u32 count[2];
+    u8  buffer[64];
+} SHA_CTX;
 
 #ifdef ENABLE_SSSE3_SHA1
 extern void sha1_update_intel(int *hash, const char* input, size_t num_blocks);
 
-static inline void sha1_process_block(const void *buffer, size_t len, 
-                                     SHA_CTX *ctx)
+static inline void sha1_update(SHA_CTX *context, const void *data, size_t len)
 {
-       sha1_update_intel((int*)ctx, buffer, len / 64);
-       ctx->total[0] += len;
-       if (ctx->total[0] < len)
-               ++ctx->total[1];
+       sha1_update_intel((int*)&context->state, data, len / 64);
+       size_t j = (context->count[0] >> 3) & 63;
+       if ((context->count[0] += len << 3) < (len << 3)) context->count[1]++;
+       context->count[1] += (len >> 29);
 }
 
 #include <stdlib.h>
@@ -106,407 +72,190 @@ void ssse3_not_found()
 "to use wimlib on this CPU.\n");
        abort();
 }
-#else /* ENABLE_SSSE3_SHA1 */
-
-static void sha1_process_block(const void *buffer, size_t len,
-                              SHA_CTX *ctx);
-
-#endif /* ENABLE_SSSE3_SHA1 */
-
-
-/* This array contains the bytes used to pad the buffer to the next
-   64-byte boundary.  (RFC 1321, 3.1: Step 1)  */
-static const u8 fillbuf[64] = { 0x80, 0 /* , 0, 0, ...  */  };
-
-/* Initialize structure containing state of computation. */
-static void sha1_init_ctx(SHA_CTX *ctx);
-
-/* Starting with the result of former calls of this function (or the
-   initialization function update the context for the next LEN bytes
-   starting at BUFFER.
-   It is NOT required that LEN is a multiple of 64.  */
-static void sha1_process_bytes(const void *buffer, size_t len,
-                              SHA_CTX *ctx);
-
-/* Process the remaining bytes in the buffer and put result from CTX
-   in first 20 bytes following RESBUF.  The result is always in little
-   endian byte order, so that a byte-wise output yields to the wanted
-   ASCII representation of the message digest.  */
-static void *sha1_finish_ctx(SHA_CTX *ctx, void *resbuf);
-
-/* Put result from CTX in first 20 bytes following RESBUF.  The result is
-   always in little endian byte order, so that a byte-wise output yields
-   to the wanted ASCII representation of the message digest.  */
-static void *sha1_read_ctx(const SHA_CTX *ctx, void *resbuf);
-
-#endif /* WITH_LIBCRYPTO */
-
-
+#endif
 
-/* Compute SHA1 message digest for bytes read from STREAM.  The resulting
- * message digest number will be written into the 20 bytes beginning at
- * RESBLOCK.  */
-int sha1_stream(FILE * stream, void *resblock)
+/*  Initialize new context */
+static void sha1_init(SHA_CTX* context)
 {
-       SHA_CTX ctx;
-
-       size_t sum;
-
-       char *buffer = MALLOC(BLOCKSIZE + 72);
-       if (!buffer) {
-               ERROR("Out of memory!\n");
-               return WIMLIB_ERR_NOMEM;
-       }
-
-       /* Initialize the computation context.  */
-       sha1_init_ctx(&ctx);
-
-       /* Iterate over full file contents.  */
-       while (1) {
-               /* We read the file in blocks of BLOCKSIZE bytes.  One call of the
-                  computation function processes the whole buffer so that with the
-                  next round of the loop another block can be read.  */
-               size_t n;
-               sum = 0;
-
-               /* Read block.  Take care for partial reads.  */
-               while (1) {
-                       n = fread(buffer + sum, 1, BLOCKSIZE - sum, stream);
-
-                       sum += n;
-
-                       if (sum == BLOCKSIZE)
-                               break;
-
-                       if (n == 0) {
-                               /* Check for the error flag IFF N == 0, so that
-                                * we don't exit the loop after a partial read
-                                * due to e.g., EAGAIN or EWOULDBLOCK.  */
-                               if (ferror(stream)) {
-                                       FREE(buffer);
-                                       ERROR("Read error while calculating "
-                                               "SHA1 message digest: %m\n");
-                                       return WIMLIB_ERR_READ;
-                               }
-                               goto process_partial_block;
-                       }
-
-                       /* We've read at least one byte, so ignore errors.  But always
-                          check for EOF, since feof may be true even though N > 0.
-                          Otherwise, we could end up calling fread after EOF.  */
-                       if (feof(stream))
-                               goto process_partial_block;
-               }
-
-               /* Process buffer with BLOCKSIZE bytes.  Note that
-                  BLOCKSIZE % 64 == 0
-                */
-               sha1_process_block(buffer, BLOCKSIZE, &ctx);
-       }
-
- process_partial_block:;
-
-       /* Process any remaining bytes.  */
-       if (sum > 0)
-               sha1_process_bytes(buffer, sum, &ctx);
-
-       /* Construct result in desired memory.  */
-       sha1_finish_ctx(&ctx, resblock);
-       FREE(buffer);
-       return 0;
+       /* SHA1 initialization constants */
+       context->state[0] = 0x67452301;
+       context->state[1] = 0xEFCDAB89;
+       context->state[2] = 0x98BADCFE;
+       context->state[3] = 0x10325476;
+       context->state[4] = 0xC3D2E1F0;
+       context->count[0] = context->count[1] = 0;
 }
 
-#ifndef WITH_LIBCRYPTO
-/* Compute SHA1 message digest for LEN bytes beginning at BUFFER.  The
-   result is always in little endian byte order, so that a byte-wise
-   output yields to the wanted ASCII representation of the message
-   digest.  */
-void *sha1_buffer(const char *buffer, size_t len, void *resblock)
-{
-       SHA_CTX ctx;
-
-       /* Initialize the computation context.  */
-       sha1_init_ctx(&ctx);
-
-       /* Process whole buffer but last len % 64 bytes.  */
-       sha1_process_bytes(buffer, len, &ctx);
-
-       /* Put result in desired memory area.  */
-       return sha1_finish_ctx(&ctx, resblock);
-}
+#ifndef ENABLE_SSSE3_SHA1
 
-/* Take a pointer to a 160 bit block of data (five 32 bit ints) and
-   initialize it to the start constants of the SHA1 algorithm.  This
-   must be called before using hash in the call to sha1_hash.  */
-static void sha1_init_ctx(SHA_CTX *ctx)
-{
-       ctx->A = 0x67452301;
-       ctx->B = 0xefcdab89;
-       ctx->C = 0x98badcfe;
-       ctx->D = 0x10325476;
-       ctx->E = 0xc3d2e1f0;
-
-       ctx->total[0] = ctx->total[1] = 0;
-       ctx->buflen = 0;
-}
+#define rol(value, bits) (((value) << (bits)) | ((value) >> (32 - (bits))))
 
-/* Copy the 4 byte value from v into the memory location pointed to by *cp,
-   If your architecture allows unaligned access this is equivalent to
-   * (uint32_t *) cp = v  */
-static inline void set_uint32(char *cp, uint32_t v)
+/* blk0() and blk() perform the initial expand. */
+/* I got the idea of expanding during the round function from SSLeay */
+/* FIXME: can we do this in an endian-proof way? */
+#ifdef WORDS_BIGENDIAN
+#define blk0(i) block->l[i]
+#else
+#define blk0(i) (block->l[i] = (rol(block->l[i],24)&0xFF00FF00) \
+    |(rol(block->l[i],8)&0x00FF00FF))
+#endif
+#define blk(i) (block->l[i&15] = rol(block->l[(i+13)&15]^block->l[(i+8)&15] \
+    ^block->l[(i+2)&15]^block->l[i&15],1))
+
+/* (R0+R1), R2, R3, R4 are the different operations used in SHA1 */
+#define R0(v,w,x,y,z,i) z+=((w&(x^y))^y)+blk0(i)+0x5A827999+rol(v,5);w=rol(w,30);
+#define R1(v,w,x,y,z,i) z+=((w&(x^y))^y)+blk(i)+0x5A827999+rol(v,5);w=rol(w,30);
+#define R2(v,w,x,y,z,i) z+=(w^x^y)+blk(i)+0x6ED9EBA1+rol(v,5);w=rol(w,30);
+#define R3(v,w,x,y,z,i) z+=(((w|x)&y)|(w&x))+blk(i)+0x8F1BBCDC+rol(v,5);w=rol(w,30);
+#define R4(v,w,x,y,z,i) z+=(w^x^y)+blk(i)+0xCA62C1D6+rol(v,5);w=rol(w,30);
+
+/* Hash a single 512-bit block. This is the core of the algorithm. */
+static void sha1_transform(u32 state[5], const u8 buffer[64])
 {
-       memcpy(cp, &v, sizeof v);
+       u32 a, b, c, d, e;
+       typedef union {
+               u8 c[64];
+               u32 l[16];
+       } CHAR64LONG16;
+       CHAR64LONG16* block;
+
+       u8 workspace[64];
+       block = (CHAR64LONG16*)workspace;
+       memcpy(block, buffer, 64);
+
+       /* Copy context->state[] to working vars */
+       a = state[0];
+       b = state[1];
+       c = state[2];
+       d = state[3];
+       e = state[4];
+
+       /* 4 rounds of 20 operations each. Loop unrolled. */
+       R0(a,b,c,d,e, 0); R0(e,a,b,c,d, 1); R0(d,e,a,b,c, 2); R0(c,d,e,a,b, 3);
+       R0(b,c,d,e,a, 4); R0(a,b,c,d,e, 5); R0(e,a,b,c,d, 6); R0(d,e,a,b,c, 7);
+       R0(c,d,e,a,b, 8); R0(b,c,d,e,a, 9); R0(a,b,c,d,e,10); R0(e,a,b,c,d,11);
+       R0(d,e,a,b,c,12); R0(c,d,e,a,b,13); R0(b,c,d,e,a,14); R0(a,b,c,d,e,15);
+       R1(e,a,b,c,d,16); R1(d,e,a,b,c,17); R1(c,d,e,a,b,18); R1(b,c,d,e,a,19);
+       R2(a,b,c,d,e,20); R2(e,a,b,c,d,21); R2(d,e,a,b,c,22); R2(c,d,e,a,b,23);
+       R2(b,c,d,e,a,24); R2(a,b,c,d,e,25); R2(e,a,b,c,d,26); R2(d,e,a,b,c,27);
+       R2(c,d,e,a,b,28); R2(b,c,d,e,a,29); R2(a,b,c,d,e,30); R2(e,a,b,c,d,31);
+       R2(d,e,a,b,c,32); R2(c,d,e,a,b,33); R2(b,c,d,e,a,34); R2(a,b,c,d,e,35);
+       R2(e,a,b,c,d,36); R2(d,e,a,b,c,37); R2(c,d,e,a,b,38); R2(b,c,d,e,a,39);
+       R3(a,b,c,d,e,40); R3(e,a,b,c,d,41); R3(d,e,a,b,c,42); R3(c,d,e,a,b,43);
+       R3(b,c,d,e,a,44); R3(a,b,c,d,e,45); R3(e,a,b,c,d,46); R3(d,e,a,b,c,47);
+       R3(c,d,e,a,b,48); R3(b,c,d,e,a,49); R3(a,b,c,d,e,50); R3(e,a,b,c,d,51);
+       R3(d,e,a,b,c,52); R3(c,d,e,a,b,53); R3(b,c,d,e,a,54); R3(a,b,c,d,e,55);
+       R3(e,a,b,c,d,56); R3(d,e,a,b,c,57); R3(c,d,e,a,b,58); R3(b,c,d,e,a,59);
+       R4(a,b,c,d,e,60); R4(e,a,b,c,d,61); R4(d,e,a,b,c,62); R4(c,d,e,a,b,63);
+       R4(b,c,d,e,a,64); R4(a,b,c,d,e,65); R4(e,a,b,c,d,66); R4(d,e,a,b,c,67);
+       R4(c,d,e,a,b,68); R4(b,c,d,e,a,69); R4(a,b,c,d,e,70); R4(e,a,b,c,d,71);
+       R4(d,e,a,b,c,72); R4(c,d,e,a,b,73); R4(b,c,d,e,a,74); R4(a,b,c,d,e,75);
+       R4(e,a,b,c,d,76); R4(d,e,a,b,c,77); R4(c,d,e,a,b,78); R4(b,c,d,e,a,79);
+
+       /* Add the working vars back into context.state[] */
+       state[0] += a;
+       state[1] += b;
+       state[2] += c;
+       state[3] += d;
+       state[4] += e;
 }
 
-/* Put result from CTX in first 20 bytes following RESBUF.  The result
-   must be in little endian byte order.  */
-static void *sha1_read_ctx(const SHA_CTX *ctx, void *resbuf)
+/* Run your data through this. */
+static void sha1_update(SHA_CTX* context, const u8* data, const size_t len)
 {
-       char *r = resbuf;
-       set_uint32(r + 0 * sizeof ctx->A, SWAP(ctx->A));
-       set_uint32(r + 1 * sizeof ctx->B, SWAP(ctx->B));
-       set_uint32(r + 2 * sizeof ctx->C, SWAP(ctx->C));
-       set_uint32(r + 3 * sizeof ctx->D, SWAP(ctx->D));
-       set_uint32(r + 4 * sizeof ctx->E, SWAP(ctx->E));
-
-       return resbuf;
+       size_t i, j;
+
+       j = (context->count[0] >> 3) & 63;
+       if ((context->count[0] += len << 3) < (len << 3))
+               context->count[1]++;
+       context->count[1] += (len >> 29);
+       if ((j + len) > 63) {
+               i = 64 - j;
+               memcpy(&context->buffer[j], data, i);
+               sha1_transform(context->state, context->buffer);
+               for ( ; i + 63 < len; i += 64)
+                       sha1_transform(context->state, data + i);
+               j = 0;
+       } else  {
+               i = 0;
+       }
+       memcpy(&context->buffer[j], &data[i], len - i);
 }
+#endif
 
-/* Process the remaining bytes in the internal buffer and the usual
-   prolog according to the standard and write the result to RESBUF.  */
-static void *sha1_finish_ctx(SHA_CTX *ctx, void *resbuf)
+/* Add padding and return the message digest. */
+static void sha1_final(u8 *md, SHA_CTX* context)
 {
-       /* Take yet unprocessed bytes into account.  */
-       uint32_t bytes = ctx->buflen;
-       size_t size = (bytes < 56) ? 64 / 4 : 64 * 2 / 4;
-
-       /* Now count remaining bytes.  */
-       ctx->total[0] += bytes;
-       if (ctx->total[0] < bytes)
-               ++ctx->total[1];
+       u32 i;
+       u8  finalcount[8];
 
-       /* Put the 64-bit file length in *bits* at the end of the buffer.  */
-       ctx->buffer[size - 2] =
-           SWAP((ctx->total[1] << 3) | (ctx->total[0] >> 29));
-       ctx->buffer[size - 1] = SWAP(ctx->total[0] << 3);
-
-       memcpy(&((char *)ctx->buffer)[bytes], fillbuf, (size - 2) * 4 - bytes);
+       for (i = 0; i < 8; i++) {
+               finalcount[i] = (unsigned char)((context->count[(i >= 4 ? 0 : 1)]
+                                       >> ((3-(i & 3)) * 8) ) & 255);  /* Endian independent */
+       }
+       sha1_update(context, (u8 *)"\200", 1);
+       while ((context->count[0] & 504) != 448) {
+               sha1_update(context, (u8 *)"\0", 1);
+       }
+       sha1_update(context, finalcount, 8);  /* Should cause a SHA1_Transform() */
+       for (i = 0; i < SHA1_HASH_SIZE; i++) {
+               md[i] = (u8)((context->state[i>>2] >> ((3-(i & 3)) * 8) ) & 255);
+       }
 
-       /* Process last bytes.  */
-       sha1_process_block(ctx->buffer, size * 4, ctx);
+       i = 0;
+       memset(context->buffer, 0, 64);
+       memset(context->state, 0, 20);
+       memset(context->count, 0, 8);
+       memset(finalcount, 0, 8);   /* SWR */
 
-       return sha1_read_ctx(ctx, resbuf);
+       sha1_transform(context->state, context->buffer);
 }
 
-
-static void sha1_process_bytes(const void *buffer, size_t len, SHA_CTX *ctx)
+void sha1_buffer(const void *buffer, size_t len, void *md)
 {
-       /* When we already have some bits in our internal buffer concatenate
-          both inputs first.  */
-       if (ctx->buflen != 0) {
-               size_t left_over = ctx->buflen;
-               size_t add = 128 - left_over > len ? len : 128 - left_over;
-
-               memcpy(&((char *)ctx->buffer)[left_over], buffer, add);
-               ctx->buflen += add;
-
-               if (ctx->buflen > 64) {
-                       sha1_process_block(ctx->buffer, ctx->buflen & ~63, ctx);
-
-                       ctx->buflen &= 63;
-                       /* The regions in the following copy operation cannot overlap.  */
-                       memcpy(ctx->buffer,
-                              &((char *)ctx->buffer)[(left_over + add) & ~63],
-                              ctx->buflen);
-               }
+       SHA_CTX ctx;
+       sha1_init(&ctx);
+       sha1_update(&ctx, buffer, len);
+       sha1_final(md, &ctx);
+}
 
-               buffer = (const char *)buffer + add;
-               len -= add;
-       }
+#endif /* WITH_LIBCRYPTO */
 
-       /* Process available complete blocks.  */
-       if (len >= 64) {
-#if !_STRING_ARCH_unaligned
-#define alignof(type) offsetof (struct { char c; type x; }, x)
-#define UNALIGNED_P(p) (((size_t) p) % alignof (uint32_t) != 0)
-               if (UNALIGNED_P(buffer))
-                       while (len > 64) {
-                               sha1_process_block(memcpy
-                                                  (ctx->buffer, buffer, 64),
-                                                  64, ctx);
-                               buffer = (const char *)buffer + 64;
-                               len -= 64;
-               } else
-#endif
-               {
-                       sha1_process_block(buffer, len & ~63, ctx);
-                       buffer = (const char *)buffer + (len & ~63);
-                       len &= 63;
+static int sha1_stream(FILE *fp, void *md)
+{
+       char buf[BUFFER_SIZE];
+       size_t bytes_read;
+       SHA_CTX ctx;
+       sha1_init(&ctx);
+       while (1) {
+               bytes_read = fread(buf, 1, sizeof(buf), fp);
+               sha1_update(&ctx, buf, bytes_read);
+               if (bytes_read < sizeof(buf)) {
+                       if (ferror(fp))
+                               return WIMLIB_ERR_READ;
+                       break;
                }
        }
+       sha1_final(md, &ctx);
+       return 0;
 
-       /* Move remaining bytes in internal buffer.  */
-       if (len > 0) {
-               size_t left_over = ctx->buflen;
-
-               memcpy(&((char *)ctx->buffer)[left_over], buffer, len);
-               left_over += len;
-               if (left_over >= 64) {
-                       sha1_process_block(ctx->buffer, 64, ctx);
-                       left_over -= 64;
-                       memcpy(ctx->buffer, &ctx->buffer[16], left_over);
-               }
-               ctx->buflen = left_over;
-       }
 }
 
-/* --- Code below is the primary difference between md5.c and sha1.c --- */
-
-/* SHA1 round constants */
-#define K1 0x5a827999
-#define K2 0x6ed9eba1
-#define K3 0x8f1bbcdc
-#define K4 0xca62c1d6
-
-/* Round functions.  Note that F2 is the same as F4.  */
-#define F1(B,C,D) ( D ^ ( B & ( C ^ D ) ) )
-#define F2(B,C,D) (B ^ C ^ D)
-#define F3(B,C,D) ( ( B & C ) | ( D & ( B | C ) ) )
-#define F4(B,C,D) (B ^ C ^ D)
-
-/* Process LEN bytes of BUFFER, accumulating context into CTX.
-   It is assumed that LEN % 64 == 0.
-   Most of this code comes from GnuPG's cipher/sha1.c.  */
-
-#ifndef ENABLE_SSSE3_SHA1
-static void sha1_process_block(const void *buffer, size_t len, SHA_CTX *ctx)
+/* Calculates the SHA1 message digest given the name of a file.
+ * @buf must point to a buffer of length 20 bytes into which the message digest
+ * is written.
+ */
+int sha1sum(const char *filename, void *md)
 {
-       const uint32_t *words = buffer;
-       size_t nwords = len / sizeof(uint32_t);
-       const uint32_t *endp = words + nwords;
-       uint32_t x[16];
-       uint32_t a = ctx->A;
-       uint32_t b = ctx->B;
-       uint32_t c = ctx->C;
-       uint32_t d = ctx->D;
-       uint32_t e = ctx->E;
-
-       /* First increment the byte count.  RFC 1321 specifies the possible
-          length of the file up to 2^64 bits.  Here we only compute the
-          number of bytes.  Do a double word increment.  */
-       ctx->total[0] += len;
-       if (ctx->total[0] < len)
-               ++ctx->total[1];
-
-#define rol(x, n) (((x) << (n)) | ((uint32_t) (x) >> (32 - (n))))
-
-#define M(I) ( tm =   x[I&0x0f] ^ x[(I-14)&0x0f] \
-                    ^ x[(I-8)&0x0f] ^ x[(I-3)&0x0f] \
-               , (x[I&0x0f] = rol(tm, 1)) )
-
-#define R(A,B,C,D,E,F,K,M)  do { E += rol( A, 5 )     \
-                                      + F( B, C, D )  \
-                                      + K             \
-                                      + M;            \
-                                 B = rol( B, 30 );    \
-                               } while(0)
-
-       while (words < endp) {
-               uint32_t tm;
-               int t;
-               for (t = 0; t < 16; t++) {
-                       x[t] = SWAP(*words);
-                       words++;
-               }
+       FILE *fp;
+       int ret;
 
-               R(a, b, c, d, e, F1, K1, x[0]);
-               R(e, a, b, c, d, F1, K1, x[1]);
-               R(d, e, a, b, c, F1, K1, x[2]);
-               R(c, d, e, a, b, F1, K1, x[3]);
-               R(b, c, d, e, a, F1, K1, x[4]);
-               R(a, b, c, d, e, F1, K1, x[5]);
-               R(e, a, b, c, d, F1, K1, x[6]);
-               R(d, e, a, b, c, F1, K1, x[7]);
-               R(c, d, e, a, b, F1, K1, x[8]);
-               R(b, c, d, e, a, F1, K1, x[9]);
-               R(a, b, c, d, e, F1, K1, x[10]);
-               R(e, a, b, c, d, F1, K1, x[11]);
-               R(d, e, a, b, c, F1, K1, x[12]);
-               R(c, d, e, a, b, F1, K1, x[13]);
-               R(b, c, d, e, a, F1, K1, x[14]);
-               R(a, b, c, d, e, F1, K1, x[15]);
-               R(e, a, b, c, d, F1, K1, M(16));
-               R(d, e, a, b, c, F1, K1, M(17));
-               R(c, d, e, a, b, F1, K1, M(18));
-               R(b, c, d, e, a, F1, K1, M(19));
-               R(a, b, c, d, e, F2, K2, M(20));
-               R(e, a, b, c, d, F2, K2, M(21));
-               R(d, e, a, b, c, F2, K2, M(22));
-               R(c, d, e, a, b, F2, K2, M(23));
-               R(b, c, d, e, a, F2, K2, M(24));
-               R(a, b, c, d, e, F2, K2, M(25));
-               R(e, a, b, c, d, F2, K2, M(26));
-               R(d, e, a, b, c, F2, K2, M(27));
-               R(c, d, e, a, b, F2, K2, M(28));
-               R(b, c, d, e, a, F2, K2, M(29));
-               R(a, b, c, d, e, F2, K2, M(30));
-               R(e, a, b, c, d, F2, K2, M(31));
-               R(d, e, a, b, c, F2, K2, M(32));
-               R(c, d, e, a, b, F2, K2, M(33));
-               R(b, c, d, e, a, F2, K2, M(34));
-               R(a, b, c, d, e, F2, K2, M(35));
-               R(e, a, b, c, d, F2, K2, M(36));
-               R(d, e, a, b, c, F2, K2, M(37));
-               R(c, d, e, a, b, F2, K2, M(38));
-               R(b, c, d, e, a, F2, K2, M(39));
-               R(a, b, c, d, e, F3, K3, M(40));
-               R(e, a, b, c, d, F3, K3, M(41));
-               R(d, e, a, b, c, F3, K3, M(42));
-               R(c, d, e, a, b, F3, K3, M(43));
-               R(b, c, d, e, a, F3, K3, M(44));
-               R(a, b, c, d, e, F3, K3, M(45));
-               R(e, a, b, c, d, F3, K3, M(46));
-               R(d, e, a, b, c, F3, K3, M(47));
-               R(c, d, e, a, b, F3, K3, M(48));
-               R(b, c, d, e, a, F3, K3, M(49));
-               R(a, b, c, d, e, F3, K3, M(50));
-               R(e, a, b, c, d, F3, K3, M(51));
-               R(d, e, a, b, c, F3, K3, M(52));
-               R(c, d, e, a, b, F3, K3, M(53));
-               R(b, c, d, e, a, F3, K3, M(54));
-               R(a, b, c, d, e, F3, K3, M(55));
-               R(e, a, b, c, d, F3, K3, M(56));
-               R(d, e, a, b, c, F3, K3, M(57));
-               R(c, d, e, a, b, F3, K3, M(58));
-               R(b, c, d, e, a, F3, K3, M(59));
-               R(a, b, c, d, e, F4, K4, M(60));
-               R(e, a, b, c, d, F4, K4, M(61));
-               R(d, e, a, b, c, F4, K4, M(62));
-               R(c, d, e, a, b, F4, K4, M(63));
-               R(b, c, d, e, a, F4, K4, M(64));
-               R(a, b, c, d, e, F4, K4, M(65));
-               R(e, a, b, c, d, F4, K4, M(66));
-               R(d, e, a, b, c, F4, K4, M(67));
-               R(c, d, e, a, b, F4, K4, M(68));
-               R(b, c, d, e, a, F4, K4, M(69));
-               R(a, b, c, d, e, F4, K4, M(70));
-               R(e, a, b, c, d, F4, K4, M(71));
-               R(d, e, a, b, c, F4, K4, M(72));
-               R(c, d, e, a, b, F4, K4, M(73));
-               R(b, c, d, e, a, F4, K4, M(74));
-               R(a, b, c, d, e, F4, K4, M(75));
-               R(e, a, b, c, d, F4, K4, M(76));
-               R(d, e, a, b, c, F4, K4, M(77));
-               R(c, d, e, a, b, F4, K4, M(78));
-               R(b, c, d, e, a, F4, K4, M(79));
-
-               a = ctx->A += a;
-               b = ctx->B += b;
-               c = ctx->C += c;
-               d = ctx->D += d;
-               e = ctx->E += e;
+       fp = fopen(filename, "rb");
+       if (!fp) {
+               ERROR("Cannot open the file `%s' for reading: %m\n", filename);
+               return WIMLIB_ERR_OPEN;
        }
+       ret = sha1_stream(fp, md);
+       fclose(fp);
+       return ret;
 }
-#endif /* ENABLE_SSSE3_SHA1 */
-
-#endif /* WITH_LIBCRYPTO */
index 7ec8456..69398ce 100644 (file)
@@ -15,24 +15,17 @@ static inline bool is_empty_file_hash(const u8 hash[SHA1_HASH_SIZE])
        return memcmp(hash, empty_file_sha1sum, SHA1_HASH_SIZE) == 0;
 }
 
-/* Compute SHA1 message digest for bytes read from STREAM.  The
-   resulting message digest number will be written into the 20 bytes
-   beginning at RESBLOCK.  */
-extern int sha1_stream(FILE * stream, void *resblock);
+
+extern int sha1sum(const char *filename, void *md);
 
 #ifdef WITH_LIBCRYPTO
 #include <openssl/sha.h>
-static inline void *sha1_buffer(const char *buffer, size_t len, void *resblock)
+static inline void sha1_buffer(const void *buffer, size_t len, void *md)
 {
-       return SHA1(buffer, len, resblock);
+       SHA1(buffer, len, md);
 }
 #else
-/* Compute SHA1 message digest for LEN bytes beginning at BUFFER.  The
-   result is always in little endian byte order, so that a byte-wise
-   output yields to the wanted ASCII representation of the message
-   digest.  */
-extern void *sha1_buffer(const char *buffer, size_t len, void *resblock);
+extern void sha1_buffer(const void *buffer, size_t len, void *md);
 #endif
 
-
 #endif /* _WIMLIB_SHA1_H */
index de5eec5..3f8a0b4 100644 (file)
@@ -468,21 +468,3 @@ void print_string(const void *string, size_t len)
        }
 }
 
-/* Calculates the SHA1 message digest given the name of a file.
- * @buf must point to a buffer of length 20 bytes into which the message digest
- * is written.
- */
-int sha1sum(const char *filename, void *buf)
-{
-       FILE *fp;
-       int ret;
-
-       fp = fopen(filename, "rb");
-       if (!fp) {
-               ERROR("Cannot open the file `%s' for reading: %m\n", filename);
-               return WIMLIB_ERR_OPEN;
-       }
-       ret = sha1_stream(fp, buf);
-       fclose(fp);
-       return ret;
-}
index 5385477..40ef9a0 100644 (file)
@@ -48,6 +48,9 @@ typedef unsigned uint;
 
 #define ZERO_ARRAY(array) memset(array, 0, sizeof(array))
 
+/* Used for buffering FILE IO in a few places */
+#define BUFFER_SIZE 4096
+
 #ifdef ENABLE_ERROR_MESSAGES
 extern bool __wimlib_print_errors;
 extern void wimlib_error(const char *format, ...);