<div>Is it possible to set the cache to low down the maximum copy time?</div><div><div><br></div><div><br></div><div style="font-size: 12px;font-family: Arial Narrow;padding:2px 0 2px 0;">------------------ Original ------------------</div><div style="font-size: 12px;background:#efefef;padding:8px;"><div><b>From: </b> "Martin Kersten"<Martin.Kersten@cwi.nl>;</div><div><b>Date: </b> Fri, Jul 26, 2013 10:13 PM</div><div><b>To: </b> "users-list"<users-list@monetdb.org>; <wbr></div><div></div><div><b>Subject: </b> Re: Monetdb copy binary time varys very much!</div></div><div><br></div>Oops, correct, for binary copies it does not recognize it<br><br>On 7/26/13 4:11 PM, Angelasweet wrote:<br>> Hi Martin,<br>> I follow you advise, and there is error as follows:<br>><br>> ERROR = !COPY INTO: cannot pass number of records when using binary COPY<br>> INTO in: "copy 200000 records binary into tmatch<br>> from('/data/writeBinaryWM/id','/data/writeBinaryWM/0','/data/writeBinaryWM/1','/data/writeBinaryWM/2','/data/writeBinaryWM/3','/data/writeBinaryWM/4',<br>>   '/data/writeBinaryWM/5','/data/writeBinaryWM/6','/data/writeBinaryWM/7','/data/writeBinaryWM/8','/data/writeBinaryWM/9','/data/writeBinaryWM/10', '/data/writeBinaryWM/11', '/data/writeBinaryWM/12', '/data/writeBinaryWM/13', '/data/writeBinaryWM/14', '/data/writeBinaryWM/15', '/data/writeBinaryWM/16', '/data/writeBinaryWM/17', '/data/writeBinaryWM/18', '/data/writeBinaryWM/19' )"<br>>          !current transaction is aborted (please ROLLBACK)<br>><br>><br>> 2013/7/26 Martin Kersten <Martin.Kersten@cwi.nl<br>> <mailto:Martin.Kersten@cwi.nl>><br>><br>>     This runs shows expected flushing.<br>><br>>     You might get somewhat better performance when you follow<br>>     the advice in<br>>     http://www.monetdb.org/__Documentation/Cookbooks/__SQLrecipes/LoadingBulkData<br>>     <http://www.monetdb.org/Documentation/Cookbooks/SQLrecipes/LoadingBulkData><br>>     e.g. use COPY 44000000 RECORDS ....<br>><br>>     The COPY INTO forms mentioned so far share one important drawback.<br>>       When a lot of data is to be inserted, the server doesn't know how<br>>     much memory to allocate for the tables, and so will likely allocate<br>>     too little. This means that during the insertion process, the server<br>>     has to grow the allocated memory area.  This can be an expensive<br>>     operation.  Therefore, it is better to give the server a count of<br>>     how many records are to be inserted:<br>><br>>     COPY n RECORDS INTO table FROM 'file';<br>><br>>     Here n should be a number that is at least as large as the actual<br>>     number of records to be inserted.  If the file contains more than n<br>>     records, only n will be inserted, if the file contains fewer, all<br>>     values will be inserted.  Giving a higher number is especially<br>>     useful if multiple COPY INTO queries are to be done on the same<br>>     table.  The first COPY INTO, when the table is still empty, should<br>>     be the total count of to-be-inserted values so that the server will<br>>     allocate enough memory when the tables are first created (they are<br>>     only really created once data is inserted).<br>>     On 7/26/13 10:58 AM, integrity wrote:<br>><br>><br>><br>>         ------------------ Original ------------------<br>>         *From: * "Martin Kersten"<Martin.Kersten@cwi.nl<br>>         <mailto:Martin.Kersten@cwi.nl>__>;<br>>         *Date: * Fri, Jul 26, 2013 04:46 PM<br>>         *To: * "users-list"<users-list@__monetdb.org<br>>         <mailto:users-list@monetdb.org>>;<br>>         *Subject: * Re: Monetdb copy binary time varys very much!<br>><br>><br>>         Hi,<br>>         You should plot the times of each of your runs to see the trend.<br>>         This single run may be an outlier, which could come from anything<br>>         in your system environment. Even a seemingly harmless concurrent<br>>         program using significant memory could compete with MonetDB.<br>><br>>         And indeed, at some point you will see disk IO.<br>><br>><br>>         regards, Martin<br>><br>><br>><br>><br>>         _________________________________________________<br>>         users-list mailing list<br>>         users-list@monetdb.org <mailto:users-list@monetdb.org><br>>         http://mail.monetdb.org/__mailman/listinfo/users-list<br>>         <http://mail.monetdb.org/mailman/listinfo/users-list><br>><br>>     _________________________________________________<br>>     users-list mailing list<br>>     users-list@monetdb.org <mailto:users-list@monetdb.org><br>>     http://mail.monetdb.org/__mailman/listinfo/users-list<br>>     <http://mail.monetdb.org/mailman/listinfo/users-list><br>><br>><br>><br>><br>> _______________________________________________<br>> users-list mailing list<br>> users-list@monetdb.org<br>> http://mail.monetdb.org/mailman/listinfo/users-list<br>><br>_______________________________________________<br>users-list mailing list<br>users-list@monetdb.org<br>http://mail.monetdb.org/mailman/listinfo/users-list<br>.<br></div>