warning is now a dict
[tiramisu.git] / tiramisu / value.py
1 # -*- coding: utf-8 -*-
2 "takes care of the option's values and multi values"
3 # Copyright (C) 2013 Team tiramisu (see AUTHORS for all contributors)
4 #
5 # This program is free software; you can redistribute it and/or modify
6 # it under the terms of the GNU General Public License as published by
7 # the Free Software Foundation; either version 2 of the License, or
8 # (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program; if not, write to the Free Software
17 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18 #
19 # ____________________________________________________________
20 from time import time
21 from copy import copy
22 import sys
23 import weakref
24 from tiramisu.error import ConfigError, SlaveError
25 from tiramisu.setting import owners, multitypes, expires_time
26 from tiramisu.autolib import carry_out_calculation
27 from tiramisu.i18n import _
28 from tiramisu.option import SymLinkOption
29
30
31 class Values(object):
32     """The `Config`'s root is indeed  in charge of the `Option()`'s values,
33     but the values are physicaly located here, in `Values`, wich is also
34     responsible of a caching utility.
35     """
36     __slots__ = ('context', '_warning', '_p_', '__weakref__')
37
38     def __init__(self, context, storage):
39         """
40         Initializes the values's dict.
41
42         :param context: the context is the home config's values
43
44         """
45         self.context = weakref.ref(context)
46         # the storage type is dictionary or sqlite3
47         self._p_ = storage
48         self._warning = {}
49
50     def _getdefault(self, opt):
51         """
52         actually retrieves the default value
53
54         :param opt: the `option.Option()` object
55         """
56         meta = self.context().cfgimpl_get_meta()
57         if meta is not None:
58             value = meta.cfgimpl_get_values()[opt]
59         else:
60             value = opt.impl_getdefault()
61         if opt.impl_is_multi():
62             return copy(value)
63         else:
64             return value
65
66     def _getvalue(self, opt, path, validate=True):
67         """actually retrieves the value
68
69         :param opt: the `option.Option()` object
70         :returns: the option's value (or the default value if not set)
71         """
72         if not self._p_.hasvalue(path):
73             # if there is no value
74             value = self._getdefault(opt)
75             if opt.impl_is_multi():
76                 value = Multi(value, self.context, opt, path, validate)
77         else:
78             # if there is a value
79             value = self._p_.getvalue(path)
80             if opt.impl_is_multi() and not isinstance(value, Multi):
81                 # load value so don't need to validate if is not a Multi
82                 value = Multi(value, self.context, opt, path, validate=False)
83         return value
84
85     def get_modified_values(self):
86         return self._p_.get_modified_values()
87
88     def __contains__(self, opt):
89         """
90         implements the 'in' keyword syntax in order provide a pythonic way
91         to kow if an option have a value
92
93         :param opt: the `option.Option()` object
94         """
95         path = self._get_opt_path(opt)
96         return self._contains(path)
97
98     def _contains(self, path):
99         return self._p_.hasvalue(path)
100
101     def __delitem__(self, opt):
102         """overrides the builtins `del()` instructions"""
103         self.reset(opt)
104
105     def reset(self, opt, path=None):
106         if path is None:
107             path = self._get_opt_path(opt)
108         if self._p_.hasvalue(path):
109             setting = self.context().cfgimpl_get_settings()
110             self._setwarning(opt.impl_validate(opt.impl_getdefault(),
111                                                self.context(),
112                                                'validator' in setting), opt)
113             self.context().cfgimpl_reset_cache()
114             if (opt.impl_is_multi() and
115                     opt.impl_get_multitype() == multitypes.master):
116                 for slave in opt.impl_get_master_slaves():
117                     self.reset(slave)
118             self._p_.resetvalue(path)
119
120     def _isempty(self, opt, value):
121         "convenience method to know if an option is empty"
122         empty = opt._empty
123         if (not opt.impl_is_multi() and (value is None or value == empty)) or \
124            (opt.impl_is_multi() and (value == [] or
125                                      None in value or empty in value)):
126             return True
127         return False
128
129     def _getcallback_value(self, opt, index=None, max_len=None):
130         """
131         retrieves a value for the options that have a callback
132
133         :param opt: the `option.Option()` object
134         :param index: if an option is multi, only calculates the nth value
135         :type index: int
136         :returns: a calculated value
137         """
138         callback, callback_params = opt._callback
139         if callback_params is None:
140             callback_params = {}
141         return carry_out_calculation(opt._name, config=self.context(),
142                                      callback=callback,
143                                      callback_params=callback_params,
144                                      index=index, max_len=max_len)
145
146     def __getitem__(self, opt):
147         "enables us to use the pythonic dictionary-like access to values"
148         return self.getitem(opt)
149
150     def getitem(self, opt, path=None, validate=True, force_permissive=False,
151                 force_properties=None, validate_properties=True):
152         if path is None:
153             path = self._get_opt_path(opt)
154         ntime = None
155         setting = self.context().cfgimpl_get_settings()
156         if 'cache' in setting and self._p_.hascache(path):
157             if 'expire' in setting:
158                 ntime = int(time())
159             is_cached, value = self._p_.getcache(path, ntime)
160             if is_cached:
161                 if opt.impl_is_multi() and not isinstance(value, Multi):
162                     #load value so don't need to validate if is not a Multi
163                     value = Multi(value, self.context, opt, path, validate=False)
164                 return value
165         val = self._getitem(opt, path, validate, force_permissive,
166                             force_properties, validate_properties)
167         if 'cache' in setting and validate and validate_properties and \
168                 force_permissive is False and force_properties is None:
169             if 'expire' in setting:
170                 if ntime is None:
171                     ntime = int(time())
172                 ntime = ntime + expires_time
173             self._p_.setcache(path, val, ntime)
174
175         return val
176
177     def _getitem(self, opt, path, validate, force_permissive, force_properties,
178                  validate_properties):
179         # options with callbacks
180         setting = self.context().cfgimpl_get_settings()
181         is_frozen = 'frozen' in setting[opt]
182         # For calculating properties, we need value (ie for mandatory value).
183         # If value is calculating with a PropertiesOptionError's option
184         # _getcallback_value raise a ConfigError.
185         # We can not raise ConfigError if this option should raise
186         # PropertiesOptionError too. So we get config_error and raise
187         # ConfigError if properties did not raise.
188         config_error = None
189         force_permissives = None
190         # if value is callback and is not set
191         # or frozen with force_default_on_freeze
192         if opt.impl_has_callback() and (
193                 self._is_default_owner(path) or
194                 (is_frozen and 'force_default_on_freeze' in setting[opt])):
195             lenmaster = None
196             no_value_slave = False
197             if (opt.impl_is_multi() and
198                     opt.impl_get_multitype() == multitypes.slave):
199                 masterp = self._get_opt_path(opt.impl_get_master_slaves())
200                 mastervalue = getattr(self.context(), masterp)
201                 lenmaster = len(mastervalue)
202                 if lenmaster == 0:
203                     value = []
204                     no_value_slave = True
205
206             if not no_value_slave:
207                 try:
208                     value = self._getcallback_value(opt, max_len=lenmaster)
209                 except ConfigError as err:
210                     # cannot assign config_err directly in python 3.3
211                     config_error = err
212                     value = None
213                     # should not raise PropertiesOptionError if option is
214                     # mandatory
215                     force_permissives = set(['mandatory'])
216                 else:
217                     if (opt.impl_is_multi() and
218                             opt.impl_get_multitype() == multitypes.slave):
219                         if not isinstance(value, list):
220                             value = [value for i in range(lenmaster)]
221             if config_error is None:
222                 if opt.impl_is_multi():
223                     value = Multi(value, self.context, opt, path, validate)
224                 # suppress value if already set
225                 self.reset(opt, path)
226         # frozen and force default
227         elif is_frozen and 'force_default_on_freeze' in setting[opt]:
228             value = self._getdefault(opt)
229             if opt.impl_is_multi():
230                 value = Multi(value, self.context, opt, path, validate)
231         else:
232             value = self._getvalue(opt, path, validate)
233         if config_error is None and validate:
234             self._setwarning(opt.impl_validate(value, self.context(),
235                                                'validator' in setting), opt)
236         if config_error is None and self._is_default_owner(path) and \
237                 'force_store_value' in setting[opt]:
238             self.setitem(opt, value, path, is_write=False)
239         if validate_properties:
240             setting.validate_properties(opt, False, False, value=value, path=path,
241                                         force_permissive=force_permissive,
242                                         force_properties=force_properties,
243                                         force_permissives=force_permissives)
244         if config_error is not None:
245             raise config_error
246         return value
247
248     def __setitem__(self, opt, value):
249         raise ValueError('you should only set value with config')
250
251     def setitem(self, opt, value, path, force_permissive=False,
252                 is_write=True):
253         # is_write is, for example, used with "force_store_value"
254         # user didn't change value, so not write
255         # valid opt
256         self._setwarning(opt.impl_validate(value, self.context(),
257                                            'validator' in self.context(
258                                            ).cfgimpl_get_settings()), opt)
259         if opt.impl_is_multi() and not isinstance(value, Multi):
260             value = Multi(value, self.context, opt, path, setitem=True)
261         self._setvalue(opt, path, value, force_permissive=force_permissive,
262                        is_write=is_write)
263
264     def _setvalue(self, opt, path, value, force_permissive=False,
265                   force_properties=None,
266                   is_write=True, validate_properties=True):
267         self.context().cfgimpl_reset_cache()
268         if validate_properties:
269             setting = self.context().cfgimpl_get_settings()
270             setting.validate_properties(opt, False, is_write,
271                                         value=value, path=path,
272                                         force_permissive=force_permissive,
273                                         force_properties=force_properties)
274         owner = self.context().cfgimpl_get_settings().getowner()
275         self._p_.setvalue(path, value, owner)
276
277     def getowner(self, opt):
278         """
279         retrieves the option's owner
280
281         :param opt: the `option.Option` object
282         :returns: a `setting.owners.Owner` object
283         """
284         if isinstance(opt, SymLinkOption):
285             opt = opt._opt
286         path = self._get_opt_path(opt)
287         return self._getowner(path)
288
289     def _getowner(self, path):
290         owner = self._p_.getowner(path, owners.default)
291         meta = self.context().cfgimpl_get_meta()
292         if owner is owners.default and meta is not None:
293             owner = meta.cfgimpl_get_values()._getowner(path)
294         return owner
295
296     def setowner(self, opt, owner):
297         """
298         sets a owner to an option
299
300         :param opt: the `option.Option` object
301         :param owner: a valid owner, that is a `setting.owners.Owner` object
302         """
303         if not isinstance(owner, owners.Owner):
304             raise TypeError(_("invalid generic owner {0}").format(str(owner)))
305
306         path = self._get_opt_path(opt)
307         self._setowner(path, owner)
308
309     def _setowner(self, path, owner):
310         if self._getowner(path) == owners.default:
311             raise ConfigError(_('no value for {0} cannot change owner to {1}'
312                                 '').format(path, owner))
313         self._p_.setowner(path, owner)
314
315     def is_default_owner(self, opt):
316         """
317         :param config: *must* be only the **parent** config
318                        (not the toplevel config)
319         :return: boolean
320         """
321         path = self._get_opt_path(opt)
322         return self._is_default_owner(path)
323
324     def _is_default_owner(self, path):
325         return self._getowner(path) == owners.default
326
327     def reset_cache(self, only_expired):
328         """
329         clears the cache if necessary
330         """
331         if only_expired:
332             self._p_.reset_expired_cache(int(time()))
333         else:
334             self._p_.reset_all_cache()
335
336     def _get_opt_path(self, opt):
337         """
338         retrieve the option's path in the config
339
340         :param opt: the `option.Option` object
341         :returns: a string with points like "gc.dummy.my_option"
342         """
343         return self.context().cfgimpl_get_description().impl_get_path_by_opt(opt)
344
345     # information
346     def set_information(self, key, value):
347         """updates the information's attribute
348
349         :param key: information's key (ex: "help", "doc"
350         :param value: information's value (ex: "the help string")
351         """
352         self._p_.set_information(key, value)
353
354     def get_information(self, key, default=None):
355         """retrieves one information's item
356
357         :param key: the item string (ex: "help")
358         """
359         try:
360             return self._p_.get_information(key)
361         except ValueError:
362             if default is not None:
363                 return default
364             else:
365                 raise ValueError(_("information's item"
366                                    " not found: {0}").format(key))
367
368     def __getstate__(self):
369         return {'_p_': self._p_}
370
371     def _impl_setstate(self, storage):
372         self._p_._storage = storage
373
374     def __setstate__(self, states):
375         self._p_ = states['_p_']
376
377     def _setwarning(self, msg, opt):
378         if msg is not None:
379             self._warning[opt] = msg
380
381     def has_warning(self):
382         """If option is "only_warning", validation error is store in
383         self._warning.
384         has_warning just indicate that a warning message is store
385         """
386         return self._warning != {}
387
388     def get_warnings(self):
389         """Get last warnings messages in self._warning.
390         We can get only one time those messages.
391         :returns: {opt: msg, opt1: msg1}
392         """
393         ret = self._warning
394         self._warning = {}
395         return ret
396
397
398 # ____________________________________________________________
399 # multi types
400
401
402 class Multi(list):
403     """multi options values container
404     that support item notation for the values of multi options"""
405     __slots__ = ('opt', 'path', 'context')
406
407     def __init__(self, value, context, opt, path, validate=True,
408                  setitem=False):
409         """
410         :param value: the Multi wraps a list value
411         :param context: the home config that has the values
412         :param opt: the option object that have this Multi value
413         :param setitem: only if set a value
414         """
415         self.opt = opt
416         self.path = path
417         if not isinstance(context, weakref.ReferenceType):
418             raise ValueError('context must be a Weakref')
419         self.context = context
420         if not isinstance(value, list):
421             value = [value]
422         if validate and self.opt.impl_get_multitype() == multitypes.slave:
423             value = self._valid_slave(value, setitem)
424         elif validate and self.opt.impl_get_multitype() == multitypes.master:
425             self._valid_master(value)
426         super(Multi, self).__init__(value)
427
428     def _valid_slave(self, value, setitem):
429         #if slave, had values until master's one
430         values = self.context().cfgimpl_get_values()
431         masterp = self.context().cfgimpl_get_description().impl_get_path_by_opt(
432             self.opt.impl_get_master_slaves())
433         mastervalue = getattr(self.context(), masterp)
434         masterlen = len(mastervalue)
435         valuelen = len(value)
436         is_default_owner = not values._is_default_owner(self.path) or setitem
437         if valuelen > masterlen or (valuelen < masterlen and
438                                     is_default_owner):
439             raise SlaveError(_("invalid len for the slave: {0}"
440                                " which has {1} as master").format(
441                                    self.opt._name, masterp))
442         elif valuelen < masterlen:
443             for num in range(0, masterlen - valuelen):
444                 if self.opt.impl_has_callback():
445                     # if callback add a value, but this value will not change
446                     # anymore automaticly (because this value has owner)
447                     index = value.__len__()
448                     value.append(values._getcallback_value(self.opt,
449                                                            index=index))
450                 else:
451                     value.append(self.opt.impl_getdefault_multi())
452         #else: same len so do nothing
453         return value
454
455     def _valid_master(self, value):
456         masterlen = len(value)
457         values = self.context().cfgimpl_get_values()
458         for slave in self.opt._master_slaves:
459             path = values._get_opt_path(slave)
460             if not values._is_default_owner(path):
461                 value_slave = values._getvalue(slave, path)
462                 if len(value_slave) > masterlen:
463                     raise SlaveError(_("invalid len for the master: {0}"
464                                        " which has {1} as slave with"
465                                        " greater len").format(
466                                            self.opt._name, slave._name))
467                 elif len(value_slave) < masterlen:
468                     for num in range(0, masterlen - len(value_slave)):
469                         if slave.impl_has_callback():
470                             # if callback add a value, but this value will not
471                             # change anymore automaticly (because this value
472                             # has owner)
473                             index = value_slave.__len__()
474                             value_slave.append(
475                                 values._getcallback_value(slave, index=index),
476                                 force=True)
477                         else:
478                             value_slave.append(slave.impl_getdefault_multi(),
479                                                force=True)
480
481     def __setitem__(self, key, value):
482         self._validate(value)
483         #assume not checking mandatory property
484         super(Multi, self).__setitem__(key, value)
485         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
486
487     def append(self, value, force=False):
488         """the list value can be updated (appened)
489         only if the option is a master
490         """
491         if not force:
492             if self.opt.impl_get_multitype() == multitypes.slave:
493                 raise SlaveError(_("cannot append a value on a multi option {0}"
494                                    " which is a slave").format(self.opt._name))
495             elif self.opt.impl_get_multitype() == multitypes.master:
496                 values = self.context().cfgimpl_get_values()
497                 if value is None and self.opt.impl_has_callback():
498                     value = values._getcallback_value(self.opt)
499                     #Force None il return a list
500                     if isinstance(value, list):
501                         value = None
502         self._validate(value)
503         super(Multi, self).append(value)
504         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path,
505                                                       self,
506                                                       validate_properties=not force)
507         if not force and self.opt.impl_get_multitype() == multitypes.master:
508             for slave in self.opt.impl_get_master_slaves():
509                 path = values._get_opt_path(slave)
510                 if not values._is_default_owner(path):
511                     if slave.impl_has_callback():
512                         index = self.__len__() - 1
513                         dvalue = values._getcallback_value(slave, index=index)
514                     else:
515                         dvalue = slave.impl_getdefault_multi()
516                     old_value = values.getitem(slave, path,
517                                                validate_properties=False)
518                     if len(old_value) < self.__len__():
519                         values.getitem(slave, path,
520                                        validate_properties=False).append(
521                                            dvalue, force=True)
522                     else:
523                         values.getitem(slave, path,
524                                        validate_properties=False)[
525                                            index] = dvalue
526
527     def sort(self, cmp=None, key=None, reverse=False):
528         if self.opt.impl_get_multitype() in [multitypes.slave,
529                                              multitypes.master]:
530             raise SlaveError(_("cannot sort multi option {0} if master or slave"
531                                "").format(self.opt._name))
532         if sys.version_info[0] >= 3:
533             if cmp is not None:
534                 raise ValueError(_('cmp is not permitted in python v3 or greater'))
535             super(Multi, self).sort(key=key, reverse=reverse)
536         else:
537             super(Multi, self).sort(cmp=cmp, key=key, reverse=reverse)
538         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
539
540     def reverse(self):
541         if self.opt.impl_get_multitype() in [multitypes.slave,
542                                              multitypes.master]:
543             raise SlaveError(_("cannot reverse multi option {0} if master or "
544                                "slave").format(self.opt._name))
545         super(Multi, self).reverse()
546         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
547
548     def insert(self, index, obj):
549         if self.opt.impl_get_multitype() in [multitypes.slave,
550                                              multitypes.master]:
551             raise SlaveError(_("cannot insert multi option {0} if master or "
552                                "slave").format(self.opt._name))
553         super(Multi, self).insert(index, obj)
554         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
555
556     def extend(self, iterable):
557         if self.opt.impl_get_multitype() in [multitypes.slave,
558                                              multitypes.master]:
559             raise SlaveError(_("cannot extend multi option {0} if master or "
560                                "slave").format(self.opt._name))
561         super(Multi, self).extend(iterable)
562         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
563
564     def _validate(self, value):
565         if value is not None:
566             try:
567                 self.context().cfgimpl_get_values()._setwarning(
568                     self.opt.impl_validate(value, context=self.context(),
569                                            force_no_multi=True), self.opt)
570             except ValueError as err:
571                 raise ValueError(_("invalid value {0} "
572                                    "for option {1}: {2}"
573                                    "").format(str(value),
574                                               self.opt._name, err))
575
576     def pop(self, index, force=False):
577         """the list value can be updated (poped)
578         only if the option is a master
579
580         :param index: remove item a index
581         :type index: int
582         :param force: force pop item (withoud check master/slave)
583         :type force: boolean
584         :returns: item at index
585         """
586         if not force:
587             if self.opt.impl_get_multitype() == multitypes.slave:
588                 raise SlaveError(_("cannot pop a value on a multi option {0}"
589                                    " which is a slave").format(self.opt._name))
590             elif self.opt.impl_get_multitype() == multitypes.master:
591                 for slave in self.opt.impl_get_master_slaves():
592                     values = self.context().cfgimpl_get_values()
593                     if not values.is_default_owner(slave):
594                         #get multi without valid properties
595                         values.getitem(slave,
596                                        validate_properties=False
597                                        ).pop(index, force=True)
598         #set value without valid properties
599         ret = super(Multi, self).pop(index)
600         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self, validate_properties=not force)
601         return ret